ジャックナイフの現代的な用途はありますか？

質問： ブートストラップはジャックナイフよりも優れています。ただし、パラメータ推定から不確実性を特徴付けるための唯一の、または少なくとも実行可能なオプションがジャックナイフである場合があるのではないかと思っています。また、実際の状況では、ブートストラップに比べて偏り/不正確なジャックナイフがどのように発生し、ジャックナイフの結果は、より複雑なブートストラップが開発される前に予備的な洞察を提供できますか？

コンテキスト： 友人がブラックボックス機械学習アルゴリズム（MaxEnt）を使用して、「プレゼンスのみ」または「ポジティブのみ」の地理データを分類しています。一般的なモデル評価は、通常、相互検証とROC曲線を使用して行われます。しかし、彼女はモデルの出力を使用して、モデル出力の単一の数値記述を導き出し、その数値の周りの信頼区間を求めています。Jackknifingは、この値に関する不確実性を特徴付ける合理的な方法のようです。各データポイントはマップ上の一意の場所であり、置換で再サンプリングできないため、ブートストラップは関連しているようには見えません。モデリングプログラム自体は、最終的に彼女が必要とするものを提供できる可能性があります。ただし、jackknifingが役立つかどうか/いつに興味があるのでしょうか。

ジャックナイフを使用して、1回だけ残すだけでなく、フォールド手順などのあらゆる種類のリサンプリングなしのリサンプリングを実行する場合、私はそれを実行可能なオプションと見なし、Beleitesなどで定期的に使用します 。：星状細胞腫組織のラマン分光学的グレーディング：ソフトリファレンス情報を使用。Anal Bioanal Chem、2011、400、2801-2816$k$

こちらもご覧ください： 相互検証された分類精度の信頼区間

$k$$i$$k$$i \cdot k$

$x$$x$$x$ これはブートストラップにも同様に適用できますが、直接ではありません。

$n_s$$n_p \ll n_s$

1. 平均観測パフォーマンスと使用する（保守的な）二項信頼区間$n_p$

2. 間で観測される分散$i$相互検証の回の反復。後$k$折り畳み、それぞれのケースは異なるサロゲートモデルによって1回だけテストされます。したがって、$i$ 実行はモデルの不安定性によって引き起こされる必要があります。

通常、つまり、モデルが適切に設定されている場合、2。は1.の分散よりもはるかに小さく、したがってモデルが合理的に安定していることを示すためにのみ必要です。2.無視できない場合は、集約モデルを検討します。モデル集約は、モデルの不安定性に起因する分散のみに役立ちます。テストケースの数が限られているため、パフォーマンス測定の分散の不確実性を減らすことはできません。 。

そのようなデータのパフォーマンス信頼区間を構築するために、少なくとも、 $i$ 相互検証の実行は、平均の $k$ その不安定性のモデル、つまり、モデルの不安定性の分散は $k \cdot$相互検証の実行間で観測された分散。プラスケース番号による分散-分類（ヒット/エラー）パフォーマンス測定では、これは二項です。連続測定の場合、相互検証の実行分散内から分散を導出しようとしますが、$k$、およびの不安定性タイプの分散の推定 $k$ から派生したモデル

ここでの交差検証の利点は、モデルの不安定性に起因する不確実性と、テストケースの有限数に起因する不確実性を明確に分離できることです。対応する欠点は、もちろん、実際のケースの有限数を考慮することを忘れると、真の不確実性を厳しく過小評価することです。ただし、これはブートストラップでも発生します（程度は低いですが）。

これまでのところ、推論は、特定のデータセットに対して導出したモデルのパフォーマンスの測定に集中しています。特定のアプリケーションおよび特定のサンプルサイズのデータ​​セットを検討する場合、リサンプリング検証では基本的に測定できない分散への3番目の寄与があります。たとえば、Bengio＆Grandvalet：No-biased Estimator of the Variance of the K-Fold Cross -Validation、Journal of Machine Learning Research、5、1089-1105（2004）。、Beleites et al。にこれらの3つの貢献を示す図もあります。：分類モデルのサンプルサイズ計画、Anal Chim Acta、760、25-33（2013）。DOI：10.1016 / j.aca.2012.11.007）
ここで何が起こるかは、リサンプリングは完全に新しいサンプルを分解することに似ているという仮定の結果だと思います。

これは、アプリケーションの特定のモデルを構築してこのモデルを検証するのではなく、モデル構築アルゴリズム/戦略/ヒューリスティックを比較する場合に重要です。