相互検証された分類精度の信頼区間

2つの入力X線画像間の類似性メトリックを計算する分類問題に取り組んでいます。画像が同じ人物の場合（「右」のラベル）、より高いメトリックが計算されます。2人の異なる人物の画像（「間違った」というラベル）を入力すると、メトリックが低くなります。

階層化された10分割交差検証を使用して、誤分類の確率を計算しました。私の現在のサンプルサイズは約40の正しい一致と80の誤った一致で、各データポイントは計算されたメトリックです。私は0.00の誤分類確率を取得していますが、これについてある種の信頼区間/エラー分析が必要です。

私は二項比率信頼区間の使用を検討していました（相互検証の結果を、成功の数に対する正しいラベル付けまたは誤ったラベル付けとして使用しました）。ただし、二項分析の背後にある仮定の1つは、各試行で成功する確率が同じであり、交差検証での「正しい」または「間違った」の分類の背後にある方法が、同じ成功の確率。

私が考えることができる他の唯一の分析は、クロス検証をX回繰り返し、分類エラーの平均/標準偏差を計算することですが、私のデータを再利用しているので、これが適切かどうかはわかりません数回の比較的小さなサンプルサイズ。

何かご意見は？すべての分析にMATLABを使用していますが、統計ツールボックスがあります。すべての支援に感謝します！

異なる代理モデルの予測における不安定性の影響

ただし、二項分析の背後にある仮定の1つは、各試行で成功する確率が同じであり、交差検証での「正しい」または「間違った」の分類の背後にある方法が、同じ成功の確率。

まあ、通常、その同等性は、さまざまなサロゲートモデルの結果をプールするためにも必要な仮定です。

実際には、この仮定に違反する可能性があるというあなたの直感は、しばしば真実です。しかし、これが事実であるかどうかを測定できます。反復交差検証が役立つのは、この場合です。異なるサロゲートモデルによる同じケースの予測の安定性により、モデルが同等（安定した予測）かどうかを判断できます。

$k$

$i \cdot k$

各反復のパフォーマンスを計算することもできます（図の3行のブロック）。これらの間の差異は、代理モデルが（相互に、さらにすべてのケースで構築された「グランドモデル」に）等しいという仮定が満たされていないことを意味します。しかし、これはあなたがどれだけ不安定であるかを教えてくれます。二項比率については、真のパフォーマンスが同じである限り（つまり、常に同じケースが誤って予測されるか、または同じ数で異なるケースが誤って予測されるかどうかに関係なく）考えます。サロゲートモデルのパフォーマンスについて特定の分布を賢明に想定できるかどうかはわかりません。しかし、いずれにしても、その不安定性を報告することは、現在一般的な分類エラーの報告よりも有利だと思います。$k$$k$

$\ll$
$n$$k$$i$

図面はイチジクの新しいバージョンです。この論文の5：Beleites、C.とSalzer、R .:小さなサンプルサイズの状況でのケモメトリックモデルの安定性の評価と改善、Anal Bioanal Chem、390、1261-1271（2008）。DOI：10.1007 / s00216-007-1818-6
この論文を書いたとき、私がここで説明したさまざまな差異の原因を完全には理解していないことに注意してください。したがって、私は議論は各患者内の異なる組織タイプが、特定の組織タイプの新しい患者と同じくらい多くの全体的な情報を提供しているというアプリケーションの結論はおそらく有効ですが、有効なサンプルサイズの見積もりは正しくありません（私はまったく異なるタイプのその方法を示す証拠）。ただし、これについてはまだ完全にはわかっていません（どのようにすれば改善できるか、したがって確認できるようになることもありません）。この問題はあなたの質問とは無関係です。

二項信頼区間に使用するパフォーマンスはどれですか？

これまでは、観測された平均パフォーマンスを使用してきました。また、観測された最悪のパフォーマンスを使用することもできます。観測されたパフォーマンスが0.5に近いほど、分散が大きくなり、信頼区間も大きくなります。したがって、観測されたパフォーマンスの信頼区間が0.5に最も近いと、保守的な「安全マージン」が得られます。

観測された成功数が整数でない場合にも、二項信頼区間を計算するいくつかの方法が機能することに注意してください。ロス、TD：二項比率の正確な信頼区間とポアソンレート推定、Comput Biol Med、33、509-531（2003）で説明されている「ベイジアン事後確率の統合」を使用します
。DOI：10.1016 / S0010-4825（03）00019-2

（Matlabではわかりませんが、R binom::binom.bayesでは両方の形状パラメーターを1に設定して使用できます）。

$n$

参照：Bengio、Y.とGrandvalet、Y .: No Korse Variance of Variance of K-Fold Cross-Validation、Journal of Machine Learning Research、2004、5、1089-1105。

（これらのことについてもっと考えることは私の研究のToDoリストにあります...しかし、私は実験科学から来ているので、理論的およびシミュレーションの結論を実験データで補完したいのです。参照テスト用の独立したケースのセット）

更新：生物分布を仮定することは正当化されますか？

$k$

$n$

$n$$p$$n$

クロスバリデーションを何度も繰り返すというあなたの考えは正しいと思います。

CVを1000回繰り返してみましょう。毎回、データを異なる方法で10分割（10倍CVの場合）に分割します（ラベルをシャッフルしないでください）。分類精度の推定値は1000になります。もちろん、同じデータを再利用するので、これらの1000の見積もりは独立したものにはなりません。しかし、これはブートストラップ手順に似ています。全体的な精度推定の平均の標準誤差として、これらの精度に対する標準偏差をとることができます。または、95％信頼区間として95％パーセンタイル間隔。

あるいは、交差検証ループとブートストラップループを組み合わせて、データの10％をランダム（おそらく層別ランダム）にテストセットとして選択し、これを1000回行うこともできます。上記と同じ理由がここでも当てはまります。ただし、これにより繰り返しの分散が大きくなるため、上記の手順の方が良いと思います。

誤判別率が0.00の場合、分類子はエラーを発生させず、これが各ブートストラップ反復で発生する場合、広い信頼区間はゼロになります。しかし、これは単に、分類子がほぼ完璧であることを意味します。

分類エラーは不連続であり、スコアリングルールが不適切です。これは精度が低く、最適化すると誤った機能が選択され、それらに誤った重みが与えられます。