機能の選択と相互検証に関するいくつかの投稿を読んでいますが、正しい手順についてまだ質問があります。
10個の特徴を持つデータセットがあり、最良の特徴を選択したいとします。また、最近傍分類器を使用しているとします。交差検証を使用して徹底的な検索を実行し、最良の機能を選択するためのガイドとしてエラー率を推定できますか？次の疑似コードのようなもの
for i=1:( 2^10 -1)
error(i)= crossval(1-nn, selected_fetures(i))
end
i=find(erro(i)==min(error(i));
selected_fetures= selected_features(i);
この疑似コードで説明しようとしているのは、機能のすべての可能な組み合わせに対して相互検証を実行し、エラーが最小になる組み合わせを選択することです。
全数探索を行っているので、この手順は正しいと思います。機能の選択は、データセット全体ではなく、各パーティションの平均誤差に基づいていました。そのような特徴選択でモデルを過剰適合させていますか？
回答:
はい、この場合、過剰適合になる可能性があります。前の質問に対する私の回答を参照してください。覚えておくべき重要なことは、交差検証はデータの有限サンプルに基づく一般化パフォーマンスの推定であることです。有限サンプルのデータに基づいているため、推定量にはゼロ以外の分散があるため、交差検証エラーをある程度減らすと、一般化エラーを本当に改善するモデル選択と、評価されるデータの特定のサンプルのランダムな特性。後者のタイプのモデルを選択すると、汎化のパフォーマンスが向上するのではなく悪化する可能性があります。
データの有限サンプルに基づいて統計を最小化するときはいつでも、過剰適合は潜在的な問題です。相互検証は違いありません。
これは、他の特徴選択手順よりも過剰適合しにくい特徴選択の有効な手順だと思います。この手順の問題は、計算が非常に複雑で、実際のデータセットにはほとんど使用できないことです。
相互検証の各フォールド内で機能の選択を行う場合は問題ないと思います。上記のポスターにあるように、上記の手順で取得した選択した機能を使用して、どのモデルにもオーバーフィットします。これは、すべてのデータが特徴選択ルーチンに何らかの影響を与えたためです。