で統計的学習の要素、私は、次のステートメントを見つけました：
資格が1つあります。サンプルが除外される前に、教師なしの最初のスクリーニング手順を実行できます。たとえば、交差検証を開始する前に、50のサンプルすべてで最も分散が高い1000の予測子を選択できます。このフィルタリングはクラスラベルを含まないため、予測子に不当な利点を与えません。
これは実際に有効ですか？つまり、事前に属性をフィルタリングすることで、トレーニングデータや新しいデータ環境を模倣していません。つまり、実行しているフィルタリングが監視されていないということですか。相互検証プロセス内で実際にすべての前処理ステップを実行する方が良いのではないですか？そうでない場合は、機能の正規化/ PCAなど、すべての教師なし前処理を事前に実行できることを意味します。ただし、トレーニングセット全体でこれを行うことにより、実際に一部のデータをトレーニングセットにリークしています。比較的安定したデータセットを使用すると、これらの違いは非常に小さい可能性が高いことに同意できます。これについて考える正しい方法は何ですか？
回答:
相互検証の前に行われる段階として、教師なし機能の選択は、機能の正規化と多少似ています。
相互検証の特定の分割の観点から見ると、トレーニングデータはテストデータを調べました（ただし、独立変数のみで）。
このピークは比較的穏やかです。
この質問では、相互検証前の機能の正規化について説明しました。そこでディクラン・マルサピアルの答えを引用する
交差検証は、統計モデルではなく、統計手順のパフォーマンスを推定する方法として最もよく見られています。したがって、公平なパフォーマンスの見積もりを取得するには、正規化を含む交差検証の各分割で、その手順のすべての要素を個別に繰り返す必要があります。
あなたはリソースを割くことができそうだとすれば、最善のことは、折り目行う各クロスバリデーションを持っていることであろう任意のゼロからのデータに依存する処理を。
@AmiTavoryの意見と統計的学習の要素とでこの質問が異なることを願います。
サンプルサイズが非常に小さい応用フィールドから来た私は、教師なしの前処理ステップでも深刻なバイアスが発生する可能性があるという経験を持っています。
私の分野では、分類器がトレーニングされる前に、次元削減のために最も頻繁にPCAになります。ここではデータを表示できませんが、PCA +（クロス検証されたLDA）とクロス検証された（PCA + LDA）は、エラー率を約1桁低く見積もっていました。（これは通常、PCAが安定していないことを示す指標です。）
要素の「不当な利点」については、汚染+テストケースの分散を調べると、トレーニングケースとテストケースの両方で機能する機能が得られます。したがって、ここでは、楽観的な偏見の原因である自己実現預言を作成します。適度に快適なサンプルサイズがある場合、このバイアスは低くなります。
したがって、要素よりも少し保守的なアプローチをお勧めします。
そうは言っても、クロスバリエーションは適切な検証研究を行うためのショートカットにすぎません。したがって、実用性について議論することができます。
問題の前処理で安定した結果が得られるかどうかを確認できます（たとえば、相互検証によってそれを行うことができます）。低いサンプルサイズですでに完全に安定していることがわかった場合、IMHOは、相互検証からそれを引き出すことにより、あまりバイアスが導入されないと主張するかもしれません。
ただし、以前の監督者を引用すると：計算時間は科学的な議論ではありません。
私はしばしば、クロス検証のために数回のフォールドと数回の反復の「スニークプレビュー」を行って、すべてのコード（結果の要約/グラフを含む）を確認し、それを一晩または週末などサーバーに残して、よりきめの細かい相互検証。