ホワイトニングは常に良いですか？

機械学習アルゴリズムの一般的な前処理手順は、データのホワイトニングです。

データを無相関化し、モデル化をより簡単にするため、ホワイトニングを行うことは常に良いようです。

ホワイトニングが推奨されない場合

注：私はデータの非相関性に言及しています。

事前白色化は、特徴の正規化の一般化であり、変換された入力共分散行列に対して入力を変換することにより、入力を独立させます。なぜこれが悪いのかわかりません。

ただし、クイックサーチでは、「気象レーダーのパフォーマンスを向上させるデータホワイトニングの実現可能性」（pdf）が明らかになりました。

特に、指数ACF（モナコフの結果と一致）の場合はホワイトニングがうまく機能しましたが、ガウス分布の場合はあまり良くありませんでした。数値実験の後、ガウスの場合、ガウス共分散行列の条件数（最大固有値と最小固有値の比）が非常に大きいという意味で、数値的に条件が悪いことがわかりました。

私はこれについてコメントするのに十分な教育を受けていません。たぶんあなたの質問への答えは、ホワイトニングは常に良いが、特定の落とし穴があるということです（例えば、ランダムデータでは、ガウス自己相関関数を介して行われるとうまく機能しません）。

まず、相関除去とホワイトニングは別々の手順であると思います。

${\bf \Sigma} = {\bf X}{\bf X}'$

$${\bf \Sigma}{\bf \Phi} = {\bf \Phi} {\bf \Lambda}$$

${\bf \Lambda}$

${\bf \Phi}$${\bf X}$${\bf \Phi}$

対角化された共分散を次のように書くこともできます。

$${\bf \Phi}' {\bf \Sigma} {\bf \Phi} = {\bf \Lambda} \tag{1}$$

${\bf x}_i$

$${\bf x}_i^* = {\bf \Phi}' {\bf x}_i \tag{2}$$

${\bf \Lambda}$

$${\bf \Lambda}^{-1/2} {\bf \Lambda} {\bf \Lambda}^{-1/2} = {\bf I}$$

$(1)$

$${\bf \Lambda}^{-1/2} {\bf \Phi}' {\bf \Sigma} {\bf \Phi} {\bf \Lambda}^{-1/2} = {\bf I}$$

${\bf x}_i^*$${\bf x}_i^\dagger$

$${\bf x}_i^{\dagger} = {\bf \Lambda}^{-1/2} {\bf x}_i^* = {\bf \Lambda}^{-1/2}{\bf \Phi}'{\bf x}_i \tag 3$$

${\bf x}_i^\dagger$${\bf x}_i^\dagger$${\bf E}({\bf x}_i^\dagger {{\bf x}_i^\dagger}') = {\bf I}$

${\bf \Sigma}$

そして最後に、人々が注意すべき一般的な「落とし穴」があります。トレーニングデータのスケーリング係数を計算し、次に式（2）および（3）を使用して同じスケーリング係数をテストデータに適用することに注意する必要があります。そうしないと、オーバーフィットのリスクがあります（トレーニングプロセスのテストセットからの情報）。

ソース：http : //courses.media.mit.edu/2010fall/mas622j/whiten.pdf

http://cs231n.github.io/neural-networks-2/から

この変換の弱点の1つは、すべての次元（ほとんどがノイズである小さな分散の無関係な次元を含む）を入力で同じサイズに引き伸ばすため、データのノイズを大幅に誇張できることです。これは、実際には、より強力な平滑化によって軽減できます...

残念ながら、私はこれについてさらにコメントするのに十分な教育を受けていません。