次元数がサンプル数より大きい場合のPCA

私は、分類器に渡す必要がある14000個のデータポイント（次元）を含む10人（つまり100個のサンプル）に対して1人あたり10個の信号があるシナリオに遭遇しました。このデータの次元数を減らしたいのですが、PCAがそうするようです。ただし、サンプルの数が次元の数よりも大きいPCAの例を見つけることしかできませんでした。SVDを使用してPCを検出するPCAアプリケーションを使用しています。100x14000データセットを渡すと101個のPCが返されるため、ほとんどのディメンションは明らかに無視されます。プログラムは、最初の6台のPCに90％の分散が含まれることを示しています。

これらの101台のPCには本質的にすべての分散が含まれており、残りの次元は無視できるというのは合理的な仮定ですか？

私が読んだ論文の1つは、自分のデータセットと同様の（わずかに低い品質）データセットを使用して、4500の次元を80に減らして元の情報の96％を保持できたと主張しています。使用されたPCA手法の詳細に関する論文の手振り、3100サンプルのみが利用可能であり、PCAを実際に実行するために使用されたサンプルよりも少ないサンプルを信じる理由があります（分類段階からバイアスを取り除くため）。

私は何かを見逃していますか、これは本当にPCAが高次元で低サンプルサイズのデータ​​セットで使用される方法ですか？フィードバックは大歓迎です。

私はわずかに異なる角度から問題を見ていきます：10人の被験者/ 100のサンプルだけでモデルをどれだけ複雑にすることができますか？

そして、私が通常答えるその質問：100台未満のPC。私は異なるタイプのデータ（振動スペクトル）を扱っているため、状況は少し異なる場合があります。私の分野では、O（10）被験者のO（1000）スペクトルから計算された10または25または50台のPCを使用するのが一般的です。

私がやることは次のとおりです。

• これらの100台のPCでカバーされる差異を見てください。通常、データの分散に実際に寄与するコンポーネントはごくわずかです。

• PLSはPCAよりも分類のための前処理として非常に好まれます。なぜなら、分類に役立たない大きな変動のある方向を選別するのに非常に良い仕事をするからです（私の場合、焦点変動、サンプルの厚さなど）。 ..）。私の経験では、10個のPLS潜在変数または25〜50個のPCを備えた類似の分類器をよく使用します。

• 検証サンプルは、トレーニングセットから計算されたPCA回転のみで処理する必要があります。そうでない場合、検証は（そしておそらくあなたのような極端な場合には）過度に楽観的なバイアスを持ちます。
  つまり、ブートストラップまたはクロス検証を実行する場合、PCAまたはPLSの前処理は、トレイン/テストセットの組み合わせごとに個別に計算する必要があります。

もしの点の数であり次元数であり、非ゼロ分散を有する主成分の数を超えることができない（生データのPCAを行う場合）または上PCAを行うとき集中データ-通常どおり）。P N ≤ P N N - $n$$p$$n \leq p$$n$$n-1$

別の角度からこれに来る：

$k$$k$$\leq$

$k$