PCAとランダムフォレスト

最近のKaggleコンテストでは、トレーニングセット用に10の追加機能を手動で定義しました。これらの機能は、ランダムフォレスト分類器のトレーニングに使用されます。新しい機能を備えたデータセットに対してPCAを実行し、それらが互いにどのように比較されているかを確認することにしました。分散の〜98％が最初の成分（最初の固有ベクトル）によって運ばれることがわかりました。次に、分類器を複数回トレーニングし、一度に1つの機能を追加し、交差検証とRMSエラーを使用して分類の品質を比較しました。機能を追加するごとに分類が改善され、最終結果（10個の新しい機能すべてを含む）が（たとえば）2個の機能を使用した最初の実行よりもはるかに優れていることがわかりました。

• PCAが分散の〜98％がデータセットの最初のコンポーネントにあると主張したのに、なぜ分類の品質はそれほど向上したのですか？

• これは他の分類器にも当てはまりますか？RFは複数のコアにまたがるので、トレーニングは（たとえば）SVMよりもはるかに高速です。

• データセットを「PCA」空間に変換し、変換した空間で分類器を実行した場合はどうなりますか。結果はどのように変わりますか？

予測モデリングを行うとき、特徴の変化ではなく、応答の変化を説明しようとしています。機能のバリエーションの多くを単一の新しい機能に詰め込むことで、機能全体の予測力を大量に取得できると考える理由はありません。

これは、部分最小二乗ではなく主成分回帰の違いとしてよく説明されます。

最初の主成分は、すべての機能の線形結合です。ほぼすべての変動性を説明するという事実は、第1主成分の変数の係数のほとんどが重要であることを意味します。

これで、生成する分類ツリーも少し異なる動物になりました。これらは、分類したいカテゴリを最適に分離する連続変数でバイナリ分割を行います。これは、最大の分散の方向を与える連続変数の直交線形結合を見つけることとまったく同じではありません。実際、PCAをクラスター分析に使用したCVに関する論文を最近議論しましたが、著者は、最初のいくつかの主成分ではなく、最後の主成分に最良の分離が見られる状況があることを発見しました。