PCAで、2つの母集団の分離を最大化するために変数を削除する体系的な方法はありますか？

私は主成分分析を使用して、新しいデータポイントがどの母集団（ "Aurignacian"または "Gravettian"）からのものであるかを確信を持って推測できるかどうかを調査しています。データポイントは28の変数で記述され、そのほとんどは考古学上の人工物の相対的な頻度です。残りの変数は、他の変数の比率として計算されます。

すべての変数を使用して、母集団は部分的に分離されます（サブプロット（a））が、それらの分布にはまだ重複があります（90％のt分布予測楕円、母集団の正規分布を想定できるかどうかはわかりません）。したがって、新しいデータポイントの起源を確信を持って予測することは不可能だと思いました。

1つの変数（r-BE）を削除すると、対になったPCAプロットで母集団が分離されないため、オーバーラップがはるかに重要になります（サブプロット（d）、（e）、および（f））。1-2、3- 4、...、25-26、および1-27。これは、2つの母集団を分離するためにr-BEが不可欠であることを意味します。これらをまとめると、これらのPCAプロットはデータセット内の「情報」（分散）の100％を表すと考えたからです。

したがって、私は、ほんの一握りの変数を除いてすべてを削除した場合、母集団が実際にはほぼ完全に分離したことに気づいて、非常に驚​​きました。

すべての変数に対してPCAを実行すると、このパターンが表示されないのはなぜですか？28個の変数を使用すると、268,435,427通りの方法で変数をドロップできます。人口分離を最大化し、新しいデータポイントの起源の人口を推測するのに最適なものをどのように見つけることができますか？より一般的には、このような「隠された」パターンを見つける体系的な方法はありますか？

編集：アメーバのリクエストに従って、PCをスケーリングしたときのプロットを以下に示します。パターンはより明確です。（私は変数をノックアウトし続けることでいたずらであることを認識していますが、今回のパターンはr-BEのノックアウトに抵抗し、「非表示」パターンがスケーリングによってピックアップされることを意味します）：

主成分（PC）は、予測変数/特徴の分散に基づいています。最も変動性の高い機能が、分類に最も関連性の高い機能であるという保証はありません。これは、結果の1つの考えられる説明です。また、プロットで行うように、一度に2台のPCへの投影に制限すると、高次元のパターンに存在するより優れた分離が失われる可能性があります。

PCプロットの線形結合として予測子をすでに組み込んでいるので、これをロジスティックまたは多項回帰モデルとして設定することを検討してください。クラスが2つしかない場合（たとえば、「Aurignacian」と「Gravettian」）、ロジスティック回帰は、クラスのメンバーシップの確率を予測子変数の線形結合の関数として表します。多項回帰つ以上のクラスに一般化します。

これらのアプローチは、結果/分類変数と予測変数の両方に関して重要な柔軟性を提供します。分類結果の観点から、モデル自体で変更できないすべてかどうかの選択を行うのではなく、クラスメンバーシップの確率をモデル化します。したがって、たとえば、同じロジスティック/多項モデルに基づいて、異なるタイプの分類エラーに対して異なる重みを可能にすることができます。

特に、（例で行ったように）モデルから予測変数を削除し始めると、最終的なモデルが特定のデータサンプルに依存しすぎる危険性があります。ロジスティック回帰または多項回帰の予測変数に関して、LASSOやリッジ回帰などの標準のペナルティメソッドを使用して、新しいデータサンプルでのモデルのパフォーマンスを潜在的に向上させることができます。リッジ回帰ロジスティックモデルまたは多項モデルは、例で達成しようとしているように見えます。基本的には機能セットの主成分に基づいていますが、PCに含まれる機能セットの分散の割合ではなく、分類との関係の観点からPCに重みを付けます。