回帰の目的で予測子の次元を減らすことの利点は何ですか？

次元削減回帰（DRR）または教師付き次元削減（SDR）技法の、従来の回帰技法（次元削減なし）に対するアプリケーションまたは利点は何ですか？これらのクラスの技法は、回帰問題の特徴セットの低次元表現を見つけます。このような手法の例には、スライスされた逆回帰、主ヘシアン方向、スライスされた平均分散推定、カーネルスライスされた逆回帰、主成分回帰などが含まれます。

1. 交差検証されたRMSEに関して、次元削減を行わない回帰アルゴリズムでアルゴリズムのパフォーマンスが向上した場合、回帰の次元削減の実際の用途は何ですか？これらのテクニックの要点はわかりません。

2. これらの手法は、たまたま、回帰のための空間と時間の複雑さを減らすために使用されていますか？それが主な利点である場合、この手法を使用する際の高次元データセットの複雑さの軽減に関するリソースが役立つでしょう。これについては、DRRまたはSDR技術自体を実行するにはある程度の時間とスペースが必要であるという事実について議論します。このSDR / DRR +回帰は、低濃度のデータセットで、高濃度のデータセットでの回帰のみよりも高速ですか？

3. この設定は抽象的な関心のみから研究されたもので、実用的なアプリケーションはありませんか？

余談ですが、特徴と応答同時分布が多様体上にあるという仮定が時々あります。回帰問題を解決するために、このコンテキストで観測されたサンプルから多様体を学習することは理にかなっています。$X$$Y$

多様体仮説によれば、データは低次元多様体にあると想定され、残差はノイズであることを意味するため、次元削減を正しく行う場合は、ノイズではなく信号をモデル化することでパフォーマンスを向上させる必要があります。それは単にスペースと複雑さの問題ではありません。

回帰の次元削減の目的は正則化です。

あなたがリストしたテクニックのほとんどはあまりよく知られていません。主成分回帰（PCR）以外は聞いていません。だから私はPCRについて返信しますが、同じことが他のテクニックにも当てはまることを期待しています。

ここでの2つのキーワードは、過剰適合と正則化です。長い扱いと議論のために、The Elements of Statistical Learningを紹介します が、ごく簡単に言えば、予測子がたくさんあり（）、サンプルが足りない（）場合、標準回帰はデータに適合しすぎて、トレーニングセットではパフォーマンスが良いように見えるが、実際にはテストセットではパフォーマンスが非常に低いモデルを構築します。$p$$n$

極端な例では、予測変数の数は、サンプル数を超えた場合（人々がにとしてそれを参照問題）、あなたが実際にすることができます完璧にフィット任意の応答変数一見達成し、パフォーマンスを。これは明らかにナンセンスです。y 100 $p>n$$y$$100\%$

過剰適合に対処するには、正則化を使用する必要があり、さまざまな正則化戦略がたくさんあります。一部のアプローチでは、予測子の数を大幅に減らし、問題を状況に減らしてから、標準回帰を使用しようとします。これはまさに主成分回帰が行うことです。The Elementsのセクション3.4--3.6を参照してください。通常、PCRは最適ではなく、ほとんどの場合、他のいくつかの正則化手法のパフォーマンスは向上しますが、理解と解釈は簡単です。$p\ll n$

PCRも任意ではないことに注意してください（たとえば、次元をランダムに維持すると、パフォーマンスが大幅に低下する可能性があります）。これは、PCRがリッジ回帰に密接に関連しているためです。リッジ回帰は、さまざまなケースでうまく機能することが知られている標準的な収縮レギュライザーです。比較については、ここで私の回答を参照してください。リッジ回帰とPCA回帰の関係。$p$

標準の回帰と比較してパフォーマンスの向上を確認するには、多数の予測変数を含み、サンプル数が少ないデータセットが必要です。また、交差検定または独立したテストセットを使用する必要があります。パフォーマンスの向上が見られなかった場合は、データセットに十分な次元がない可能性があります。

良い答えを持つ関連スレッド：

• 設定の回帰（3万予測子と約30個のサンプルを使用して遺伝子発現から薬物効率を予測）$p\gg N$

• 設定の回帰：正則化方法（投げ縄、PLS、PCR、リッジ）の選択方法？$p>n$