部分最小二乗、縮退ランク回帰、主成分回帰の関係は何ですか？

ランクの低下回帰と主成分回帰は、部分最小二乗の特別な場合にすぎませんか？

このチュートリアル（6ページの「目的の比較」）では、XまたはYを投影せずに部分最小二乗（つまり「部分的ではない」）を行うと、ランク回帰または主成分回帰に対応するようになると述べています。

このSASドキュメントページのセクション「ランクの回帰の削減」および「メソッド間の関係」で同様の記述が行われています。

より基本的なフォローアップの質問は、それらが同様の基礎となる確率モデルを持っているかどうかです。

— ミンコフ
ソース

これは本当に重要な問題です。

— スティーブ

@スティーブ。ありがとう。より詳細な紹介については、上記の私のコメントを参照してください。

— ミンコフ

これらは3つの異なる方法であり、いずれも別の特殊なケースと見なすことはできません。

正式に、もし及び予測子を中心（れる）及び応答（）データセット、我々は軸の最初のペアを探している場合のための及び用、次いで、これらの方法は以下の量を最大化します。 $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$ $\mathbf w \in \mathbb R^p$ $\mathbf X$ $\mathbf v \in \mathbb R^q$ $\mathbf Y$

\begin{aligned} P C A : & Var (X w) \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v) \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v) \\ C C A : & {Corr}^{2} (X w, Y v) \end{aligned}

$\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$

（このリストに正準相関分析（CCA）を追加しました。）

SASでは、3つのメソッドすべてがPROC PLS、異なるパラメーターを持つ同じ関数を介して実装されているように見えるため、混乱が生じているのではないかと思います。したがって、3つのメソッドはすべてPLSの特殊なケースであるように見えるかもしれません。これがSAS関数の名前の付け方だからです。ただし、これは残念なネーミングです。実際には、PLS、RRR、およびPCRは、何らかの理由でが呼び出される1つの関数でSASに実装される3つの異なる方法ですPLS。

リンクした両方のチュートリアルは、実際にそれについて非常に明確です。プレゼンテーションチュートリアルの6ページには、3つの方法すべての目的が記載されており、質問で主張した内容に反して、PLSがRRRまたはPCRに「なる」とは書かれていません。同様に、SASのドキュメントでは、3つの方法が異なり、式と直感を提供していると説明しています。

[P]主成分分析は、可能な限り多くの予測変数を説明する因子を選択し、低ランク回帰は、可能な限り多くの応答変動を説明する因子を選択し、部分最小二乗は2つの目的のバランスをとり、応答と予測変数の両方を説明する因子を探します。

SASのドキュメントには、3つの方法が異なるソリューションを提供する素晴らしいおもちゃの例を示す図もあります。このおもちゃの例には、2つの予測子およびと1つの応答変数ます。内方向の最もに相関しているの最大分散の方向と直交するようにたまたま。したがって、PC1は最初のRRR軸に直交し、PLS軸はその中間にあります。 $x_1$ $x_2$ $y$ $X$ $y$ $X$

RRR損失関数にリッジペナルティを追加して、リッジ減少ランク回帰またはRRRRを取得できます。これにより、回帰軸がPC1方向に引っ張られます。これは、PLSが行っていることに多少似ています。ただし、RRRRのコスト関数はPLS形式で記述できないため、異なるままです。

$y$

— アメーバはモニカを復活させると言う
ソース

最後の表は非常に役立ちます。その表に基づいて、PCA、RRR、およびCCAは、自転車と一輪車も三輪車の特殊なケースであると考える場合、PLSの「特殊なケース」であると考えるかもしれません。私はそのように考える傾向はありません。

— -EdM

@EdM、これらのメソッドはすべて、実際には名前を持たない統一メソッドの特殊なケースであると言えます（しかし、発明することはできます！）。しかし、「PLS」という名前にはすでに確立された意味があり、この意味にはこれらの他の手法は含まれていません。

— アメーバは、モニカを

ありがとう！私は今、テーブルを答えの最初に移動することに決めました:)

— アメーバは、Reinstate Monica

X

$X$

Y

$Y$

V a r (X w)^{α} \cdot C o r r (X w, Y v)^{β} \cdot V a r (Y v)^{γ}

$\mathrm{Var}(Xw)^\alpha\cdot \mathrm{Corr}(Xw,Yv)^\beta\cdot \mathrm{Var}(Yv)^\gamma$

— アメーバは、モニカーを復活させる

@Moskowitz：一般に、メソッドAがメソッドBの「特別なケース」であるという話をするとき、Bはより一般的であり、Aは特定のパラメーターを持つBと同等であることを意味します。これらは、データセットのいくつかの特別な条件下でAがBと同じ結果を与えることを意味するものではありません。したがって、あなたの質問に対する私の答え。

— アメーバは、モニカの復活