「ランクを下げた回帰」とは何ですか？

私は統計学習の要素を読んでおり、セクション3.7「複数の結果の縮小と選択」が何であるかを理解できませんでした。RRR（Reduced-Rank Regression）について説明しており、前提は一般的な多変量線形モデルに関するものであり、係数は不明であり（推定される）、完全なランクを持たないことがわかっていることしか理解できません。私が理解しているのはそれだけです。

残りの数学は私を超えています。著者が「見せることができる」と言うことさえ助けにならず、物事を演習として残します。

誰かがここで何が起こっているのかを直感的に説明してもらえますか？この章では、おそらく新しい方法について説明していますか？または何？

— cgo
ソース

収縮と変数選択のコンテキストで複数の結果モデルを活用する回帰方法を提供するようです。Yの結果は1つではなく、複数のYの結果があります。5つのYの結果があるとします。このセクションでは、5つの個別のモデルを構築する代わりに、メソッドの推定をプールするメソッドについて説明します。

— spdrnl

私の数セント：低ランクのマトリックスの仮定は物事を簡単にします。幸いなことに、この仮定は多くの現実世界のデータソースに当てはまります。

— ヴラディスラフドヴガレス

この仮定は、ソリューションに制限があることのようです。このホワイト

— Vladislavs Dovgalecs

回答:

1.低ランク回帰（RRR）とは何ですか？

多変量多重線形回帰、つまり、独立変数と従属変数による回帰を検討してください。LET 及び中心予測（BE ）及び応答（）データセット。その後、通常の通常の最小二乗（OLS）回帰は、次のコスト関数を最小化するように定式化できます。 $p$ $q$ $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$

L = ‖ Y - X B ‖^{2},

$L=\|\mathbf Y-\mathbf X\mathbf B\|^2,$

ここで、は回帰重みの行列です。その解は次式で与えられる及び行うと同等であることを確認することは容易である別OLS回帰、各従属変数の一つ。 $\mathbf B$ $p\times q$

{\hat{B}}_{O L S} = (X^{⊤} X)^{- 1} X^{⊤} Y,

$\hat{\mathbf B}_\mathrm{OLS}=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf Y,$

q

$q$

縮小ランク回帰にランク制約導入、すなわちで最小化されるべき、の最大許容ランクである。 $\mathbf B$ $L$ $\operatorname{rank}(\mathbf B)\le r$ $r$ $\mathbf B$

2. RRRソリューションの入手方法

RRRは固有ベクトル問題としてキャストできることがわかりました。実際、OLSはの列空間に直交射影本質的であるという事実使用、我々は書き換えることができように最初の用語に依存しないと第2項は近似値のSVD / PCAによって最小化することができる $\mathbf X$ $L$

L = ‖ Y - X {\hat{B}}_{O L S} ‖^{2} + ‖ X {\hat{B}}_{O L S} - X B ‖^{2} .

$L=\|\mathbf Y-\mathbf X\hat{\mathbf B}_\mathrm{OLS}\|^2+\|\mathbf X\hat{\mathbf B}_\mathrm{OLS}-\mathbf X\mathbf B\|^2.$

B

$\mathbf B$

。

\hat{Y} = X {\hat{B}}_{O L S}

$\hat{\mathbf Y}=\mathbf X\hat{\mathbf B}_\mathrm{OLS}$

具体的には、もし最初であるの主軸、次いで $\mathbf U_r$ $r$ $\hat{\mathbf Y}$

{\hat{B}}_{R R R} = {\hat{B}}_{O L S} U_{r} U_{r}^{⊤} .

$\hat{\mathbf B}_\mathrm{RRR}=\hat{\mathbf B}_\mathrm{OLS}\mathbf U_r\mathbf U_r^\top.$

3. RRRのメリットは何ですか？

RRRを使用する理由は2つあります。

まず、正規化の目的で使用できます。リッジ回帰（RR）、なげなわなどと同様に、RRRは「収縮」ペナルティを導入します。最適なランクは、相互検証によって見つけることができます。私の経験では、RRRは容易にOLSよりも優れていますが、RRを失う傾向があります。ただし、RRR + RRは、RR単独よりも（わずかに）優れたパフォーマンスを発揮できます。 $\mathbf B$ $r$

第二に、次元削減/データ探索方法として使用できます。一連の予測変数と一連の従属変数がある場合、RRRは予測空間に「潜在因子」を構築し、DVの分散を説明する最良の仕事をします。その後、これらの潜在的要因を解釈し、プロットするなどを試みることができます。私が知る限り、これは日常的に行われ、RRRは冗長性分析として知られ、それらは調整方法と呼ばれるものの例です（@GavinSimpsonの答えはこちら）。

4.他の次元削減方法との関係

RRRは、CCAやPLSなどの他の次元削減方法と密接に関連しています。私はにそれを私の答えで少しカバー部分最小二乗、縮小ランク回帰、および主成分回帰との間の接続は何ですか？

もし $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$ $\mathbf w \in \mathbb R^p$ $\mathbf X$ $\mathbf v \in \mathbb R^q$ $\mathbf Y$

$\begin{aligned} P C A : & Var (X w) \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v) \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v) \\ C C A : & {Corr}^{2} (X w, Y v) \end{aligned}$ $\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$

詳細については、こちらをご覧ください。

一般的な線形多変量法（PCA、CCA、LDAなど）の大部分（PLSではない！）をRRRと見なす方法の詳細については、Torre、2009、A Least-Squares Framework for Component Analysisを参照してください。

5. Hastie et al。のこのセクションはなぜですか。とても分かりにくい？

L = ‖ Y - X B ‖^{2},

$L=\|\mathbf Y-\mathbf X \mathbf B\|^2,$

L = ‖ (Y - X B) (Y^{⊤} Y)^{- 1 / 2} ‖^{2},

$L=\|(\mathbf Y-\mathbf X \mathbf B)(\mathbf Y^\top \mathbf Y)^{-1/2}\|^2,$

Y

$\mathbf Y$

Y

$\mathbf Y$ 白色化すると、差はなくなります。それで、Hastie et al。call RRRは、実際にはCCAに変装しています（実際、3.69を参照）。

このセクションではそのいずれも適切に説明されていないため、混乱が生じます。

さらに読むには、Friendlyチュートリアルへの私の答えまたはランクを下げた回帰の紹介を参照してください。

— アメーバはモニカを復活させると言う
ソース

これは非常にうまく書かれた詳細な説明です。ありがとう、感謝します。

— -cgo

r

$r$

B

$\bf B$ ます。これは母集団係数であり、したがって未知のパラメーターです。少し詳しく説明していただけますか？

— アントニ・パレラダ

（1）多変量回帰、@ Antoni、つまり

Y

$Y$

B

$B$

B

$B$

L

$L$

B

$B$

L

$L$

— アメーバは、モニカーを復活させる

r

$r$

r

$r$

\hat{df} (r) = p q - (p - r) (q - r) + "a small correction term"

$\hat{\text{df}}(r) = pq - (p-r)(q-r) + \text{"a small correction term"}$

p

$p$

q

$q$

r

$r$

\frac{‖ Y - {\hat{Y}}^{RRRR} (r) ‖_{Fro}^{2}}{(n q - \hat{df} (r))^{2}}

$\frac{\|Y - \hat{Y}^{\text{RRRR}}(r)\|_{\text{Fro}}^2}{(nq - \hat{\text{df}}(r))^2}$

たとえば、google.fr

— url

低ランク回帰は、単一のYの結果ではなく、複数のYの結果があるモデルです。もちろん、応答ごとに別々の多変量線形回帰を当てはめることもできますが、予測変数と各応答の間の関数関係が明らかに類似している場合、これは非効率的と思われます。これが明らかに当てはまると思う状況については、このkaggleの演習を参照してください。

https://www.kaggle.com/c/bike-sharing-demand/data

この問題に取り組むためのいくつかの関連技術があり、Y変数の予測に使用されるX変数から「ファクター」または「コンポーネント」を構築します。SASのこのドキュメントページは、違いを明確にするのに役立ちました。ランク回帰の削減は、応答と予測子の両方の変動を最大限に考慮するコンポーネントを抽出する部分最小二乗法とは対照的に、応答間の変動を最大限に考慮するコンポーネントの抽出に関するものと思われます。

https://support.sas.com/documentation/cdl/en/statug/63347/HTML/default/viewer.htm#statug_pls_sect014.htm

— イギー25
ソース

+1。そのとおりです。このstats.stackexchange.com/questions/206587への回答で、このSASドキュメントページ、特にその図について説明しました。

— アメーバは、モニカーを復活させる