タグ付けされた質問 「reduced-rank-regression」

回帰分析と線形判別分析（LDA）の間に関係はありますか？それらの類似点と相違点は何ですか？2つのクラスがある場合、または3つ以上のクラスがある場合、違いはありますか？

24 regression  logistic  discriminant-analysis  canonical-correlation  reduced-rank-regression 

私は統計学習の要素を読んでおり、セクション3.7「複数の結果の縮小と選択」が何であるかを理解できませんでした。RRR（Reduced-Rank Regression）について説明しており、前提は一般的な多変量線形モデルに関するものであり、係数は不明であり（推定される）、完全なランクを持たないことがわかっていることしか理解できません。私が理解しているのはそれだけです。 残りの数学は私を超えています。著者が「見せることができる」と言うことさえ助けにならず、物事を演習として残します。 誰かがここで何が起こっているのかを直感的に説明してもらえますか？この章では、おそらく新しい方法について説明していますか？または何？

22 regression  multivariate-analysis  dimensionality-reduction  regularization  reduced-rank-regression 

ランクの低下回帰と主成分回帰は、部分最小二乗の特別な場合にすぎませんか？ このチュートリアル（6ページの「目的の比較」）では、XまたはYを投影せずに部分最小二乗（つまり「部分的ではない」）を行うと、ランク回帰または主成分回帰に対応するようになると述べています。 このSASドキュメントページのセクション「ランクの回帰の削減」および「メソッド間の関係」で同様の記述が行われています。 より基本的なフォローアップの質問は、それらが同様の基礎となる確率モデルを持っているかどうかです。

16 regression  pca  dimensionality-reduction  partial-least-squares  reduced-rank-regression 

この質問は、前の質問に続く議論の結果です。部分最小二乗、縮小ランク回帰、および主成分回帰の間の接続は何ですか？ 主成分分析の場合、一般的に使用される確率モデルはx=λ−−√wz+ϵ∈Rp,x=λwz+ϵ∈Rp,\mathbf x = \sqrt{\lambda} \mathbf{w} z + \boldsymbol \epsilon \in \mathbb R^p,、z∼N(0,1)z∼N(0,1)z\sim \mathcal N(0,1)、w∈Sp−1w∈Sp−1\mathbf{w}\in S^{p-1}、λ>0λ>0\lambda > 0、およびϵ∼N(0,Ip)ϵ∼N(0,Ip)\boldsymbol\epsilon \sim \mathcal N(0,\mathbf{I}_p)。次に、\ mathbf {x}の母共分散xx\mathbf{x}はλwwT+IpλwwT+Ip\lambda \mathbf{w}\mathbf{w}^T + \mathbf{I}_p、つまりx∼N(0,λwwT+Ip).x∼N(0,λwwT+Ip).\mathbf{x}\sim \mathcal N(0,\lambda \mathbf{w}\mathbf{w}^T + \mathbf{I}_p).目標は\ mathbf {w}を推定することですww\mathbf{w}。これはスパイク共分散モデルと呼ばれ、PCA文献で頻繁に使用されます。真の\ mathbf {w}を推定する問題は、単位球上の\ mathbf {w}より\ operatorname {Var}（\ mathbf {Xw}）をww\mathbf{w}最大化することで解決できます。Var(Xw)Var⁡(Xw)\operatorname{Var} (\mathbf{Xw})ww\mathbf{w} @amoebaによる前の質問への回答で指摘されているように、ランク回帰の減少、部分最小二乗法、および正準相関分析には、密接に関連した定式化があります。 PCA:RRR:PLS:CCA:Var(Xw),Var(Xw)⋅Corr2(Xw,Yv)⋅Var(Yv),Var(Xw)⋅Corr2(Xw,Yv)⋅Var(Yv)=Cov2(Xw,Yv),Var(Xw)⋅Corr2(Xw,Yv).PCA:Var⁡(Xw),RRR:Var⁡(Xw)⋅Corr2⁡(Xw,Yv)⋅Var⁡(Yv),PLS:Var⁡(Xw)⋅Corr2⁡(Xw,Yv)⋅Var⁡(Yv)=Cov2⁡(Xw,Yv),CCA:Var⁡(Xw)⋅Corr2⁡(Xw,Yv).\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}),\\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}),\\ …

7 pca  latent-variable  partial-least-squares  canonical-correlation  reduced-rank-regression