部分最小二乗、減少ランク回帰、および正準相関分析の確率モデル？

この質問は、前の質問に続く議論の結果です。部分最小二乗、縮小ランク回帰、および主成分回帰の間の接続は何ですか？

主成分分析の場合、一般的に使用される確率モデルは

x = \sqrt{λ} w z + ϵ \in R^{p},

$\mathbf x = \sqrt{\lambda} \mathbf{w} z + \boldsymbol \epsilon \in \mathbb R^p,$ 、

z \sim N (0, 1)

$z\sim \mathcal N(0,1)$ 、

w \in S^{p - 1}

$\mathbf{w}\in S^{p-1}$ 、

λ > 0

$\lambda > 0$ 、および

ϵ \sim N (0, I_{p})

$\boldsymbol\epsilon \sim \mathcal N(0,\mathbf{I}_p)$ 。次に、

共分散

x

$\mathbf{x}$ は

λ w w^{T} + I_{p}

$\lambda \mathbf{w}\mathbf{w}^T + \mathbf{I}_p$ 、つまり

x \sim N (0, λ w w^{T} + I_{p}) .

$\mathbf{x}\sim \mathcal N(0,\lambda \mathbf{w}\mathbf{w}^T + \mathbf{I}_p).$ 目標は

を推定することです

w

$\mathbf{w}$ 。これはスパイク共分散モデルと呼ばれ、PCA文献で頻繁に使用されます。真の

を推定する問題は、単位球上の

より

を

w

$\mathbf{w}$ 最大化することで解決できます。

Var (X w)

$\operatorname{Var} (\mathbf{Xw})$

w

$\mathbf{w}$

@amoebaによる前の質問への回答で指摘されているように、ランク回帰の減少、部分最小二乗法、および正準相関分析には、密接に関連した定式化があります。

$\begin{aligned} P C A : & Var (X w), \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v), \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v), \\ C C A : & {Corr}^{2} (X w, Y v) . \end{aligned}$ $\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}),\\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}),\\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv}),\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}). \end{align}$

問題は、RRR、PLS、およびCCAの背後にある確率モデルは何ですか？特に、について考えていは、RRR、PLS、およびCCAのおよびにどのように依存しますか？さらに、それらに統一された確率モデル（PCAのスパイクされた共分散モデルなど）はありますか？

(x^{T}, y^{T})^{T} \sim N (0, Σ) .

$(\mathbf{x}^T, \mathbf{y}^T)^T \sim \mathcal N(0, \mathbf{\Sigma}).$

Σ

$\mathbf{\Sigma}$

w

$\mathbf{w}$

v

$\mathbf{v}$

— ミンコフ
ソース

こんにちは@Moskowitz。私の答えはあなたが望んでいた方向に進んでいますか？私はそれがあなたの質問に完全に答えていないことがわかりますが、私はいくつかのフィードバックを得て、それについてのあなたの考えを知ることにも興味があります。必要に応じて、PCCAの説明を拡張できます。実在しない「PPLS」は、2、3年前に私がそれについて考えていたものであり、自分自身がもう一度考えていることに気づきます。ですから、あなたの考えを聞いてみてください。

— amoeba

こんにちは@amoeba。答えてくれてありがとう。返信が遅れて申し訳ありません。私はPPLSを別のマルチビューモデルとして表示することを考えていました。この場合、2つのx変数の分布は異なりますが、成功していません。私が理解できれば、私はあなたの答えに追加しようとします;）

— Minkov '18

確率的正準相関分析（確率的CCA、PCCA）は、Bach＆Jordan、2005、A Probabilistic Interpretation of Canonical Correlation Analysisで導入されました。

簡単に言うと、次の確率モデルに基づいています。

\begin{aligned} z & \sim N (0, I) \\ x | z & \sim N (W_{x} z + μ_{x}, Ψ_{x}) \\ y | z & \sim N (W_{y} z + μ_{y}, Ψ_{y}) \end{aligned}

$\begin{align} \newcommand{\z}{\mathbf z} \newcommand{\x}{\mathbf x} \newcommand{\y}{\mathbf y} \newcommand{\m}{\boldsymbol \mu} \newcommand{\P}{\boldsymbol \Psi} \newcommand{\S}{\boldsymbol \Sigma} \newcommand{\W}{\mathbf W} \newcommand{\I}{\mathbf I} \newcommand{\w}{\mathbf w} \newcommand{\u}{\mathbf u} \newcommand{\0}{\mathbf 0} \z &\sim \mathcal N(\0,\I) \\ \x|\z &\sim \mathcal N(\W_x \z + \boldsymbol \m_x, \P_x)\\ \y|\z &\sim \mathcal N(\W_y \z + \boldsymbol \m_y, \P_y) \end{align}$

ここで、ノイズ共分散およびは、任意のフルランク対称行列です。 $\P_x$ $\P_y$

1次元の潜在変数を考慮する場合、すべての平均がゼロであると想定し、とし、とを1つのベクトルに結合すると、次のようになります。 $z$ $\m_x=\m_y=0$ $\x$ $\y$

(\begin{matrix} x \\ y \end{matrix}) \sim N (0, Σ), Σ = (\begin{matrix} w_{x} w_{x}^{⊤} + Ψ_{x} & w_{x} w_{y}^{⊤} \\ w_{y} w_{x}^{⊤} & w_{y} w_{y}^{⊤} + Ψ_{y} \end{matrix}) .

$\begin{pmatrix} \x\\ \y\end{pmatrix}\sim\mathcal N (\0,\S),\quad\quad\quad\S=\begin{pmatrix}\w_x\w_x^\top+\P_x & \w_x\w_y^\top \\ \w_y\w_x^\top & \w_y\w_y^\top+\P_y\end{pmatrix}.$

Bach＆Jordanは、これが標準のCCAと同等であることを証明しました。具体的には、最尤（ML）解は与えられますここで、は両方のデータセットのサンプル共分散行列、は軸の最初の正準ペア、は任意です製品としての最初の正準相関を与える数値（両方ともと間）。

w_{i} = Σ_{i} u_{i} m_{i},

$\w_i = \S_i\u_i m_i,$

Σ_{i}

$\S_i$

u_{i}

$\u_i$

m_{x} m_{y} = ρ_{1}

$m_x m_y = \rho_1$

0

$0$

1

$1$

ご覧のように、はCCA軸と直接同じではありませんが、それらのいくつかの変換によって与えられます。詳細については、バッハとジョーダンを参照してください。 $\w_i$

PCCAを直感的によく理解していません。あなたが見ることができるように、間の相互共分散行列とによってモデル化された 1は、単純に期待することができるように、にかなりPLS軸をもたらします。ただし、MLソリューションはCCA軸に関連しています。のブロック対角構造が原因と思われます。 $X$ $Y$ $\w_x \w_y^\top$ $\w_i$ $\P=\begin{pmatrix}\P_x & \0\\ \0 & \P_y\end{pmatrix}$

私は、RRRまたはPLSの同様の確率的バージョンを認識していないため、自分で考え出すことができませんでした。が対角線の場合、結合されたデータセットでFAを取得し、対角線で等方性の場合、結合されたデータセットでPPCAを取得することに注意してください。したがって、がますます制約されるにつれて、CCAからFAからPPCAへの進行があります。他のどの選択肢が妥当であるかわかりません。 $\P$ $X+Y$ $\P$ $\P$

— アメーバ
ソース

要するに、最後から2番目の文で「等方性」とはどういう意味ですか？

— ゴットフリードヘルムス2016

@Gottfriedは、それが対角線であり、対角線上のすべての要素が等しい、つまりであることを意味します。明確にするために編集します。

\P = σ^{2} \I

$\P = \sigma^2 \I$

— amoeba

わかりました、ありがとう。1972年の本のS. Mulaikのヒントに基づいて、その名前を知らない私のpca / factor-programにそのような構造を実装しました。知っておきたいこと

— ゴットフリードヘルムズ