確率的PCAの主要部分空間とは何ですか？

場合観測データの行列であり、、次に潜在変数であります $X$ $Y$

X = W Y + μ + ϵ

$X=WY+\mu+\epsilon$

ここで、は観測されたデータの平均であり、はデータのガウス誤差/ノイズであり、は主部分空間と呼ばれます。 $\mu$ $\epsilon$ $W$

私の質問は、通常のPCAが使用されると、以下が真である正規直交固有ベクトルセットを取得することです。 $E$

Y = E X

$Y=EX$

しかし、PPCAでは、は正規直交でも固有ベクトルでもありません。では、から主成分を取得するにはどうすればよいですか？ $W$ $W$

本能に従って、MATLABでppcaを検索しました。この行に出くわしました。

収束時、Wの列は部分空間に広がりますが、それらは正規直交ではありません。ppcaは、Wの直交化によって成分の正規直交係数coeffを取得します。

Wを取得するためにppcaコードを少し変更して実行し、直交化した後、WからPを取得しました。

なぜこの直交化によって固有ベクトルが得られ、それに沿ってほとんどの分散が見られるのでしょうか？

私は、直交化によって主部分空間にまたがる一連の直交/正規直交ベクトルが得られると仮定していますが、この直交化された結果の行列がeigenmatrixに等しいのはなぜですか（pcaの固有行列も正規直交であることを知っています）？主部分空間が正規直交ベクトルの一意のセットによってのみスパンされると仮定できますか？その場合、両方の結果は常に一致します。

— ユーザー3086871
ソース

混乱を解消するために、Wが計算される場所を正確に確認し、それをprin_subという新しい出力パラメーターに割り当てました。私はppcaがSWでWを返すことを知っていますが、完全に明確にするために、それを冗長に行いました。このドキュメントでは、データ「hald」を使用して例を示したので、コードを使用しました。P= orth（SW）も@amoeba私は他の質問を削除しました。

— user3086871

これは素晴らしい質問です。

確率的PCA（PPCA）は、次の潜在変数モデル一回の観察であり、潜在変数のベクトルです。通常。因子分析から、この異なることに注意してください：一つだけ少し詳細にPPCAにおける誤差共分散構造であるとFAでは、任意の対角行列であり、。

\begin{aligned} z & \sim N (0, I) \\ x & \sim N (W z + μ, σ^{2} I), \end{aligned}

$\begin{align} \mathbf z &\sim \mathcal N(\mathbf 0, \mathbf I) \\ \mathbf x &\sim \mathcal N(\mathbf W \mathbf z + \boldsymbol \mu, \sigma^2 \mathbf I), \end{align}$

x \in R^{p}

$\mathbf x\in\mathbb R^p$

z \in R^{q}

$\mathbf z\in\mathbb R^q$

q ≪ p

$q\ll p$

σ^{2} I

$\sigma^2 \mathbf I$

Ψ

$\boldsymbol \Psi$

W_{M L} = U_{q} (Λ_{q} - σ_{M L}^{2} I)^{1 / 2} R,

$\mathbf W_\mathrm{ML} = \mathbf U_q (\boldsymbol \Lambda_q - \sigma_\mathrm{ML}^2 \mathbf I)^{1/2} \mathbf R,$

U_{q}

$\mathbf U_q$

q

$q$

Λ_{q}

$\boldsymbol \Lambda_q$

σ_{M L}^{2}

$\sigma_\mathrm{ML}^2$

R

$\mathbf R$

q \times q

$q\times q$

ppca() $\mathbf W_\mathrm{ML}$

$\mathbf U_q$ $\mathbf W_\mathrm{ML}$

$\mathbf W_\mathrm{ML}$ $\mathbf U_q$ $\mathbf W_\mathrm{ML}$

これは、Matlabのppca()関数が305行で行っていることとまったく同じです。

% Orthogonalize W to the standard PCA subspace
[coeff,~] = svd(W,'econ');

主部分空間が正規直交ベクトルの一意のセットによってのみスパンされると仮定できますか？

$\mathbf W_\mathrm{ML}$ $\mathbf U_q$

— アメーバ
ソース

なんて素晴らしい答えでしょう！あなたはかなり素晴らしいです！大きな助け！どうもありがとうございます。@amoeba

— user3086871