平滑化後のデータ行列（PCA）のSVD

レッツは、私が持っていると $n \times m$ 、データ行列中心 $A$ SVDを用いて $A = U \Sigma V^{T}$ 。

たとえば、 $m=50$ 列（測定値）であり、 $n=100$ 異なる周波数のスペクトルです。行列が中央に配置されるため、行列の行の平均が差し引かれます。これは、左特異ベクトルを主成分として解釈するためのものです。

各列ベクトルを平滑化したときにSVDがどのように変化するかを理解することに興味があります。たとえば、[1/3、2/3、1/3]のような単純なカーネルで各100x1列を平滑化しましょう。

$S=\begin{bmatrix} \frac{2}{3}&\frac{1}{3}& & & & &\\ \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & & & &\\ & \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & & &\\ & & \ddots& \ddots & \ddots & & \\ & & & \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & \\ & & & &\frac{1}{3}&\frac{2}{3}&\frac{1}{3} \\ & & & & &\frac{1}{3}&\frac{2}{3} \end{bmatrix}$

したがって、新しいデータ行列は $A'=SA$ であり、いくつかのSVD を持ってい $A' = U' \Sigma' V'^{T}$ ます。

私が最初に考えたので、ということでした、私は期待すべき同じように平滑化されるようにベクトルベクトル。 $SA = SU \Sigma V^{T}$ ${U'}_i$ $A_i$

この最初の方程式は、が固有ベクトルであるように見えます。 $(SU)_i$ $A' A'^T$

S A (S A)^{T} = S U Σ Σ^{T} U^{T} S^{T}

$SA(SA)^T=SU\Sigma\Sigma^TU^TS^T$

しかし、が固有ベクトルであると言えるのであれば、次の1つについてはわかりません。 $V_i$ $A'^T A'$

(S A)^{T} S A = V Σ^{T} U^{T} S^{T} S U Σ V^{T}

$(SA)^TSA=V\Sigma^TU^TS^TSU\Sigma V^T$

私はののSVD比較するとと数値的に、左特異ベクトルは、私が期待するものではありませんが、彼らは平滑化の外観を持っています。 $A$ $A'$ $U' \neq SU$

私は関連付けることができます誰も助けとSVD この単純な変換の後に？ $U \Sigma V^{T}$ $U' \Sigma' V'^{T}$

pca smoothing svd

— アンディ
ソース

あなたの最初の考えがあなたを迷わせた理由：

行列のSVDを取得すると、とはユニタリ（直交）になります。だから、それが真である間、そのである、ではない（一般的に）のSVD 。場合にのみ、（平滑化行列の場合には、それはありませんどの）一体型であることは、というのは本当だろう。 $U$ $V$ $SA = SU \Sigma V^{T}$ $SA$ $S$ $U' = SU$

2つのSVDを関連付けるエレガントで象徴的な方法はありますか？見つかりません。ただし、平滑化行列はテプリッツ行列です。このような行列には、より実りある分析を行うための特別な特性がある可能性があります。何かわかったら、他の人たちと共有してください。

極端な平滑化の場合：

平滑化について考える1つの方法は、各列をその平均値に平滑化する平滑化なしから極端までの連続です。さて、その極端なケースでは、行列のランクは1になり、ゼロ以外の特異値は1つだけになります。SVDを見てみましょう。

$\left[ \begin{matrix} \uparrow & \uparrow & & \uparrow \\ \mu_1 & \mu_2 & ... & \mu_m \\ \downarrow & \downarrow & & \downarrow \end{matrix} \right] = \left[ \begin{matrix} \boldsymbol{\mu} \\ \boldsymbol{\mu} \\ ... \\ \end{matrix} \right] = \mathbf{1} \boldsymbol{\mu}^T = \dfrac{\mathbf{1}}{\sqrt{n}} \left[ \|\boldsymbol{\mu}\| \sqrt{n} \right] \dfrac{\boldsymbol{\mu}^T}{\|\boldsymbol{\mu}\|}$

$\frac{\mathbf{1}}{\sqrt{n}}$ $\frac{\boldsymbol{\mu}}{\|\boldsymbol{\mu}\|}$

中間平滑化

おそらく、このような極端な平滑化を行うことはありません。それで、これはあなたにとって何を意味しますか？平滑化を広げるにつれて、スペクトルは徐々に1つの値に減少します。たとえば、私のシミュレーションでは*：

スペクトル法線スペクトルオルソ

$U'_1$ $V'_1$

$U'_i$ $V'_i$ $U'_1$ $V'_1$

あなたは彼らがしている「だけでノイズ」、と考えている理由のためのいくつかの直感が必要な場合：ダイアドの加重和である $SA$ $\displaystyle \sum \sigma_i U'_i V'^T_i$ $U'_i$ $V'_i$ $SA$ $\sigma_i$

別の視覚化

$m$

行点群

お役に立てれば！

_{$z$ $d$}

_{$A$ $2$}

— スタンピー・ジョー・ピート
ソース