SVD / PCAの変数の「正規化」

我々が持っていると仮定測定可能な変数、、我々は数やる、測定のをしてから実行したい特異値分解をするために最高の分散の軸を見つけるために、結果にポイント次元空間。（注：の平均はすでに減算されていると仮定しているため、すべてのについてです。）（1、2、... 、N）M > N M N A I ⟨ A I ⟩ = 0 $N$$(a_1, a_2, \ldots, a_N)$$M > N$$M$$N$$a_i$$\langle a_i \rangle = 0$$i$

ここで、変数の1つ（またはそれ以上）が、他と大きく異なる特性の大きさを持っていると仮定します。たとえば、値はの範囲で、残りはです。これにより、分散が最も大きい軸がの軸に向かって大きくます。 10 − 100 0.1 − 1 a $a_1$$10-100$$0.1-1$$a_1$

大きさの違いは、測定単位の不幸な選択のためかもしれません（たとえば、物理データ、たとえばキロメートルとメートルの場合）が、実際には異なる変数はまったく異なる次元（たとえば、重量と体積）を持っている可能性があります。それらに「同等の」ユニットを選択する明白な方法はないかもしれません。

質問： この問題を回避するためにデータを正規化する標準/一般的な方法が存在するかどうかを知りたいです。私は、何か新しいものをよりも、この目的のために匹敵する大きさを生成する標準的な手法にもっと興味を持っています。$a_1 - a_N$

編集： 1つの可能性は、各変数をその標準偏差または同様のもので正規化することです。ただし、次の問題が発生します。データを次元空間の点群として解釈してみましょう。この点群は回転させることができ、このタイプの正規化は、回転に応じて（SVD後の）最終結果が異なります。（例えば、最も極端な場合、データを正確に回転させて主軸を主軸に合わせると想像してください。）$N$

これを行うための回転不変の方法はないだろうと期待していますが、特に結果の解釈の警告に関して、誰かがこの問題についての文献の議論を指摘してくれれば幸いです。

3つの一般的な正規化は、センタリング、スケーリング、および標準化です。

ましょランダムな変数です。$X$

センタリングは

結果のはます。$x^*$$\bar{x^*}=0$

スケーリングは

結果のにはます。$x^*$$\sum_{i}{{{x_i^*}}^2} = 1$

標準化は、センタリングとスケーリングです。結果のはおよびます。¯ $x^*$ΣI X * I 2=$\bar{x^*}=0$$\sum_{i}{{{x_i^*}}^2} = 1$

特に、この違いが異なる単位または異なる物理的寸法に起因する場合、非常に異なる分散を持つ個々の変数を持つことはPCAにとって問題になる可能性があることは絶対に正しいです。そのため、変数がすべて比較可能でない限り（同じ物理量、同じ単位）、共分散行列ではなく相関行列でPCAを実行することをお勧めします。こちらをご覧ください：

• 相関または共分散に関するPCA？

相関行列でPCAを実行することは、分析の前にすべての変数を標準化すること（および共分散行列でPCAを実行すること）と同等です。標準化とは、すべての変数が単位分散になるように、各変数を中央揃えしてから標準偏差で除算することを意味します。これは、すべてのユニットを比較可能にするための便利な「ユニットの変更」と見なすことができます。

変数を「正規化」するより良い方法があるかどうかを尋ねることができます。たとえば、生の分散ではなく、堅牢な分散推定値で除算することを選択できます。これは次のスレッドで尋ねられ、次の議論を参照してください（明確な答えはそこに与えられていませんが）。

• PCAを行う前に、他の標準化因子ではなく標準偏差で割るのはなぜですか？

最後に、標準偏差（または同様のもの）による正規化は回転不変ではないことを心配しました。はい、そうではありません。しかし、@ whuberが上記のコメントで述べたように、それを行う回転不変の方法はありません。個々の変数の単位を変更することは回転不変の操作ではありません！ここで心配することはありません。

PCAを適用する前の一般的な手法は、サンプルから平均を減算することです。そうしないと、最初の固有ベクトルが平均になります。あなたがそれをやったかどうかはわかりませんが、それについて話させてください。MATLABコードで話す場合：これは

clear, clf
clc
%% Let us draw a line
scale = 1;
x = scale .* (1:0.25:5);
y = 1/2*x + 1;

%% and add some noise
y = y + rand(size(y));

%% plot and see
subplot(1,2,1), plot(x, y, '*k')
axis equal

%% Put the data in columns and see what SVD gives
A = [x;y];
[U, S, V] = svd(A);

hold on
plot([mean(x)-U(1,1)*S(1,1) mean(x)+U(1,1)*S(1,1)], ...
     [mean(y)-U(2,1)*S(1,1) mean(y)+U(2,1)*S(1,1)], ...
     ':k');
plot([mean(x)-U(1,2)*S(2,2) mean(x)+U(1,2)*S(2,2)], ...
     [mean(y)-U(2,2)*S(2,2) mean(y)+U(2,2)*S(2,2)], ...
     '-.k');
title('The left singular vectors found directly')

%% Now, subtract the mean and see its effect
A(1,:) = A(1,:) - mean(A(1,:));
A(2,:) = A(2,:) - mean(A(2,:));

[U, S, V] = svd(A);

subplot(1,2,2)
plot(x, y, '*k')
axis equal
hold on
plot([mean(x)-U(1,1)*S(1,1) mean(x)+U(1,1)*S(1,1)], ...
     [mean(y)-U(2,1)*S(1,1) mean(y)+U(2,1)*S(1,1)], ...
     ':k');
plot([mean(x)-U(1,2)*S(2,2) mean(x)+U(1,2)*S(2,2)], ...
     [mean(y)-U(2,2)*S(2,2) mean(y)+U(2,2)*S(2,2)], ...
     '-.k');
title('The left singular vectors found after subtracting mean')

図からわかるように、（共）分散をよりよく分析する場合は、データから平均を差し引く必要があると思います。その場合、値は10-100から0.1-1の間ではありませんが、それらの平均はすべてゼロになります。分散は固有値（または特異値の2乗）として検出されます。検出された固有ベクトルは、平均を減算する場合とそうでない場合の場合のように、次元のスケールの影響を受けません。例えば、私はあなたのケースにとって平均を引くことが重要かもしれないことを伝える以下をテストし、観察しました。そのため、問題は分散ではなく、翻訳の違いに起因する可能性があります。

% scale = 0.5, without subtracting mean
U =

-0.5504   -0.8349
-0.8349    0.5504


% scale = 0.5, with subtracting mean
U =

-0.8311   -0.5561
-0.5561    0.8311


% scale = 1, without subtracting mean
U =

-0.7327   -0.6806
-0.6806    0.7327

% scale = 1, with subtracting mean
U =

-0.8464   -0.5325
-0.5325    0.8464


% scale = 100, without subtracting mean
U =

-0.8930   -0.4501
-0.4501    0.8930


% scale = 100, with subtracting mean
U =

-0.8943   -0.4474
-0.4474    0.8943

PCAのデータを正規化するには、次の式も使用されます

$\text{SC}=100\frac{X-\min(X)}{\max(X)-\min(X)}$

どこ国のためにその指標のための生の値である年度における、および すべての年にわたるその指標のためのすべての国全体のすべての生の値を示します。c t $X$$c$$t$$X$