3変数のピアソン相関の類似

17

3つの変数の「相関」が何かであるかどうかに興味があります。

ピアソンの積率相関係数

\frac{E {(X - μ_{X}) (Y - μ_{Y})}}{\sqrt{V a r (X) V a r (Y)}}

$\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)\}}{\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}}$

ここで、3つの変数の質問：Is

\frac{E {(X - μ_{X}) (Y - μ_{Y}) (Z - μ_{Z})}}{\sqrt{V a r (X) V a r (Y) V a r (Z)}}

$\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)(Z-\mu_Z)\}} {\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)\mathrm{Var}(Z)}}$

何か？

Rでは、解釈可能なもののように見えます：

> a <- rnorm(100); b <- rnorm(100); c <- rnorm(100)
> mean((a-mean(a)) * (b-mean(b)) * (c-mean(c))) / (sd(a) * sd(b) * sd(c))
[1] -0.3476942

通常、3番目の変数の値が固定されている2つの変数間の相関関係を調べます。誰かが明確にできますか？

correlation pearson-r

— PascalVKooten
ソース

2

1）2変量Pearsonの式で、「E」（コードの意味）がnによる除算を意味する場合、st。偏差もn（n-1以外）に基づいている必要があります。2）3つの変数をすべて同じ変数にします。この場合、我々は相関が（二変数の場合のように）1であることを期待し、悲しいかなは...

— ttnphns

3変量正規分布の場合、相関関係に関係なくゼロです。

— レイクープマン

1

私は本当にタイトルがまたは同様の「3つの変数のためのピアソン相関の類推」に変更されることから利益を得るであろうと思う-それはここのリンクではなく、より有益になるだろう

— 紙魚

1

@Silverfish同意します！タイトルを更新しました、ありがとう。

— PascalVKooten

11

それは確かに何かです。調べるには、相関関係自体について知っていることを調べる必要があります。

ベクトル値のランダム変数の相関行列は、標準化されたバージョンの分散共分散行列または単に「分散」です。つまり、各は、再センタリングされ、再スケーリングされたバージョンに置き換えられます。 $\mathbf{X}=(X_1,X_2,\ldots,X_p)$ $\mathbf{X}$ $X_i$
との共分散は、中心バージョンの積の期待値です。つまり、およびと、 $X_i$ $X_j$ $X^\prime_i = X_i - E[X_i]$ $X^\prime_j = X_j - E[X_j]$

$Cov (X_{i}, X_{j}) = E [X_{i}^{'} X_{j}^{'}] .$ $\operatorname{Cov}(X_i,X_j) = E[X^\prime_i X^\prime_j].$
と書くの分散は、単一の数値ではありません。値の配列 $\mathbf{X}$ $\operatorname{Var}(\mathbf{X})$
$Var (X)_{i j} = Cov (X_{i}, X_{j}) .$ $\operatorname{Var}(\mathbf{X})_{ij}=\operatorname{Cov}(X_i,X_j).$
意図された一般化の共分散を考える方法は、それをテンソルと考えることです。これは、からまでのとでインデックス付けされた数量コレクション全体であり、その値はが線形変換を受けると特に予測可能な方法で変化することを意味します。具体的には、を別のベクトル値のランダム変数と定義します。 $v_{ij}$ $i$ $j$ $1$ $p$ $\mathbf{X}$ $\mathbf{Y}=(Y_1,Y_2,\ldots,Y_q)$

$Y_{i} = \sum_{j = 1}^{p} a_{i}^{j} X_{j} .$ $Y_i = \sum_{j=1}^p a_i^{\,j}X_j.$
定数（及びあるインデックス -電力ではない）を形成アレイ、と。期待の線形性は、 $a_i^{\,j}$ $i$ $j$ $j$ $q\times p$ $\mathbb{A} = (a_i^{\,j})$ $j=1,\ldots, p$ $i=1,\ldots, q$

$Var (Y)_{i j} = \sum a_{i}^{k} a_{j}^{l} Var (X)_{k l} .$ $\operatorname{Var}(\mathbf Y)_{ij} = \sum a_i^{\,k}a_j^{\,l}\operatorname{Var}(\mathbf X)_{kl} .$
マトリックス表記では、

$Var (Y) = A Var (X) A^{'} .$ $\operatorname{Var}(\mathbf Y) = \mathbb{A}\operatorname{Var}(\mathbf X) \mathbb{A}^\prime .$
すべてのコンポーネントは、実際には偏光アイデンティティのために単変量の分散です $\operatorname{Var}(\mathbf{X})$

$4 Cov (X_{i}, X_{j}) = Var (X_{i} + X_{j}) - Var (X_{i} - X_{j}) .$ $4\operatorname{Cov}(X_i,X_j) = \operatorname{Var}(X_i+X_j) - \operatorname{Var}(X_i-X_j).$
これは、単変量のランダム変数の分散を理解すれば、すでに二変量変数の共分散を理解していることを示しています。それらは分散の「単なる」線形結合です。

質問の式は完全に類似しています：変数はように標準化されています。標準化されているかどうかにかかわらず、変数の意味を考慮することで、それが何を表すかを理解できます。ように、各を中央バージョンに置き換え、3つのインデックスを持つ数量を形成します。 $X_i$ $(1)$ $X_i$ $(2)$

μ_{3} (X)_{i j k} = E [X_{i}^{'} X_{j}^{'} X_{k}^{'}] .

$\mu_3(\mathbf{X})_{ijk} = E[X_i^\prime X_j^\prime X_k^\prime].$

これらは次数 $3$ の中心（多変量）モーメントです。以下のように、それらはテンソルを形成する：とき、次いで $(4)$ $\mathbf{Y} = \mathbb{A}\mathbf{X}$

μ_{3} (Y)_{i j k} = \sum_{l, m, n} a_{i}^{l} a_{j}^{m} a_{k}^{n} μ_{3} (X)_{l m n} .

$\mu_3(\mathbf{Y})_{ijk} = \sum_{l,m,n} a_i^{\,l}a_j^{\,m}a_k^{\,n} \mu_3(\mathbf{X})_{lmn}.$

この三重和のインデックスは、からまでの整数のすべての組み合わせに及びます。 $1$ $p$

偏光アイデンティティの類似物は

\begin{aligned} 24 μ_{3} (X)_{i j k} = \\ μ_{3} (X_{i} + X_{j} + X_{k}) - μ_{3} (X_{i} - X_{j} + X_{k}) - μ_{3} (X_{i} + X_{j} - X_{k}) + μ_{3} (X_{i} - X_{j} - X_{k}) . \end{aligned}

$\eqalign{&24\mu_3(\mathbf{X})_{ijk} = \\ &\mu_3(X_i+X_j+X_k) - \mu_3(X_i-X_j+X_k) - \mu_3(X_i+X_j-X_k) + \mu_3(X_i-X_j-X_k).}$

右側では、は（単変量）中央の3次モーメント、つまり中心変数の立方体の期待値を指します。変数が標準化されている場合、この瞬間は通常歪度と呼ばれます。したがって、我々は考えることができるであるとして、多変量歪度の。これは、ランク3（つまり、3つのインデックス）のテンソルであり、その値は、さまざまな和と差の歪度の線形結合です。解釈を求める場合、これらのコンポーネントは、歪度が1次元で測定されている場合でも、次元で測定されると考えます。多くの場合、 $\mu_3$ $\mu_3(\mathbf{X})$ $\mathbf{X}$ $X_i$ $p$

最初の瞬間は、分布の場所を測定します。
二次モーメント（分散共分散行列）はその広がりを測定します。
標準化された2次モーメント（相関）は、次元空間での広がりの変化を示します。そして $p$
標準化された3番目と4番目のモーメントは、その広がりに対する分布の形状を測定するために使用されます。

多次元の「形状」の意味を詳しく説明すると、多変量分布を原点にあり、すべての方向に均等に広がる標準バージョンに減らすメカニズムとしてPCAを理解できることがわかりました。PCAが実行された後、は分布の多次元形状の最も単純なインジケーターを提供します。データは経験的分布の観点から常に分析できるため、これらのアイデアはランダム変数に関してもデータに等しく適用されます。 $\mu_3$

参照

アラン・スチュアート＆J.キース・オード、ケンダル統計統計の 第5版、第1巻：分布理論。第3章、モーメントとキュムラント。オックスフォード大学出版局（1987）。

付録：偏光アイデンティティの証明

ましょう代数的変数です。ありすべての加算および減算する方法それらのは。これらの和と差のそれぞれを乗して、それらの結果のそれぞれに適切な符号を選択し、それらを加算すると、倍数が得られます。 $x_1,\ldots, x_n$ $2^n$ $n$ $n^\text{th}$ $x_1x_2\cdots x_n$

より正式には、をのすべてのタプルのセットとし、任意の要素がベクトルその係数はすべてです。クレームは $S=\{1,-1\}^n$ $n$ $\pm 1$ $s\in S$ $s=(s_1,s_2,\ldots,s_n)$ $\pm 1$

\begin{matrix} (1) & 2^{n} n! x_{1} x_{2} \dots x_{n} = \sum_{s \in S} s_{1} s_{2} \dots s_{n} (s_{1} x_{1} + s_{2} x_{2} + \dots + s_{n} x_{n})^{n} . \end{matrix}

$2^n n!\, x_1x_2\cdots x_n = \sum_{s\in S} \color{red}{s_1s_2\cdots s_n}(s_1x_1+s_2x_2+\cdots+s_nx_n)^n.\tag{1}$

実際、多項定理は、右辺の任意の項の展開において、単項式（は合計する非負の整数）の係数側は $x_1^{i_1}x_2^{i_2}\cdots x_n^{i_n}$ $i_j$ $n$

(\binom{n}{i_{1}, i_{2}, \dots, i_{n}}) s_{1}^{i_{1}} s_{2}^{i_{2}} \dots s_{n}^{i_{n}} .

$\binom{n}{i_1,i_2,\ldots,i_n}s_1^{i_1}s_2^{i_2}\cdots s_n^{i_n}.$

要するに、関係する係数各対の一方は、ケース含むペアで現れる係数に比例すると、回等しいです、及び各対の他方はケース含む、係数比例とに倍に等しい。が奇数の場合、合計でキャンセルされます。同じ引数が適用されます。その結果、 $(1)$ $x_1^{i_1}$ $s_1=1$ $\color{red}{s_1}$ $s_1^{i_1}$ $1$ $s_1=-1$ $\color{red}{-1}$ $(-1)^{i_1}$ $(-1)^{i_1+1}$ $i_1+1$ $i_2, \ldots, i_n$ 非ゼロ係数で発生する唯一の単項式は、すべての奇数乗でなければなりません。 $x_i$ そのような単項式はです。係数すべての項で。その結果、その係数は、QED。 $x_1x_2\cdots x_n$ $\binom{n}{1,1,\ldots,1}=n!$ $2^n$ $2^nn!$

関連付けられた各ペアの半分のみを取得する必要があります。つまり、右側を項に制限し、左側の係数を半分にすることができます。これは、と場合について、この回答で引用されている偏光IDの2つのバージョンを正確に示しています：と。 $x_1$ $(1)$ $s_1=1$ $2^{n-1}n!$ $n=2$ $n=3$ $2^{2-1}2! = 4$ $2^{3-1}3!=24$

もちろん、代数変数の偏光恒等式は、ランダム変数に対して即座にそれを暗示します。各ランダム変数ます。双方の期待に応えます。結果は期待の線形性に従います。 $x_i$ $X_i$

— ウーバー
ソース

これまで説明してきました！多変量歪度は理にかなっています。この多変量歪度の重要性を示す例を追加していただけますか？統計モデルの問題として、またはおそらくもっと興味深いものとして、実際のどのようなケースが多変量歪度の影響を受けますか？

— -PascalVKooten

3

うーん。実行すると...

a <- rnorm(100);
b <- rnorm(100);
c <- rnorm(100)
mean((a-mean(a))*(b-mean(b))*(c-mean(c)))/
  (sd(a) * sd(b) * sd(c))

それは0に集中しているようです（実際のシミュレーションは行っていません）が、@ ttnphnsが示唆するように、これを実行します（すべての変数は同じです）

a <- rnorm(100)
mean((a-mean(a))*(a-mean(a))*(a-mean(a)))/
  (sd(a) * sd(a) * sd(a))

また、0を中心とするようです。

— ピーター・フロム-モニカの復職
ソース

2

ナンセンスsdは、共分散と同様に、または分散が二乗の関数であるという事実に由来するようです。もともと乗条件に基づいて、分母の遺骨がいる間しかし、3つの変数で、キュービングは、分子中に発生した

— ttnphns

2

それはその根源ですか？分子と分母の次元と単位は同じであり、それらは相殺されるため、それだけではメジャーの形式が不十分になりません。

— ニックコックス

3

@Nickそうです。これは、単に多変量の中央3次モーメントの1つです。これは、3次モーメントの完全なセットを提供するランク3テンソルの1つのコンポーネントです（これは、多変量キュムラント生成関数の3次コンポーネントに密接に関連しています）。他のコンポーネントと組み合わせて、分布の非対称性（高次元の「歪度」）を記述するのに役立ちます。しかし、だれもが「相関」と呼ぶものではありません。ほとんどの定義では、相関は標準化された変数の2次プロパティです。

— whuber

1

3つ以上の変数間の「相関」を計算する必要がある場合、ピアソンは使用できません。この場合、変数の順序が異なるため、こちらをご覧ください。線形依存性、またはそれらが3Dラインによってどれだけうまく適合しているかに興味がある場合は、PCAを使用し、最初のPCの説明された分散を取得し、データを置換し、この値がランダムな理由によるものである可能性を見つけます。ここで似たようなことを説明しました（以下の技術詳細を参照）。

Matlabコード

% Simulate our experimental data
x=normrnd(0,1,100,1);
y=2*x.*normrnd(1,0.1,100,1);
z=(-3*x+1.5*y).*normrnd(1,2,100,1);
% perform pca
[loadings, scores,variance]=pca([x,y,z]);
% Observed Explained Variance for first principal component
OEV1=variance(1)/sum(variance)
% perform permutations
permOEV1=[];
for iPermutation=1:1000
    permX=datasample(x,numel(x),'replace',false);
    permY=datasample(y,numel(y),'replace',false);
    permZ=datasample(z,numel(z),'replace',false);
    [loadings, scores,variance]=pca([permX,permY,permZ]);
    permOEV1(end+1)=variance(1)/sum(variance);
end

% Calculate p-value
p_value=sum(permOEV1>=OEV1)/(numel(permOEV1)+1)

— ズロン
ソース