と、の独立性の背後にある直観は何ですか？

18

ランダム変数と（標準正規分布を持つ）が統計的に独立している理由を説明する議論を誰かが提案できることを期待していました。その事実の証明はMGFテクニックから簡単に得られますが、それでも非常に直感に反していると思います。 $Y_1=X_2-X_1$ $Y_2=X_1+X_2$ $X_i$

したがって、もしあれば、ここでの直感に感謝します。

前もって感謝します。

編集：下付き文字は、順序統計ではなく、標準の通常分布からのIID観測を示します。

probability self-study mathematical-statistics

— JohnK
ソース

「MGFテクニック」とは何ですか？

— アメーバは、モニカを復活させる14

@amoebaこれは、ランダム変数の分布を決定するためのモーメント生成関数の使用です。私の場合、、が等しい場合にのみ、とが独立しているという定理を参照します。。他の手法を選択すると、同じ結果が得られると確信しています。

Y_{1}

$Y_1$

Y_{2}

$Y_2$

M (t_{1}, t_{2}) = M (t_{1}, 0) \times M (0, t_{2})

$M(t_1,t_2)=M(t_1,0) \times M(0,t_2)$

M (t_{1}, t_{2})

$M(t_1,t_2)$

E (e^{t_{1} Y_{1} + t_{2} Y_{2}})

$E(e^{t_1Y_1+t_2Y_2})$

— JohnK 14

1

stats.stackexchange.com/questions/71260の密接に関連するスレッドでいくつかの洞察を見つけることができます。

— whuber

などの定数を各追加すると、これらのそれぞれに何が起こるかを考慮することで、いくつかの直感を得ることができます。そして、各に定数を掛けるとどうなりますか、たとえば

μ

$\mu$

X

$X$

X

$X$

σ

$\sigma$

— rvl 14

1

密接に関連している：ほとんど相関していない高度に相関した変数の合計と差の参照。

— GUNG -復活モニカ

22

これは標準の正規分布データです最初の座標系の散布図。分布は円対称であることに注意してください。

およびに切り替えると、次のように効果的に軸を回転およびスケーリングします。この新しい座標系は元の座標系と同じ原点を持ち、軸は直交。円対称性のため、変数は新しい座標系で独立しています。 $Y_1 = X_2 - X_1$ $Y_2 = X_1 + X_2$ 回転座標系の散布図

— ドビワン
ソース

4

結果は、

および

がユニットの標準マージンと相関している場合でも適用されます。したがって、説明は元の結果のサブケースのみを対象としています。ただし、ここでの基本的な考え方は音です。

X_{1}

$X_1$

X_{2}

$X_2$

— -Glen_b-モニカーの復活14

1

@Glen_b、はい、あなたは正しいです。JohnKは一般的なケースを証明する方法をすでに知っているようですが、直感的な理解が不足しているため、単純なケースに焦点を当てたいと思いました。

— ドビワン14

7

結果は共同で正常（つまり、相関、）、共通のます。 $(X_1,X_2)$ $-1<\rho<1$ $\sigma$

いくつかの基本的な結果がわかっている場合、これで必要なのはこれだけです。

$\quad\quad\quad$ ここに画像の説明を入力してください

dobiwanのアプローチは基本的に問題ありません。結果は、そこで扱われているケースよりも一般的です。

— Glen_b -Reinstate Monica
ソース

3

必要な結果を必要不可欠なものに取り除くために+1 不等分散のジョイント正規性のより一般的なケースでは、軸の

回転を追加します

の代わりに

θ = \frac{1}{2} \arctan (\frac{2 ρ \cdot σ_{1} σ_{2}}{σ_{1}^{2} - σ_{2}^{2}})

$\theta = \frac{1}{2}\arctan\left ( \frac{2\rho\cdot\sigma_1\sigma_2}{\sigma_1^2 - \sigma_2^2}\right )$

暗黙的に

独立した正規確率変数を生成します。

\pm \frac{π}{4}

$\pm \frac{\pi}{4}$

(X_{1}, X_{2}) \to (X_{1} + X_{2} . X_{1} - X_{2})

$(X_1,X_2) \to (X_1+X_2. X_1-X_2)$

— サルウェートディリップ14

6

ときあなたは真であると主張し、結果は一般的には、いない場合でも当てはまりませんすべての知られているがいることである及び、同一の分散を持つ正規確率変数がありますが、結果はありませんのために保留を通常の条件の解釈あなたは後で述べました： $X_1$ $X_2$

下付き文字は、順序統計ではなく、標準の通常分布からの観測を示します。

このステートメントの最後のいくつかの単語の通常の解釈は、もちろん、とは独立した （通常の）ランダム変数であり、したがって一緒に通常のランダム変数であるということです。 $X_1$ $X_2$

以下のために共同で通常と同じ分散を持つ確率変数、事実であるおよびある独立した（通常の）確率変数（と、一般的には、不等分散）、及びこのための直観的な説明は最高の与えられていますGlen_bの答え。以下のためのあなたの特別なケースおよび独立しているだけでなく、あなたが受け入れているdobiwanの答えは、最も簡単で、かつ実際にそれを明らかに任意の軸の回転だけではなく、で $X_1+X_2$ $X_1-X_2$ $X_1$ $X_2$ 変換で暗黙的、独立したランダム変数を生成します。 $\pm \frac{\pi}{4}$ $(X_1,X_2)\to (X_1+X_2, X_1-X_2)$

一般的に言うことができますか？以下で私が言うすべてにおいて、他のどのプロパティがそれらに起因するかに関係なく、とは同じ分散を持っていることに留意してください。 $X$ $Y$

場合とある任意の確率変数（注：必ずしも正常ではない）と同じ分散、そしてとある無相関ランダム変数（つまり、彼らはゼロ共分散を持っています）。これは、共分散関数が双線形であるためです： $X$ $Y$ $X+Y$ $X-Y$ ここでは、という事実を使用しているただの分散であるの（と同様のための）と、もちろん、。この結果は、とが（わずかに）通常のランダム変数であるが、必ずしも一緒ではない場合に保持されることに注意してください。

\begin{aligned} cov (X + Y, X - Y) & = cov (X, X) - cov (X, Y) + cov (Y, X) - cov (Y, Y) \\ = var (X) - cov (X, Y) + cov (X, Y) - var (Y) \\ = 0. \end{aligned}

$\begin{align} \operatorname{cov}(X+Y, X-Y) &= \operatorname{cov}(X,X) - \operatorname{cov}(X,Y) + \operatorname{cov}(Y,X) - \operatorname{cov}(Y,Y)\\ &= \operatorname{var}(X) - \operatorname{cov}(X,Y) + \operatorname{cov}(X,Y) - \operatorname{var}(Y)\\ &= 0. \end{align}$

cov (X, X)

$\operatorname{cov}(X,X)$

var (X)

$\operatorname{var}(X)$

X

$X$

Y

$Y$

cov (Y, X) = cov (X, Y)

$\operatorname{cov}(Y,X) = \operatorname{cov}(X,Y)$

X

$X$

Y

$Y$ 通常のランダム変数。（限界正規性が共同正規性と同じではないというこの概念に慣れていない場合は、枢機byによるこの素晴らしい答えを参照してください）。特別な場合に

と

ある共同正常通常（必ずしも独立していない）のランダム変数は、そうである

及び

共同正常、およびそれらの共分散であるため

、

及び

ランダムに独立しています変数。

X

$X$

Y

$Y$

X + Y

$X+Y$

X - Y

$X-Y$

0

$0$

X + Y

$X+Y$

X - Y

$X-Y$

— ディリップ・サルワテ
ソース

2

私は最初同一分布の一般的な議論のためにの条件付き平均ことが上の条件一定である。これに基づいて、共分散は0 であると主張します。その後、正規性の下では共分散 0は独立性を意味します。 $X_1,X_2$ $Y_1$ $Y_2$ $0$ $Y_1,Y_2$

条件付き平均

直観：は、どの成分が合計にさらに寄与したかを意味しません（たとえば、は）。したがって、予想される差は0でなければなりません。 $X_1+X_2=y$ $X_1=x, X_2 = y-x$ $X_1 = y-x, X_2=x$

証明：とは同一の分布を持ち、はインデックス付けに関して対称です。したがって、対称性の理由から、条件付き分布は条件付き分布と等しくなければなりません。したがって、条件付き分布も同じ平均を持ち、 $X_1$ $X_2$ $X_1+X_2$ $X_1 \mid Y_2 = y$ $X_2 \mid Y_2 = y$

E (Y_{1} ∣ Y_{2} = y) = E (X_{1} - X_{2} ∣ X_{1} + X_{2} = y) = E (X_{1} ∣ X_{1} + X_{2} = y) - E (X_{2} ∣ X_{1} + X_{2} = y) = 0.

$\begin{equation} \mathbb{E}(Y_1 \mid Y_2 = y) = \mathbb{E}(X_1 - X_2 \mid X_1+X_2 = y) \\ = \mathbb{E}(X_1 \mid X_1+X_2 = y) - \mathbb{E}(X_2 \mid X_1+X_2 = y)= 0. \end{equation}$

（注意：条件付き平均が存在しない可能性を考慮しませんでした。）

定数条件付き平均はゼロの相関/共分散を意味します

直感：どのくらい相関測度増加する傾向にある増加します。観測しても平均が変わらない場合、とは無相関です。 $Y_1$ $Y_2$ $Y_2$ $Y_1$ $Y_1$ $Y_2$

C o v (Y_{1}, Y_{2}) = E [(Y_{1} - E (Y_{1})) (Y_{2} - E (Y_{2}))]

$\begin{equation} Cov(Y_1,Y_2) = \mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right)\right] \end{equation}$

Y_{2}

$Y_2$

= E [E [(Y_{1} - E (Y_{1})) (Y_{2} - E (Y_{2})) ∣ Y_{2}]] = E [(Y_{2} - E (Y_{2})) E [Y_{1} - E (Y_{1}) ∣ Y_{2}]] .

$\begin{equation} = \mathbb{E}\left[\mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right) \mid Y_2\right]\right] = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1 - \mathbb{E}(Y_1) \mid Y_2\right] \right]. \end{equation}$ Recall that the conditional mean was shown to be independent of

Y_{2}

$Y_2$ and thus the expression simplifies as

= E [(Y_{2} - E (Y_{2})) E [Y_{1} - E (Y_{1})]]

$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1-\mathbb{E}(Y_1)\right]\right] \end{equation}$ but the inner expectation is

0

$0$ and we get

= E [(Y_{2} - E (Y_{2})) \times 0] = 0.

$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\times0\right] = 0. \end{equation}$

Independence

Just by assuming identical distributions for $X_1,X_2$ , it was shown that $Y_1$ and $Y_2$ are uncorrelated. When $X_1,X_2$ are jointly normal (for example, iid. normal as in the question), their linear combinations $Y_1,Y_2$ are also jointly normal and thus uncorrelatedness implies independence.

— Juho Kokkala
ソース