共分散がゼロに等しいと、バイナリ確率変数の独立性を意味しますか？

$X$ とが2つの可能な状態しかとれない2つのランダム変数である場合、が独立性を意味することをどのように示すことができますか？この種のことは、が独立性を意味しないということをその日に学んだことに反します... $Y$ $Cov(X,Y) = 0$ $Cov(X,Y) = 0$

ヒントは、可能な状態としてとから開始し、そこから一般化することを示しています。そして、私はそれを行うことができ、を示すことができますが、これは独立性を意味しませんか？ $1$ $0$ $E(XY) = E(X)E(Y)$

これを数学的にどのように行うか混乱しているようです。

covariance independence

— user3604869
ソース

それはあなたの質問の見出しが示唆するように、一般的に真実ではない..です

— マイケル・R. Chernick

あなたが証明しようとしている声明は確かに真実です。場合

X

$X$ 及び

Y

$Y$ WOTパラメータベルヌーイ・ランダム変数であり

p_{1}

$p_1$ 及び

p_{2}

$p_2$ のそれぞれは、

E [X] = p_{1}

$E[X]=p_1$ と

E [Y] = p_{2}

$E[Y]=p_2$ 。したがって、

cov (X, Y) = E [X Y] - E [X] E [Y]

$\operatorname{cov}(X,Y)=E[XY]-E[X]E[Y]$ は

等しい

0

$0$ 場合にのみ、

E [X Y] = P {X = 1, Y = 1}

$E[XY]=P\{X=1,Y=1\}$ に等しく

p_{1} p_{2} = P {X = 1} P {Y = 1}

$p_1p_2=P\{X=1\}P\{Y=1\}$ ことを示す

{X = 1}

$\{X=1\}$ 及び

{Y = 1}

$\{Y=1\}$ であります独立 イベント。これは、標準の結果である、もし

A

$A$ と

B

$B$ は独立したイベントのペアであるため、

A, B^{c}

$A,B^c$ 、および

A^{c}, B

$A^c,B$ 、および

A^{c}, B^{c}

$A^c,B^c$ 独立したイベント、つまり

X

$X$ および

Y

$Y$ は独立したランダム変数です。さあ、一般化しましょう。

— ディリップサルワテ

回答:

バイナリ変数の場合、それらの期待値は1に等しい確率に等しくなります。したがって、

E (X Y) = P (X Y = 1) = P (X = 1 \cap Y = 1) E (X) = P (X = 1) E (Y) = P (Y = 1)

$E(XY) = P(XY = 1) = P(X=1 \cap Y=1) \\ E(X) = P(X=1) \\ E(Y) = P(Y=1) \\$

2つの共分散がゼロの場合、これは $E(XY) = E(X)E(Y)$ を意味します。

P (X = 1 \cap Y = 1) = P (X = 1) \cdot P (Y = 1)

$P(X=1 \cap Y=1) = P(X=1) \cdot P(Y=1)$

独立したイベントに関する基本ルールを使用して（つまり、 $A$ と $B$ が独立している場合、それらの補数が独立しているなど）、他のすべてのジョイント確率が乗算されるのは簡単です。 2つのランダム変数が独立している。

— ガマー
ソース

簡潔でエレガント。上品！+1 = D

— マルセロベンチュラ

相関と共分散は、与えられた2つの変数間の線形関連性を測定し、他の形式の関連性を検出する義務はありません。

そのため、これらの2つの変数は他のいくつかの非線形の方法で関連付けられている可能性があり、共分散（したがって相関）は独立したケースと区別できません。

非常に教訓的、人工の非現実的な例として、一つは考えることができ $X$ ように $P(X=x)=1/3$ のために $x=−1,0,1$ とも考える $Y=X^2$ 。それらは関連付けられているだけでなく、一方が他方の機能であることに注意してください。それにもかかわらず、それらの共分散は共分散が検出できる関連に直交しているため、共分散は0です。

編集

実際、@ whuberで示されているように、上記の元の答えは実際には、両方の変数が必ずしも二分されていない場合、アサーションが普遍的に真ではない方法に関するコメントでした。私の悪い！

それでは、計算しましょう。（Barney Stinsonの「Suit up！」のローカル版）

具体的事例

両方の場合に $X$ と $Y$ 二分した、あなたは両方とも値のみと仮定することを、一般性を失うことなく、想定することができる $0$ と $1$ 任意の確率で $p$ 、 $q$ および $r$ で与えられる

\begin{aligned} P (X = 1) = p \in [0, 1] \\ P (Y = 1) = q \in [0, 1] \\ P (X = 1, Y = 1) = r \in [0, 1], \end{aligned}

$\begin{align*} P(X=1) = p \in [0,1] \\ P(Y=1) = q \in [0,1] \\ P(X=1,Y=1) = r \in [0,1], \end{align*}$ 完全の関節分布特徴付ける

X

$X$ 及び

Y

$Y$ 。@DilipSarwateのヒントを取り上げると、

これらの3つの値で

共同分布を決定するのに十分であることに注意してください。

(X, Y)

$(X,Y)$

（サイドノートでは、当然のことながら

両方尊重するためにバインドされている

、

及び

\begin{aligned} P (X = 0, Y = 1) & = P (Y = 1) - P (X = 1, Y = 1) = q - r \\ P (X = 1, Y = 0) & = P (X = 1) - P (X = 1, Y = 1) = p - r \\ P (X = 0, Y = 0) & = 1 - P (X = 0, Y = 1) - P (X = 1, Y = 0) - P (X = 1, Y = 1) \\ = 1 - (q - r) - (p - r) - r = 1 - p - q - r . \end{aligned}

$\begin{align*} P(X=0,Y=1) &= P(Y=1) - P(X=1,Y=1) = q - r\\ P(X=1,Y=0) &= P(X=1) - P(X=1,Y=1) = p - r\\ P(X=0,Y=0) &= 1 - P(X=0,Y=1) - P(X=1,Y=0) - P(X=1,Y=1) \\ &= 1 - (q - r) - (p - r) - r = 1 - p - q - r. \end{align*}$

r

$r$

p - r \in [0, 1]

$p-r\in[0,1]$

q - r \in [0, 1]

$q-r\in[0,1]$

を超え

と言うことであり、

）。

1 - p - q - r \in [0, 1]

$1-p-q-r\in[0,1]$

r \in [0, 1]

$r\in[0,1]$

r \in [0, min (p, q, 1 - p - q)]

$r\in[0,\min(p,q,1-p-q)]$

ことを通知積に等しいかもしれないレンダリングなり、とため、独立して $r = P(X=1,Y=1)$ $p\cdot q = P(X=1) P(Y=1)$ $X$ $Y$

\begin{aligned} P (X = 0, Y = 0) & = 1 - p - q - p q = (1 - p) (1 - q) = P (X = 0) P (Y = 0) \\ P (X = 1, Y = 0) & = p - p q = p (1 - q) = P (X = 1) P (Y = 0) \\ P (X = 0, Y = 1) & = q - p q = (1 - p) q = P (X = 0) P (Y = 1) . \end{aligned}

$\begin{align*} P(X=0,Y=0) &= 1 - p - q - pq = (1-p)(1-q) = P(X=0)P(Y=0)\\ P(X=1,Y=0) &= p - pq = p(1-q) = P(X=1)P(Y=0)\\ P(X=0,Y=1) &= q - pq = (1-p)q = P(X=0)P(Y=1). \end{align*}$

はい、等しいかもしれない、しかしそれは、それが上に境界を尊重するように、異なっていてもよいです。 $r$ $pq$

さて、上記の共同分布から、

\begin{aligned} E (X) & = 0 \cdot P (X = 0) + 1 \cdot P (X = 1) = P (X = 1) = p \\ E (Y) & = 0 \cdot P (Y = 0) + 1 \cdot P (Y = 1) = P (Y = 1) = q \\ E (X Y) & = 0 \cdot P (X Y = 0) + 1 \cdot P (X Y = 1) \\ = P (X Y = 1) = P (X = 1, Y = 1) = r \\ C o v (X, Y) & = E (X Y) - E (X) E (Y) = r - p q \end{aligned}

$\begin{align*} E(X) &= 0\cdot P(X=0) + 1\cdot P(X=1) = P(X=1) = p \\ E(Y) &= 0\cdot P(Y=0) + 1\cdot P(Y=1) = P(Y=1) = q \\ E(XY) &= 0\cdot P(XY=0) + 1\cdot P(XY=1) \\ &= P(XY=1) = P(X=1,Y=1) = r\\ Cov(X,Y) &= E(XY) - E(X)E(Y) = r - pq \end{align*}$

Now, notice then that $X$ and $Y$ are independent if and only if $Cov(X,Y)=0$ . Indeed, if $X$ and $Y$ are independent, then $P(X=1,Y=1)=P(X=1)P(Y=1)$ , which is to say $r=pq$ . Therefore, $Cov(X,Y)=r-pq=0$ ; and, on the other hand, if $Cov(X,Y)=0$ , then $r-pq=0$ , which is to say $r=pq$ . Therefore, $X$ and $Y$ are independent.

General Case

About the without loss of generality clause above, if $X$ and $Y$ were distributed otherwise, let's say, for $a<b$ and $c<d$ ,

\begin{aligned} P (X = b) = p \\ P (Y = d) = q \\ P (X = b, Y = d) = r \end{aligned}

$\begin{align*} P(X=b)=p \\ P(Y=d)=q \\ P(X=b, Y=d)=r \end{align*}$ then

X^{'}

$X'$ and

Y^{'}

$Y'$ given by

X^{'} = \frac{X - a}{b - a} and Y^{'} = \frac{Y - c}{d - c}

$X'=\frac{X-a}{b-a} \qquad \text{and} \qquad Y'=\frac{Y-c}{d-c}$ would be distributed just as characterized above, since

X = a \Leftrightarrow X^{'} = 0, X = b \Leftrightarrow X^{'} = 1, Y = c \Leftrightarrow Y^{'} = 0 and Y = d \Leftrightarrow Y^{'} = 1.

$X=a \Leftrightarrow X'=0, \quad X=b \Leftrightarrow X'=1, \quad Y=c \Leftrightarrow Y'=0 \quad \text{and} \quad Y=d \Leftrightarrow Y'=1.$ So

X

$X$ and

Y

$Y$ are independent if and only if

X^{'}

$X'$ and

Y^{'}

$Y'$ are independent.

Also, we would have

\begin{aligned} E (X^{'}) & = E (\frac{X - a}{b - a}) = \frac{E (X) - a}{b - a} \\ E (Y^{'}) & = E (\frac{Y - c}{d - c}) = \frac{E (Y) - c}{d - c} \\ E (X^{'} Y^{'}) & = E (\frac{X - a}{b - a} \frac{Y - c}{d - c}) = \frac{E [(X - a) (Y - c)]}{(b - a) (d - c)} \\ = \frac{E (X Y - X c - a Y + a c)}{(b - a) (d - c)} = \frac{E (X Y) - c E (X) - a E (Y) + a c}{(b - a) (d - c)} \\ C o v (X^{'}, Y^{'}) & = E (X^{'} Y^{'}) - E (X^{'}) E (Y^{'}) \\ = \frac{E (X Y) - c E (X) - a E (Y) + a c}{(b - a) (d - c)} - \frac{E (X) - a}{b - a} \frac{E (Y) - c}{d - c} \\ = \frac{[E (X Y) - c E (X) - a E (Y) + a c] - [E (X) - a] [E (Y) - c]}{(b - a) (d - c)} \\ = \frac{[E (X Y) - c E (X) - a E (Y) + a c] - [E (X) E (Y) - c E (X) - a E (Y) + a c]}{(b - a) (d - c)} \\ = \frac{E (X Y) - E (X) E (Y)}{(b - a) (d - c)} = \frac{1}{(b - a) (d - c)} C o v (X, Y) . \end{aligned}

$\begin{align*} E(X') &= E\left(\frac{X-a}{b-a}\right) = \frac{E(X)-a}{b-a} \\ E(Y') &= E\left(\frac{Y-c}{d-c}\right) = \frac{E(Y)-c}{d-c} \\ E(X'Y') &= E\left(\frac{X-a}{b-a} \frac{Y-c}{d-c}\right) = \frac{E[(X-a)(Y-c)]}{(b-a)(d-c)} \\ &= \frac{E(XY-Xc-aY+ac)}{(b-a)(d-c)} = \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} \\ Cov(X',Y') &= E(X'Y')-E(X')E(Y') \\ &= \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} - \frac{E(X)-a}{b-a} \frac{E(Y)-c}{d-c} \\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)-a] [E(Y)-c]}{(b-a)(d-c)}\\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)E(Y)-cE(X)-aE(Y)+ac]}{(b-a)(d-c)}\\ &= \frac{E(XY)-E(X)E(Y)}{(b-a)(d-c)} = \frac{1}{(b-a)(d-c)} Cov(X,Y). \end{align*}$ So

C o v (X, Y) = 0

$Cov(X,Y)=0$ if and only

C o v (X^{'}, Y^{'}) = 0

$Cov(X',Y')=0$ .

— Marcelo Ventura
ソース

I recycled that answer from this post.

— Marcelo Ventura

Verbatim cut and paste from your other post. Love it. +1

— gammer

The problem with copy-and-paste is that your answer no longer seems to address the question: it is merely a comment on the question. It would be better, then, to post a comment with a link to your other answer.

— whuber

How is thus an answer to the question asked?

— Dilip Sarwate

Your edits still don't answer the question, at least not at the level the question is asked. You write "Notice that

r \dots

$r~\ldots$ not necessarily equal to the product

p q

$pq$ . That exceptional situation corresponds to the case of independence between

X

$X$ and

Y

$Y$ ." which is a perfectly true statement but only for the cognoscenti because for the hoi polloi, independence requires not just that

\begin{matrix} (1) & P (X = 1, Y = 1) = P (X = 1) P (Y = 1) \end{matrix}

$P(X=1,Y=1)=P(X=1)P(Y=1)\tag 1$ but also

\begin{matrix} (2) & P (X = u, Y = v) = P (X = u) P (Y = v), u . v \in {0, 1} . \end{matrix}

$P(X=u,Y=v)=P(X=u)P(Y=v),~u.v\in\{0,1\}.\tag 2$ Yes,

(1) ⟹ (2)

$(1) \implies(2)$ as the cognoscenti know; for lesser mortals, a proof that

(1) ⟹ (2)

$(1) \implies (2)$ is helpful.

— Dilip Sarwate

IN GENERAL:

The criterion for independence is $F(x,y) = F_X(x)F_Y(y)$ . Or

\begin{matrix} (1) & f_{X, Y} (x, y) = f_{X} (x) f_{Y} (y) \end{matrix}

$f_{X,Y}(x,y)=f_X(x)\,f_Y(y)\tag 1$

"If two variables are independent, their covariance is $0.$ But, having a covariance of $0$ does not imply the variables are independent."

This is nicely explained by Macro here, and in the Wikipedia entry for independence.

$\text {independence} \Rightarrow \text{zero cov}$ , yet

$\text{zero cov}\nRightarrow \text{independence}.$

Great example: $X \sim N(0,1)$ , and $Y= X^2.$ Covariance is zero (and $\mathbb E(XY)=0$ , which is the criterion for orthogonality), yet they are dependent. Credit goes to this post.

IN PARTICULAR (OP problem):

These are Bernoulli rv's, $X$ and $Y$ with probability of success $\Pr(X=1)$ , and $\Pr(Y=1)$ .

$\begin{align}\mathrm{cov}(X,Y)&=\mathrm E[XY] - \mathrm E[X]\,\mathrm E[Y]\\[2ex] &\underset{*}{=} \Pr(X=1 \cap Y=1) - \Pr(X=1)\, \Pr(Y=1)\\[2ex] &\implies \Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1). \end{align}$

This is equivalent to the condition for independence in Eq. $(1).$

$(*)$ :

E [X Y] \underset{* *}{=} \sum_{domain X, Y} Pr (X = x \cap Y = y) x y \underset{\neq 0 iff x \times y \neq 0}{=} Pr (X = 1 \cap Y = 1) .

$\mathrm E[XY]\quad \underset{**}{=} \quad \displaystyle \sum_{\text{domain X, Y}} \Pr(X=x\cap Y=y)\, x\,y \underset{\neq\,0\text{ iff } x \times y\neq 0}= \Pr(X=1 \cap Y=1).$

$(**)$ : by LOTUS.

As pointed out below, the argument is incomplete without what Dilip Sarwate had pointed out in his comments shortly after the OP appeared. After searching around, I found this proof of the missing part here:

If events $A$ and $B$ are independent, then events $A^c$ and $B$ are independent, and events $A^c$ and $B^c$ are also independent.

Proof By definition,

$A$ and $B$ are independent $\iff P(A\cap B) = P(A)P(B).$

But $B=(A\cap B) + ( A^c \cup B)$ , so $P(B)= P(A\cap B) + P(A^c \cup B)$ , which yields:

$\small P(A^c \cap B) = P(B) - P(A\cap B) = P(B) - P(A)\,P(B) = P(B) \left[1 - P(A)\right] = P(B)\,P( A^c).$

Repeat the argument for the events $A^c$ and $B^c,$ this time starting from the statement that $A^c$ and $B$ are independent and taking the complement of $B.$

Similarly. $A$ and $B^c$ are independent events.

So, we have shown already that

Pr (X = 1, Y = 1) = Pr (X = 1) Pr (Y = 1)

$\Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1)$ and the above shows that this implies that

Pr (X = i, Y = j) = Pr (X = i) Pr (Y = j), i, j \in {0, 1}

$\Pr(X=i , Y=j) = \Pr (X=i)\,\Pr(Y=j), ~~i, j \in \{0,1\}$ that is, the joint pmf factors into the product of marginal pmfs everywhere, not just at

(1, 1)

$(1,1)$ . Hence, uncorrelated Bernoulli random variables

X

$X$ and

Y

$Y$ are also independent random variables.

— Antoni Parellada
ソース

Actually that's not an equivalent condition to Eq (1). All you showed was that

f_{X, Y} (1, 1) = f_{X} (1) f_{Y} (1)

$f_{X,Y}(1,1) = f_{X}(1) f_{Y}(1)$

— gammer

Please consider replacing that image with your own equations, preferably ones that don't use overbars to denote complements. The overbars in the image are very hard to see.

— Dilip Sarwate

@DilipSarwate No problem. Is it better, now?

— Antoni Parellada

Thanks. Also, note that strictly speaking, you also need to show that

A

$A$ and

B^{c}

$B^c$ are independent events since the factorization of the joint pdf into the product of the marginal pmts must hold at all four points. Perhaps adding the sentence "Similarly.

A

$A$ and

B^{c}

$B^c$ are independent events" right after the proof that

A^{c}

$A^c$ and

B

$B$ are independent events will work.

— Dilip Sarwate

@DilipSarwate Thank you very much for your help getting it right. The proof as it was before all the editing seemed self-explanatory, because of all the inherent symmetry, but it clearly couldn't be taken for granted. I am very appreciative of your assistance.

— Antoni Parellada