ピタゴラスの定理としての総分散の法則

$X$ と $Y$ は有限の2次モーメントがあると仮定します。第2の有限モーメントがランダム変数のヒルベルト空間では（の内積を $T_1,T_2$ によって定義された $E(T_1T_2)$ 、 $||T||^2=E(T^2)$ ）、我々は解釈する $E(Y|X)$ の投影として $Y$ の機能の空間に $X$ 。

全分散の法則は、

V a r (Y) = E (V a r (Y | X)) + V a r (E (Y | X))

$Var(Y)=E(Var(Y|X)) + Var(E(Y|X))$

上記の幾何学的な観点からこの法則を解釈する方法はありますか？法律は、辺持つ直角三角形のピタゴラスの定理と同じであると言われました $Y, E(Y|X), Y-E(Y|X)$ 。三角形が直角である理由を理解していますが、ピタゴラスの定理が全分散の法則をどのように捉えているかはわかりません。

variance conditional-expectation

— レンレンハムスター
ソース

およびが無相関のランダム変数であることを意味するものとして、直角三角形に関することに慣れていると思います。非相関ランダム変数の及び、我々が設定され、そうであれば $E[Y\mid X]$ $Y - E[Y\mid X]$ $A$ $B$

\begin{matrix} （1） & var （ A + B ） = var （ A ） + var （ B ） 、 \end{matrix}

$\operatorname{var}(A+B) = \operatorname{var}(A) + \operatorname{var}(B),\tag{1}$

および

なので、

場合、

それはそれを示すために残って

A = Y - E [Y ∣ X]

$A = Y - E[Y\mid X]$

B = E [Y ∣ X]

$B = E[Y\mid X]$

A + B = Y

$A+B = Y$

\begin{matrix} （2） & var （ Y ） = var （ Y - E [Y ∣ バツ] ） + var （ E [Y ∣ バツ] ） 。 \end{matrix}

$\operatorname{var}(Y) = \operatorname{var}(Y-E[Y\mid X]) + \operatorname{var}(E[Y\mid X]).\tag{2}$

同じである

私たちができることを再状態

のような

これは合計分散式です。

var (Y - E [Y ∣ X])

$\operatorname{var}(Y-E[Y\mid X])$

E [var (Y ∣ X)]

$E[\operatorname{var}(Y\mid X)]$

(2)

$(2)$

\begin{matrix} （3） & var （ Y ） = E [var （ Y ∣ バツ ）] + var （ E [Y ∣ バツ] ） \end{matrix}

$\operatorname{var}(Y) = E[\operatorname{var}(Y\mid X)] + \operatorname{var}(E[Y\mid X])\tag{3}$

確率変数の期待値が、つまりことはよく知られています。したがって、 $E[Y\mid X]$ $E[Y]$ $E\biggr[E[Y\mid X]\biggr] = E[Y]$ あることがそこから

E [A] = E [Y - E [Y ∣ バツ]] = E [Y] - E [E [Y ∣ バツ]] = 0 、

$E[A] = E\biggr[Y - E[Y\mid X]\biggr] = E[Y] - E\biggr[E[Y\mid X]\biggr] = 0,$

var (A) = E [A^{2}]

$\operatorname{var}(A) = E[A^2]$ 、つまり

レッツ

示す確率変数

\begin{matrix} （4） & var （ Y - E [Y ∣ バツ] ） = E [（ Y - E [Y ∣ バツ] ）^{2}] 。 \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E\left[(Y-E[Y\mid X])^2\right].\tag{4}$

C

$C$

ので、私たちが書くことができるということ

しかし、

ここで、

(Y - E [Y ∣ X])^{2}

$(Y-E[Y\mid X])^2$

\begin{matrix} （5） & var （ Y - E [Y ∣ バツ] ） = E [C] 。 \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E[C].\tag{5}$

E [C] = E [E [C ∣ X]]

$E[C] = E\biggr[E[C\mid X]\biggr]$

E [C ∣ X] = E [(Y - E [Y ∣ X])^{2} | X] .

$E[C\mid X] = E\biggr[(Y-E[Y\mid X])^2{\bigr\vert} X\biggr].$

X = x

$X = x$

Y

$Y$

E [Y ∣ X = x]

$E[Y\mid X=x]$

E [(Y - E [Y ∣ X = x])^{2} | X = x] = var (Y ∣ X = x) .

$E\biggr[(Y-E[Y\mid X=x])^2{\bigr\vert} X=x\biggr] = \operatorname{var}(Y\mid X = x).$

E [C ∣ X = x] = var (Y ∣ X = x)

$E[C\mid X = x] = \operatorname{var}(Y\mid X = x)$

E [C ∣ X]

$E[C\mid X]$

var (Y ∣ X)

$\operatorname{var}(Y\mid X)$

\begin{matrix} (6) & E [C] = E [E [C ∣ X]] = E [var (Y ∣ X)], \end{matrix}

$E[C] = E\biggr[E[C\mid X]\biggr] = E[\operatorname{var}(Y\mid X)], \tag{6}$

(5)

$(5)$

var (Y - E [Y ∣ X]) = E [var (Y ∣ X)] .

$\operatorname{var}(Y-E[Y\mid X]) = E[\operatorname{var}(Y\mid X)].$ This makes the right side of

(2)

$(2)$ exactly what we need and so we have proved the total variance formula

(3)

$(3)$ .

— Dilip Sarwate
ソース

Y - E (Y | X)

$Y-E(Y|X)$ is a variable with zero mean. Hence

v a r (Y - E (Y | X)) = E [Y - E (Y | X)]^{2}

$var(Y-E(Y|X))=E[Y-E(Y|X)]^2$ . Now

E v a r (Y | X) = E [E ((Y - E (Y | X))^{2} | X)] = E [Y - E (Y | X)]^{2}

$Evar(Y|X)=E[E((Y-E(Y|X))^2|X)]=E[Y-E(Y|X)]^2$ . A bit less complicated second part of the answer.

— mpiktas

@mpiktas Thanks. I am aware of the shorter way of getting to the desired result but always have difficulty explaining it in a way that beginning students can follow easily. Incidentally, in that last equation you wrote, the quantity on the right has a misplaced exponent: it is the quantity inside the square brackets that should be squared; that is, it should be

E [(Y - E [Y | X])^{2}]

$E\bigr[(Y-E[Y|X])^2\bigr ]$ . Too late to correct it, though, unless a moderator obliges.

— Dilip Sarwate

Dilip、多くの確率論者は、@ mpiktasの式を書かれたとおりに正しく解釈するでしょう。多くの場合、余分な括弧は削除されます。おそらく私の目は私を欺いていますが、彼の記法は一貫していると思います。ただし、必要に応じて、問題の修正を支援させていただきます。:-)

— 枢機

@cardinal I didn't misinterpret mpiktas's writing, and fully understood what he was saying. While I am also used to interpreting

E X

$EX$ or

E X

$\mathbb EX$ as the expected value of

X

$X$ , I always have my doubts about

E X^{2}

$EX^2$ , especially since PEMDAS says nothing about it. Does the expectation have priority over the exponentiation or not? I guess I am just used to the expectation operator to apply to everything inside the square brackets. Please don't edit m[iktas's comment, but if you want to delete everything in this thread from "Incidentally" onwards in my previous comment, please go ahead.

— Dilip Sarwate

I'm sorry, @Dilip. My intention was not to suggest you didn't understand; I knew you had! I also agree that the notation can lend itself to ambiguities and it's good to point them out when they arise! What I meant was that I thought the second equation in the comment (i.e.,

v a r \dots

$var\ldots$ ) made clear the convention that was used henceforth. :-)

— cardinal

Statement:

The Pythagorean theorem says, for any elements $T_1$ and $T_2$ of an inner-product space with finite norms such that $\langle T_1,T_2\rangle = 0$ ,

\begin{matrix} (1) & | | T_{1} + T_{2} | |^{2} = | | T_{1} | |^{2} + | | T_{2} | |^{2} . \end{matrix}

$||T_1+T_2||^2 = ||T_1||^2 + ||T_2||^2 \tag{1}.$ Or in other words, for orthogonal vectors, the squared length of the sum is the sum of the squared lengths.

Our Case:

In our case $T_1 = E(Y|X)$ and $T_2 = Y - E[Y|X]$ are random variables, the squared norm is $||T_i||^2 = E[T_i^2]$ and the inner product $\langle T_1,T_2\rangle = E[T_1T_2]$ . Translating $(1)$ into statistical language gives us:

\begin{matrix} (2) & E [Y^{2}] = E [{E (Y | X)}^{2}] + E [(Y - E [Y | X])^{2}], \end{matrix}

$E[Y^2] = E[\{E(Y|X)\}^2] + E[(Y - E[Y|X])^2] \tag{2},$ because

E [T_{1} T_{2}] = Cov (T_{1}, T_{2}) = 0

$E[T_1T_2] = \operatorname{Cov}(T_1,T_2) = 0$ . We can make this look more like your stated Law of Total Variance if we change

(2)

$(2)$ by...

Subtract $(E[Y])^2$ from both sides, making the left hand side $\operatorname{Var}[Y]$ ,
Noting on the right hand side that $E[\{E(Y|X)\}^2] - (E[Y])^2 = \operatorname{Var}(E[Y|X])$ ,
Noting that $E[(Y - E[Y|X])^2] = E[E\{(Y - E[Y|X])^2\}|X] = E[\operatorname{Var}(Y|X)]$ .

For details about these three bullet points see @DilipSarwate's post. He explains this all in much more detail than I do.

— Taylor
ソース