直観（幾何学的またはその他）

18

分散の基本的なアイデンティティを考えてみましょう：

\begin{array}{rcl} V a r (X) & = & E [(X - E [X])^{2}] \\ = & . . . \\ = & E [X^{2}] - (E [X])^{2} \end{array}

$\begin{eqnarray} Var(X) &=& E[(X - E[X])^2]\\ &=& ...\\ &=& E[X^2] - (E[X])^2 \end{eqnarray}$

これは、中心モーメントを非中心モーメントに定義する単純な代数的操作です。

他のコンテキストでを簡単に操作できます。また、最初に平均を計算し、次に分散を計算するために、2回のパスではなく、データの1回のパスで分散を計算できます。 $Var(X)$

しかし、それはどういう意味ですか？平均についての広がりを0についての広がりに関連付ける直接的な幾何学的直観はありませんは1次元の集合であるため、平均の周りの広がりを、原点の広がりと正方形の平方との差としてどのように見ますか平均？ $X$

このアイデンティティへの洞察を与える良い線形代数解釈または物理的解釈または他のものはありますか？

variance descriptive-statistics intuition

— ミッチ
ソース

7

ヒント：これはピタゴラスの定理です。

— whuber

1

@Matthew「」は何を意味するのでしょうか。これは予想ではなく、算術平均の略記だと思います。そうしないと、方程式は不正確になります（そして、ランダム変数を数値と同一視するため、ほとんど意味がなくなります）。

E

$E$

— whuber

2

@whuber内積は距離と角度の概念を導入し、実数値のランダム変数のベクトル空間の内積は（？）として定義されるため、いくつかの幾何学的な直観は三角形の不等式。どうすればいいのかわかりませんが、意味があるのかどうか疑問に思っていました。

E [X Y]

$\mathbb E[XY]$

— アントニ・パレラダ

1

@Antoni三角形の不等式は一般的すぎます。内積は、はるかに特別なオブジェクトです。幸いなことに、適切な幾何学的直観は、正確にはユークリッド幾何学の直観です。さらに、ランダム変数およびの場合でも、必要なジオメトリは、およびによって生成される2次元の実ベクトル空間、つまりユークリッド平面自体に制限できます。現在の例では、はRVではないように見えます。これは、ベクトルだけです。ここで、とまたがる空間は、すべてのジオメトリが発生するユークリッド平面です。

X

$X$

Y

$Y$

X

$X$

Y

$Y$

X

$X$

n

$n$

X

$X$

(1, 1, \dots, 1)

$(1,1,\ldots, 1)$

— whuber

3

設定

私はにリンクされている応答で、かつ、すべての条件を分割する

（ご希望の場合は）あなたに分散のための完全な代数的なソリューションを提供します：すべての繰り返しそれをコピーする理由はありません。それのために

の算術平均である

、そこ

はここで定義した分散のちょうど

倍です

は算術平均の

倍であり、

{\hat{β}}_{1} = 0

$\hat\beta_1=0$

n

$n$

{\hat{β}}_{0}

$\hat\beta_0$

y

$y$

| | y - \hat{y} | |^{2}

$||y-\hat y||^2$

n

$n$

| | \hat{y} | |^{2}

$||\hat y||^2$

n

$n$

| | y | |^{2}

$||y||^2$ は、2乗値の算術平均の

n

$n$ 倍です。

— whuber

21

コメントの@whuberのポイントを展開すると、 $Y$ と $Z$ が直交している場合、ピタゴラスの定理があります：

‖ Y ‖^{2} + ‖ Z ‖^{2} = ‖ Y + Z ‖^{2}

$\|Y\|^2 + \|Z\|^2 = \|Y + Z\|^2$

ことを観察 $\langle Y, Z \rangle \equiv \mathrm{E}[YZ]$ 有効である内積その $\|Y\| = \sqrt{\mathrm{E}[Y^2]}$ は、その内積によって誘導されるノルムです。

ましょ $X$ いくつかのランダムな変数です。LET $Y = \mathrm{E}[X]$ 、LET $Z = X - \mathrm{E}[X]$ 。 $Y$ と $Z$ が直交する場合：

\begin{aligned} ‖ Y ‖^{2} + ‖ Z ‖^{2} = ‖ Y + Z ‖^{2} \\ \Leftrightarrow & E [E [X]^{2}] + E [(X - E [X])^{2}] = E [X^{2}] \\ \Leftrightarrow & {E [X]}^{2} + V a r [X] = E [X^{2}] \end{aligned}

$\begin{align*} & \|Y\|^2 + \|Z\|^2 = \|Y + Z\|^2 \\ \Leftrightarrow \quad&\mathrm{E}[\mathrm{E}[X]^2] + \mathrm{E}[(X - \mathrm{E}[X])^2] = \mathrm{E}[X^2] \\ \Leftrightarrow \quad & \mathrm{E[X]}^2 + \mathrm{Var}[X]= \mathrm{E}[X^2] \end{align*}$

そして、とがこの内積の下で直交していることを示すのは簡単です： $Y = \mathrm{E}[X]$ $Z = X - \mathrm{E}[X]$

⟨ Y, Z ⟩ = E [E [X] (X - E [X])] = E [X]^{2} - E [X]^{2} = 0

$\langle Y, Z \rangle = \mathrm{E}[\mathrm{E}[X]\left(X - \mathrm{E}[X] \right)] = \mathrm{E}[X]^2 - \mathrm{E}[X]^2 = 0$

三角形の脚の1つは、他の脚は、斜辺はです。そして、卑劣な確率変数はその平均に直交するため、ピタゴラスの定理を適用できます。 $X - \mathrm{E}[X]$ $\mathrm{E}[X]$ $X$

技術的な発言：

この例では、実際のベクトルである必要があり、スカラーで、回定数ベクトル（例えば離散で、有限結果の場合）。は、の定数ベクトルへのベクトル投影です。 $Y$ $Y = \mathrm{E}[X] \mathbf{1}$ $\mathrm{E}[X]$ $\mathbf{1}$ $\mathbf{1} = [1, 1, 1, \ldots, 1]'$ $Y$ $X$ $\mathbf{1}$

簡単な例

がベルヌーイ確率変数で、である場合を考えます。我々は持っています： $X$ $p = .2$

X = [\begin{matrix} 1 \\ 0 \end{matrix}] P = [\begin{matrix} .2 \\ .8 \end{matrix}] E [X] = \sum_{i} P_{i} X_{i} = .2

$X = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \quad P = \begin{bmatrix} .2 \\ .8 \end{bmatrix} \quad \mathrm{E}[X] = \sum_i P_iX_i = .2$

Y = E [X] 1 = [\begin{matrix} .2 \\ .2 \end{matrix}] Z = X - E [X] = [\begin{matrix} .8 \\ - .2 \end{matrix}]

$Y = \mathrm{E}[X]\mathbf{1} = \begin{bmatrix} .2 \\ .2 \end{bmatrix} \quad Z = X - \mathrm{E}[X] = \begin{bmatrix} .8 \\ -.2 \end{bmatrix}$

そして写真は次のとおりです。

赤ベクトルの2乗の大きさはの分散であり、青ベクトルの2乗の大きさはであり、黄色ベクトルの2乗の大きさはです。 $X$ $\mathrm{E}[X]^2$ $\mathrm{E}[X^2]$

覚えこれらの大きさ、直交性などそのかかわら...通常の内積に対してないが、内積。黄色のベクトルの大きさは1ではなく、0.2です。 $\sum_i Y_iZ_i$ $\sum_i P_iY_iZ_i$

赤ベクトルおよび青ベクトル内積の下に垂直である、彼らがないイントロ、高校の幾何学的な意味で直交。通常の内積を内積として使用していないことに注意してください！ $Y = \mathrm{E}[X]$ $Z = X - \mathrm{E}[X]$ $\sum_i P_i Y_i Z_i$ $\sum_i Y_i Z_i$

— マシュー・ガン
ソース

それは本当に良いです！

— アントニ・パレラダ

1

答（1）良いが、それは数字を欠いて、またあなたのZが彼らのXですので... OPのために混乱少しかもしれない

— アメーバが復活モニカ言う

@MatthewGunn、素晴らしい答え。直交性がユークリッドの意味である表現については、私の答えを以下で確認できます。

— YBE

私は鈍感であることを嫌いますが、

、

、および論理の方向をまっすぐに保つのに苦労しています（理由は、私にとって意味のない場所に来るからです）。多くの（十分に実証された）事実がランダムに述べられているように感じます。内積はどのスペースにありますか？なぜ1？

Z

$Z$

V a r (X)

$Var(X)$

— ミッチ

@Mitch論理的な順序は次のとおりです。（1）確率空間がベクトル空間を定義することを観察します。ランダム変数をベクトルとして扱うことができます。（2）ランダム変数

と

の内積を

として定義します。内積空間では、内積がゼロの場合、ベクトル

と

は直交として定義されます。（3a）

を何らかのランダム変数とする。（3b）

および

。（4）

および

Y

$Y$

Z

$Z$

E [Y Z]

$E[YZ]$

Y

$Y$

Z

$Z$

X

$X$

Y = E [X]

$Y = E[X]$

Z = X - E [X]

$Z = X - E[X]$

Y

$Y$

Z

$Z$ このように定義されたものは直交しています。（5）

と

は直交しているため、ピタゴラスの定理が適用されます。（6）単純な代数により、ピタゴラスの定理は恒等式と同等です。

Y

$Y$

Z

$Z$

— マシューガン

7

非常に具体的なシナリオの純粋に幾何学的なアプローチに進みます。確率を持つ値をとる離散値ランダム変数を考えてみましょう。我々はさらに、このランダム変数は、で表すことができると仮定するベクトルとして $X$ $\{x_1,x_2\}$ $(p_1,p_2)$ $\mathbb{R}^2$ 。 $\mathbf{X} = \left(x_1\sqrt{p_1},x_2\sqrt{p_2} \right)$

長さの二乗はあり、これは等しいことに注意して。したがって、 $\mathbf{X}$ $x_1^2p_1+x_2^2p_2$ $E[X^2]$ 。 $\left\| \mathbf{X} \right\| = \sqrt{E[X^2]}$

以来、、ベクトルの先端部実際に楕円をトレースします。これにより、およびをおよびとして再パラメーター化すると、わかりやすくなります。したがって、我々は $p_1+p_2=1$ $\mathbf{X}$ $p_1$ $p_2$ $\cos^2(\theta)$ $\sin^2(\theta)$ および $\sqrt{p_1} =\cos(\theta)$ 。 $\sqrt{p_2} = \sin(\theta)$

楕円を描く1つの方法は、アルキメデスのトランメルと呼ばれるメカニズムを使用することです。wikiで説明されているように、垂直チャネルまたはレールに閉じ込められた（「トラメル」された）2つのシャトルと、ロッドに沿った固定位置でピボットによってシャトルに取り付けられたロッドで構成されます。シャトルがそれぞれのチャネルに沿って前後に移動すると、ロッドの端が楕円形の経路を移動します。この原理を次の図に示します。

ここで、垂直シャトルがあり、水平シャトルがときに、このトランメルの1つのインスタンスを幾何学的に分析して、角度形成します。建設のため、および、（ここで WLOGを想定しています）。 $A$ $B$ $\theta$ $\left|BX\right| = x_2$ $\left| AB \right| = x_1-x_2$ $\forall \theta$ $x_1\geq x_2$

ロッドに垂直な原点から線を引きましょう。それを示すことができます。この特定のランダム変数 $OC$ $\left| OC \right|=(x_1-x_2) \sin(\theta) \cos(\theta)$ したがって、垂直距離原点からロッドまでは、実際には標準偏差に等しくなります。

\begin{array}{rcl} V a r (X) & = & (x_{1}^{2} p_{1} + x_{2}^{2} p_{2}) - (x_{1} p_{1} + x_{2} p_{2})^{2} \\ = & x_{1}^{2} p_{1} + x_{2}^{2} p_{2} - x_{1}^{2} p_{1}^{2} - x_{2}^{2} p_{2}^{2} - 2 x_{1} x_{2} p_{1} p_{2} \\ = & x_{1}^{2} (p_{1} - p_{1}^{2}) + x_{2}^{2} (p_{2} - p_{2}^{2}) - 2 x_{1} x_{2} p_{1} p_{2} \\ = & p_{1} p_{2} (x_{1}^{2} - 2 x_{1} x_{2} + x_{2}^{2}) \\ = & {[(x_{1} - x_{2}) \sqrt{p_{1}} \sqrt{p_{2}}]}^{2} = {| O C |}^{2} \end{array}

$\begin{eqnarray} Var(X) &=& (x_1^2p_1 +x_2^2p_2) - (x_1p_1+x_2p_2)^2 \\ &=& x_1^2p_1 +x_2^2p_2 - x_1^2p_1^2 - x_2^2p_2^2 - 2x_1x_2p_1p_2 \\ &=& x_1^2(p_1-p_1^2) + x_2^2(p_2-p_2^2) - 2x_1x_2p_1p_2 \\ &=& p_1p_2(x_1^2- 2x_1x_2 + x_2^2) \\ &=& \left[(x_1-x_2)\sqrt{p_1}\sqrt{p_2}\right]^2 = \left|OC \right|^2 \end{eqnarray}$

| O C |

$\left|OC \right|$

σ

$\sigma$

からまでのセグメントの長さを計算する場合： $C$ $X$

\begin{array}{rcl} | C X | & = & x_{2} + (x_{1} - x_{2}) \cos^{2} (θ) \\ = & x_{1} \cos^{2} (θ) + x_{2} \sin^{2} (θ) \\ = & x_{1} p_{1} + x_{2} p_{2} = E [X] \end{array}

$\begin{eqnarray} \left|CX\right| &=& x_2 + (x_1-x_2)\cos^2(\theta) \\ &=& x_1\cos^2(\theta) +x_2\sin^2(\theta) \\ &=& x_1p_1 + x_2p_2 = E[X] \end{eqnarray}$

三角形OCXでピタゴラスの定理を適用すると、

E [X^{2}] = V a r (X) + E [X]^{2} .

$\begin{equation} E[X^2] = Var(X) + E[X]^2. \end{equation}$

要約すると、値、を取るすべての可能な離散値のランダム変数を記述するトランメルについて $\{x_1,x_2\}$ は、原点からメカニズムの先端までの距離であり、標準偏差は、ロッドに対する垂直距離です。 $\sqrt{E[X^2]}$ $\sigma$

注：がまたは場合、は完全に決定論的であることに注意してください。が場合、最大分散になります。 $\theta$ $0$ $\pi/2$ $X$ $\theta$ $\pi/4$

— YBE
ソース

1

+1いい答え。そして、ベクトルに確率の二乗を掛けることは、直交性の通常の確率論的概念を直交に見せるためのクールで便利なトリックです！

— マシューガン

素晴らしいグラフィック。シンボルのすべてのメイクセンス（トランメルは楕円を記述して、ピタゴラスTHMが適用されます）が、どういうわけか、私は届かない直感的にそれは魔法'は瞬間（スプレッドとセンターどのように関係するかのアイデア与えますか。

— ミッチ

トランメルは、すべての可能な

値のランダム変数を定義するプロセスと考えてください。ロッドが水平または垂直の場合、確定的なRVがあります。真ん中にはランダム性があり、提案されている幾何学的な枠組みでは、RV（その標準）がロッドから原点までの距離によって正確に測定される方法がわかります。楕円曲線は数学のさまざまなオブジェクトを接続するため、ここにはより深い関係があるかもしれませんが、私は数学者ではないので、その接続を実際に見ることはできません。

(x_{1}, x_{2})

$(x_1,x_2)$

— -YBE

3

次のように再配置できます。

\begin{array}{rcl} V a r (X) & = & E [X^{2}] - (E [X])^{2} \\ E [X^{2}] & = & (E [X])^{2} + V a r (X) \end{array}

$\begin{eqnarray} Var(X) &=& E[X^2] - (E[X])^2\\ E[X^2] &=& (E[X])^2 + Var(X) \end{eqnarray}$

次に、次のように解釈します。ランダム変数の予想二乗は、その平均の二乗にその平均からの予想二乗偏差を加えたものに等しくなります。

— ラム
ソース

ああ。ほらシンプル。しかし、正方形はまだ解釈されていないように見えます。つまり、正方形がなければ理にかなっているということです（一種、非常に緩やかな）。

— ミッチ

3

私はこれで売られていません。

— マイケルR.チェルニック

1

ピタゴラスの定理が適用される場合、どの辺の三角形は何で、2本の足はどのように垂直になりますか？

— ミッチ

1

適切な答えを詳しく説明するスキルを持っていないことを申し訳ありませんが、答えは物理的な古典力学のモーメントの概念、特に0中心の「生」モーメントと平均中心のモーメントの間の変換にあると思います。分散はランダム変数の2次中心モーメントであることに注意してください。

— S.ディアクソ
ソース

1

一般的な直観は、適切に定義されたベクトル空間でピタゴラスの定理（PT）を使用してこれらのモーメントを関連付けることができ、2つのモーメントが垂直で、3番目が斜辺であることを示すことです。必要な唯一の代数は、2つの脚が実際に直交していることを示すことです。

以下では、完全な分布のモーメントではなく、計算の目的でサンプルの平均と分散を意味すると仮定します。あれは：

\begin{array}{rcll} E [X] & = & \frac{1}{n} \sum x_{i}, & m e a n, f i r s t c e n t r a l s a m p l e m o m e n t \\ E [X^{2}] & = & \frac{1}{n} \sum x_{i}^{2}, & s e c o n d s a m p l e m o m e n t (n o n - c e n t r a l) \\ V a r (X) & = & \frac{1}{n} \sum (x_{i} - E [X])^{2}, & v a r i a n c e, s e c o n d c e n t r a l s a m p l e m o m e n t \end{array}

$\begin{array}{rcll} E[X] &=& \frac{1}{n}\sum x_i,& \rm{mean, first\ central\ sample\ moment}\\ E[X^2] &=& \frac{1}{n}\sum x^2_i,& \rm{second\ sample\ moment\ (non-central)}\\ Var(X) &=& \frac{1}{n}\sum (x_i - E[X])^2,& \rm{variance, second\ central\ sample\ moment} \end{array}$

（すべての合計がアイテムを超える）。 $n$

参考までに、の基本的な証明は単なるシンボルプッシュです： $Var(X) = E[X^2] - E[X]^2$

\begin{array}{rcl} V a r (X) & = & \frac{1}{n} \sum (x_{i} - E [X])^{2} \\ = & \frac{1}{n} \sum (x_{i}^{2} - 2 E [X] x_{i} + E [X]^{2}) \\ = & \frac{1}{n} \sum x_{i}^{2} - \frac{2}{n} E [X] \sum x_{i} + \frac{1}{n} \sum E [X]^{2} \\ = & E [X^{2}] - 2 E [X]^{2} + \frac{1}{n} n E [X]^{2} \\ = & E [X^{2}] - E [X]^{2} \end{array}

$\begin{eqnarray} Var(X) &=& \frac{1}{n}\sum (x_i - E[X])^2\\ &=& \frac{1}{n}\sum (x^2_i - 2 E[X]x_i + E[X]^2)\\ &=& \frac{1}{n}\sum x^2_i - \frac{2}{n} E[X] \sum x_i + \frac{1}{n}\sum E[X]^2\\ &=& E[X^2] - 2 E[X]^2 + \frac{1}{n} n E[X]^2\\ &=& E[X^2] - E[X]^2\\ \end{eqnarray}$

ここではほとんど意味がなく、代数の基本的な操作にすぎません。は総和内の定数であることに気付くかもしれませんが、それはそれについてです。 $E[X]$

ここで、ベクトル空間/幾何学的解釈/直観で、PTに対応するわずかに再配置された方程式を示します。

\begin{array}{rcl} V a r (X) + E [X]^{2} & = & E [X^{2}] \end{array}

$\begin{eqnarray} Var(X) + E[X]^2 &=& E[X^2] \end{eqnarray}$

したがって、アイテムのサンプルであるをベクトルとして考えてください。そして、2つのベクトルと作成しましょう。 $X$ $n$ $\mathbb{R}^n$ $E[X]{\bf 1}$ $X-E[X]{\bf 1}$

ベクトルは、すべての座標としてサンプルの平均を持ちます。 $E[X]{\bf 1}$

ベクトルある。 $X-E[X]{\bf 1}$ $\langle x_1-E[X], \dots, x_n-E[X]\rangle$

：2つのベクトルのドット積が0であることが判明したので、これらの2つのベクターは、垂直である

\begin{array}{rcl} E [X] 1 \cdot (X - E [X] 1) & = & \sum E [X] (x_{i} - E [X]) \\ = & \sum (E [X] x_{i} - E [X]^{2}) \\ = & E [X] \sum x_{i} - \sum E [X]^{2} \\ = & n E [X] E [X] - n E [X]^{2} \\ = & 0 \end{array}

$\begin{eqnarray} E[X]{\bf 1}\cdot(X-E[X]{\bf 1}) &=& \sum E[X](x_i-E[X])\\ &=& \sum (E[X]x_i-E[X]^2)\\ &=& E[X]\sum x_i - \sum E[X]^2\\ &=& n E[X]E[X] - n E[X]^2\\ &=& 0\\ \end{eqnarray}$

したがって、2つのベクトルは垂直です。つまり、それらは直角三角形の2本の足です。

$\mathbb{R}^n$

$E[X^2]$

$(X-E[X])^2 + E[X]^2 = ... = E[X^2]$ $E[x]{\bf 1}$ $(X-E[X])^2$ $Var(X)$

$n$ $n$ $n$ $n$

$E[X^2]$

$n$

— ミッチ
ソース

また、表面的に類似したバイアス分散トレードオフ方程式の背後にある解釈/直感にも興味があります。誰かそこにヒントがありますか？

— ミッチ

p_{i}

$p_i$

i

$i$

p_{i} = \frac{1}{n}

$p_i = \frac{1}{n}$

\sum_{i} p_{i} X_{i} Y_{i} = \frac{1}{n} \sum_{i} X_{i} Y_{i}

$\sum_i p_i X_i Y_i = \frac{1}{n} \sum_i X_i Y_i$

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

n

$n$

\forall_{i} p_{i} = \frac{1}{n}

$\forall_i p_i = \frac{1}{n}$

E [X Y] = \sum_{i} p_{i} X_{i} Y_{i}

$E[XY] = \sum_i p_i X_i Y_i$

n

$n$

E [X Y]

$E[XY]$

P

$P$

\forall_{i} p_{i} = \frac{1}{n}

$\forall_i p_i = \frac{1}{n}$

\hat{x}

$\hat{x}$

\hat{y}

$\hat{y}$

{\hat{x}}_{i} = x_{i} \sqrt{p_{i}}

$\hat{x}_i = x_i \sqrt{p_i}$

{\hat{y}}_{i} = x_{i} \sqrt{p_{i}}

$\hat{y}_i = x_i \sqrt{p_i}$

\hat{x} \cdot \hat{y} = \sum_{i} x_{i} \sqrt{p_{i}} y_{i} \sqrt{p_{i}} = \sum_{i} p_{i} x_{i} y_{i} = E [x y]

$\hat{x} \cdot \hat{y} = \sum_i x_i \sqrt{p_i} y_i \sqrt{p_i} = \sum_i p_i x_i y_i = E[xy]$

\hat{x}

$\hat{x}$

\hat{y}

$\hat{y}$

E [x y]

$E[xy]$