最良の予測子としての条件付き期待値の証明に関する問題

19

の証明に問題がある

$E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

期待と条件付き期待のより深い誤解を明らかにする可能性が非常に高い。

私が知っている証明は次のとおりです（この証明の別のバージョンはここにあります）

\begin{aligned} \arg min_{g (X)} E [(Y - g (x))^{2}] \\ = & \arg min_{g (X)} E [(Y - E (Y | X) + E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [(Y - E (Y | X))^{2} + 2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} &\arg \min_{g(X)} E\Big[\big(Y - g(x)\big)^2\Big]\\ = &\arg \min_{g(X)} E \Big[ \big(Y - E(Y|X) + E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ \big(Y - E(Y|X)\big)^2 + 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ \end{align*}$

証明は通常、 $2 E\Big[ \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big)\Big] = 0$ 、したがって

\begin{aligned} \arg min_{g (x)} E [(Y - g (x))^{2}] = \arg min_{g (x)} E [(E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} \arg \min_{g(x)} E\Big[\big(Y - g(x)\big)^2\Big] = \arg \min_{g(x)} E \Big[\big(E(Y|X) - g(X)\big)^2\Big] \end{align*}$

ときに最小化されることがわかり $g(X) = E(Y|X)$ ます。

証明に関する私のパズルは次のとおりです。

検討する

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]$ 。

最初の項が常にゼロに等しいことを示す引数とは無関係に、を設定 $g(X) = E(Y|X)$ すると $\big(E(Y|X) - g(X)\big) =0$ 、したがって

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big] = E( 0 + 0)$ = 0

しかし、これが真の場合、を他の関数、たとえばに置き換えて証明を繰り返し、式を最小化するのはあるという結論に可能性があります。だから、私が誤解しているものがあるに違いない（そうですか？）。 $E(Y|X)$ $X$ $h(X)$ $h(X)$

私は問題の声明におけるの意味について疑問を持っています。表記はどのように解釈されるべきですか？どういう意味ですか $E[(Y−g(X))^2]$

$E_X[(Y−g(X))^2]$ 、または？ $E_Y[(Y−g(X))^2]$ $E_{XY}[(Y−g(X))^2]$

— マーティン・ファン・デル・リンデン
ソース

11

（これは、Granger＆Newbold（1986）「経済時系列の予測」からの適応です）。

構成上、エラーコスト関数はです。これには、重大な仮定（エラーコスト関数はゼロを中心に対称である）が組み込まれています-異なるエラーコスト関数は、期待値のとして条件付き期待値を必ずしも持つとは限りません。未知の数量が含まれているため、エラーコスト関数を最小化できません。そのため、代わりに期待値を最小化することにします。その後、目的関数は $\left[Y-g(X)\right]^2$ $\arg \min$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} {[y - g (X)]}^{2} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}\left[y-g(X)\right]^2f_{Y|X}(y|x)dy$

あなたの2番目の質問にも答えると思います。期待値があることになるという直感的である上、条件付き我々は/予想を推定しようとしていることから、に基づいて。正方形を分解して取得します $Y$ $X$ $Y$ $X$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} y^{2} f_{Y | X} (y | x) d y - 2 g (X) \int_{- \infty}^{\infty} y f_{Y | X} (y | x) d y + [g (X)]^{2} \int_{- \infty}^{\infty} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}y^2f_{Y|X}(y|x)dy -2g(X)\int_{-\infty}^{\infty}yf_{Y|X}(y|x)dy \\+ \Big[g(X)\Big]^2\int_{-\infty}^{\infty}f_{Y|X}(y|x)dy$

最初の項は含まないため、最小化には影響せず、無視できます。2番目の項の積分は、与えられた条件付き期待値に等しく、最後の項の積分は1に等しい。そう $g(X)$ $Y$ $X$

\arg min_{g (x)} E {[Y - g (X)]}^{2} = \arg min_{g (x)} {- 2 g (X) E (Y ∣ X) + [g (X)]^{2}}

$\arg \min_{g(x)} E\left[Y-g(X)\right]^2 = \arg \min_{g(x)} \Big\{ -2g(X)E(Y\mid X) + \Big[g(X)\Big]^2 \Big\}$

1次導関数wrtは、最小化の1次条件になりますが、2次導関数は等しくなります。これは最小限に十分です。 $g(X)$ $-2E(Y\mid X) + 2g(X)$ $g(X) = E(Y\mid X)$ $2>0$

補遺：「加算および減算」証明アプローチのロジック。

OPは、トートロジー的と思われるため、質問で述べられているアプローチに困惑しています。そうではありません。加算と減算の戦術を使用して、加算と減算される用語の任意の選択に対して目的関数の特定の部分をゼロにしますが、値関数、つまり目的の値を等しくしないからです。候補のミニマイザーで評価される関数。

選択肢の場合、値関数任意の選択に対して、値funtion。 $g(X) = E(Y \mid X)$ $V\left(E(Y\mid X)\right) = E\Big[ (Y-E(Y \mid X))^2\mid X\Big]$ $g(X) = h(X)$ $V\left(h(X)\right) = E\Big[ (Y-h(X))^2\mid X\Big]$

私はそれを主張する

V (E (Y ∣ X)) \leq V (h (X))

$V\left(E(Y\mid X)\right) \le V\left(h(X)\right)$

\Rightarrow E (Y^{2} ∣ X) - 2 E [(Y E (Y ∣ X)) ∣ X] + E [(E (Y ∣ X))^{2} ∣ X] \leq E (Y^{2} ∣ X) - 2 E [(Y h (X)) ∣ X] + E [(h (X))^{2} ∣ X]

$\Rightarrow E(Y^2\mid X) -2E\Big [(YE(Y \mid X))\mid X\Big] + E\Big [(E(Y \mid X))^2\mid X\Big] \\\le E(Y^2\mid X) -2E\Big [(Yh(X))\mid X\Big] + E\Big [(h(X))^2\mid X\Big]$

LHSとRHSの最初の期間はキャンセルされます。また、外側の期待値は条件としていることに注意してください。条件付き期待値の特性により、最終的には $X$

. . . \Rightarrow - 2 E (Y ∣ X) \cdot E (Y ∣ X) + [E (Y ∣ X)]^{2} \leq - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$...\Rightarrow -2E(Y \mid X)\cdot E\Big (Y\mid X\Big) + \Big [E(Y \mid X)\Big]^2 \le -2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X)]^{2} - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X)\Big]^2-2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X) - h (x)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X) - h(x)\Big]^2$ 場合、厳密な不等式を保持します。したがって、はグローバルでユニークな最小化子です。

h (x) \neq E (Y ∣ X)

$h(x) \neq E(Y \mid X)$

E (Y ∣ X)

$E(Y \mid X)$

しかし、これはまた、「加算と減算」のアプローチは、ここで最も明快な証明方法ではないことを示しています。

— アレコスパパドプロス
ソース

答えてくれてありがとう。2番目の質問を明確にするのに役立ちます。質問のタイトルで伝えようとしたとき、私の主な問題（投稿の最初の問題）は証明メカニズムに関するものでした。私の主な関心事は、質問で提示した証拠を理解することです。私が説明したように、証拠の私の理解は露骨に問題のある声明に私を導きます。だから、期待と概念的期待の概念についてのより深い誤解を明らかにするかもしれないので、私の間違いであると理解したい。これについて何か考えはありますか？

— マーティンヴァンデルリンデン

1

証拠に「加算と減算」のアプローチに関する説明を追加しました。

— アレコスパパドプロス

それを理解するためにしばらく時間がかかりましたが、最終的に私の基本的な間違いがありました：十分に正しいが、決してそれが意味するものではない最小化式。括弧で囲まれた式がゼロより小さくならない理由はありません。そのための前にマイナス記号の 1は、いくつか見つけることができるように。

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] = 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] = 0$

g (X) = h (X)

$g(X) = h(X)$

h (X)

$h(X)$

(Y - h (X)) (h (X) - g (X))

$\big(Y - h(X) \big) \big(h(X) - g(X)\big)$

g (X)

$g(X)$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] < 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] < 0$

— マーティンヴァンデルリンデン

1

うーん...あなたが参照する表現のマイナス記号は間違いです-それはプラス記号でなければなりません。もちろん、マイナス記号を取得するために用語を並べ替えることができます...これはあなたが得た直感を傷つけますか？

— アレコスパパドプロス

質問に追いついてくれてありがとう。最初の投稿を編集して、この間違いを修正しました。幸いなことに、私はそれが得られた直観を傷つけないと思います。実際、さらに別の間違いを理解するのに役立ちます：マイナス記号は、が。しかし、私は、これはちょうど私が本当に理解するために必要なもの2.（うまくいけば）の前に符号に関するものではありませんそれである実現、一般的に（すなわちのための任意の）場合、最小化する必要はありません（右？）。

0

$0$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}]

$E[−2(Y−h(X))(h(X)−g(X))+(h(X)−g(X))^2]$

h (X)

$h(X)$

E [2 (Y - h (X)) (h (X) - g (X))]

$E[2(Y−h(X))(h(X)−g(X))]$

g (X) = h (X)

$g(X)=h(X)$

— マーティンヴァンデルリンデン

5

答えを証明するために、あなたは本当にそれを示す必要があることに注意してください

E [- 2 (Y - E (Y | X)) (E (Y | X) - g (X))] = 0

$E \Big[ -2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) \Big] = 0$

どの期待がかかるかについては、条件付きで受け止めます。

\arg min_{g (X)} E [(Y - g (X))^{2}]

$\arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

がではなく場合、はランダム変数であるため、意味がありません。本当にまたは書くべきであることを示すこれを明確にします。この明確化を考えると、用語は定数であり、予想外に引き出すことができます。 $g(X)$ $E$ $E_{XY}$ $E_{Y|X}$ $E\Big[\big(Y - g(X)\big)^2|X\Big]$ $E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]$ $\big(E(Y|X) - g(X)\big)$

- 2 (E (Y | X) - g (X)) E [(Y - E (Y | X)) | X] = - 2 (E (Y | X) - g (X)) [E (Y | X) - E [E (Y | X) | X]] = - 2 (E (Y | X) - g (X)) [E (Y | X) - E (Y | X)] = 0

したがって、目的関数は次のように記述できます。

E_{Y | X} [(Y - g (X))^{2}] = E_{Y | X} [(Y - E_{Y | X} (Y | X))^{2}] + (E_{Y | X} (Y | X) - g (X))^{2}

$E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]=E_{Y|X}\Big[\big(Y - E_{Y|X}(Y|X)\big)^2\Big]+\big(E_{Y|X}(Y|X) - g(X)\big)^2$

ミニマイザーはここから明らかです。平均化する場合も、非常によく似た引数を使用して表示できることに注意してください。 $X$

E_{X} [(E (Y | X) - g (X))^{2}] = E_{X} [(E_{Y | X} (Y | X) - E_{X} [E_{Y | X} (Y | X)])^{2}] + (E_{X} [E_{Y | X} (Y | X)] - E_{X} [g (X)])^{2}

$E_{X}\Big[\big(E(Y|X) - g(X)\big)^2\Big]=E_{X}\Big[\big(E_{Y|X}(Y|X) - E_X\big[E_{Y|X}(Y|X)\big]\big)^2\Big]+\Big(E_{X}\big[E_{Y|X}(Y|X)\big] - E_X\big[g(X)\big]\Big)^2$

これは、各にを設定すると、この関数も最小化されることを示しています。したがって、ある意味で、がかかは実際には関係ありません。 $g(X)=E_{Y|X}(Y|X)$ $X$ $E$ $E_{YX}$ $E_{Y|X}$

— 確率論
ソース

3

非常に単純な数学的視点があります。あなたが持っているのは、ベクトルを部分空間に射影するような、ヒルベルト空間の射影問題です。 $\mathbb{R}^n$

ましょう基礎となる確率空間を表します。問題を理解するために、有限の2次モーメントを持つランダム変数、つまりヒルベルト空間考えます。問題はこれです：与えられた、部分空間へのの射影を、ここではによって生成されたの部分代数です。（有限次元の場合と同様に、部分空間までの距離を最小化することは、射影を見つけることを意味します）。希望する投影法は $(\Omega, \mathcal{F}, \mu)$ $L^2(\Omega, \mathcal{F}, \mu)$ $X, Y \in L^2(\Omega, \mathcal{F}, \mu)$ $Y$ $L^2(\Omega, \mathcal{F}_X, \mu)$ $\mathcal{F}_X$ $\sigma$ $\mathcal{F}$ $X$ $L^2$ $E(X|Y)$ 、構成により。（実在の証拠を検査する場合、これは実際に特徴付け）。 $E(X|Y)$

— マイケル
ソース

これは美しい反応です。

— jII

0

最後の質問に関して、期待値はwrt（無条件エラー）またはwrt（各値条件エラー）のいずれかです。幸いなことに、各値で条件付きエラーを最小化すると、無条件エラーも最小化されるため、これは重要な区別ではありません。 $p(x,y)$ $p(y\mid x)$ $X = x$ $X = x$

— ウリス・ブラガ・ネト
ソース