回帰関数の導出によって混乱

Hastie、Tibshirani、Friedman によるThe Elements of Statistical Learningのコピーを入手しました。第2章（教師あり学習の概要）セクション4（統計的意思決定理論）では、回帰関数の導出について説明しています。

ましょ表す実数値ランダム入力ベクトル、および関節分布を有する実数値ランダム出力変数、。入力値を指定してを予測するための関数を探します。この理論では、予測でペナルティを課すために損失関数必要であり、最も一般的で便利なのは二乗誤差損失です：です。これにより、を選択するための基準が導かれます。 $X \in \mathbb{R}^p$ $Y\in\mathbb{R}$ $Pr(X,Y)$ $f(X)$ $Y$ $X$ $L(Y,f(X))$ $L(Y,f(X))=(Y −f(X))^2$ $f$

$\begin{aligned} E P E (f) & = E (Y - f (X))^{2} \\ = \int [y - f (x)]^{2} P r (d x, d y) \end{aligned}$ $\begin{align*} EPE(f) &= E(Y-f(X))^2 \\ &= \int [y - f(x)]^2Pr(dx, dy)\end{align*}$ 予想される（二乗）予測エラー。

私はセットアップと動機を完全に理解しています。私の最初の混乱は、彼はまたはを意味しますか？次に、という表記を見たことがない。その意味を私に説明してくれた人はいますか？それだけではある？悲しいかな、私の混乱はそこで終わりません、 $E[(Y - f(x))]^2$ $E[(Y - f(x))^2]$ $Pr(dx,dy)$ $Pr(dx) = Pr(x)dx$

で条件付けすることにより、をとして記述できます $X$ $EPE$
$\begin{aligned} E P E (f) = E_{X} E_{Y | X} ([Y - f (X)]^{2} | X) \end{aligned}$ $\begin{align*}EPE(f) = E_XE_{Y|X}([Y-f(X)]^2|X)\end{align*}$

これら2つのステップの関連性が欠けており、「調整」の技術的な定義に精通していません。何か明確にできることがあれば教えてください！私の混乱のほとんどは、なじみのない表記法から生じたと思います。誰かがこの派生を簡単な英語に分解できれば、私はそれを得ると確信しています。stats.SEに感謝！

regression statistical-learning

— オランウータンゴ
ソース

最初の混乱のために、それは二乗誤差の期待であるべきなので、それは $E[(Y-f(x))^2].$

の表記では、と同じです。ここで、はxとyの結合pdfです。そして、これはxが小さな間隔内にある確率が点でのpdf値と等しい、すなわち間隔の長さます。 $Pr(dx,dy)$ $g(x,y)\,dx\,dy$ $g(x,y)$ $Pr(dx)=f(x)\,dx$ $[x,x+dx]$ $x$ $f(x)$ $dx$

EPEに関する方程式は、任意の2つの確率変数およびの定理に由来します。条件付き分布を使用してこれを証明できます。条件付き期待値は、条件付き分布を使用して計算された期待値です。条件付き分布は、について何かを知った後のの確率を意味します。 $E(E(Y|X))=E(Y)$ $X$ $Y$ $Y|X$ $Y$ $X$

この例では、2乗誤差を関数として表すとすると、EPEは $L(x,y)=(y-f(x))^2$

\begin{aligned} E (L (x, y)) & = \int \int L (x, y) g (x, y) d x d y \\ = \int [\int L (x, y) g (y | x) g (x) d y] d x \\ = \int [\int L (x, y) g (y | x) d y] g (x) d x \\ = \int [E_{Y | X} (L (x, y)] g (x) d x \\ = E_{X} (E_{Y | X} (L (x, y))) \end{aligned}

$\begin{equation}\begin{split}E(L(x,y))&=\int\int L(x,y)g(x,y)dx\,dy \\ &=\int\bigg[\int L(x,y)g(y|x)g(x)dy\bigg]dx \\ &=\int\bigg[\int L(x,y)g(y|x)dy\bigg]g(x)dx \\ &=\int\bigg[E_{Y|X} (L(x,y)\bigg]g(x)dx \\ &=E_X(E_{Y|X} (L(x,y)))\end{split}\end{equation}$

上記の結果は、リストした結果に対応しています。これが少し役立つことを願っています。

— ジェリー
ソース

条件付け後の最終結果については、本にも| Xが含まれていますが、この回答の最終結果には欠落しています。大切ですか？

— robertmartin8 2017