平均二乗バイアスの分解（統計学習の要素内）

The Statistics of Elements of Statistical Learningの 224ページの式7.14がどのようにして導き出されるのか理解できません。誰かがそれを理解するのを手伝ってくれる？

Average squared bias = Average [model bias]^{2} + Average [estimation bias]^{2}

$\textrm{Average squared bias} = \textrm{Average}[\textrm{model bias}]^2 + \textrm{Average}[\textrm{estimation bias}]^2$

— Guyos
ソース

Rob J. Hyndmanは、彼のブログ投稿「バイアス分散分解」に証拠があります。それはあなたが探しているものですか？<...>もう一度見たので、いや、おそらくそうではありません。

— Richard Hardy

結果は基本的に、最良の線形推定量の特性によるものです。ここでは、が線形であるとは限りません。それにもかかわらず、最もよく近似する線形予測子を見つけることができます。 $f(X)$ $f$

定義を思い出してください：。理論的推定量を導出できます：は可逆であると仮定しました。私はXの周辺分布（現実世界とにかくシナリオで）私たちが知っていることはないと理論的な推定それを呼び出す、または $\beta_*$ $\beta_{*} = \arg\min_\beta E{[(f(X) - X^T \beta)^2]}$ $\beta_*$

\begin{aligned} g (β) & = E [(f (X) - X^{T} β)^{2}] = E [f^{2} (X)] - 2 β^{T} E [X f (X)] + β^{T} E [X X^{T}] β \\ ⟹ \frac{\partial g (β)}{\partial β} = - 2 E [X f (X)] + 2 E [X X^{T}] β = 0 \\ ⟹ β_{*} = E [X X^{T}]^{- 1} E [X f (X)], \end{aligned}

$\begin{align*} g(\beta) &= E[(f(X) - X^T \beta)^2] = E [f^2(X)] - 2\beta^T E[Xf(X)] + \beta^T E[XX^T]\beta \\ &\implies \frac{\partial{g(\beta)}}{\partial{\beta}} = -2 E{[Xf(X)]} + 2 E[XX^T]\beta = 0 \\ &\implies \beta_{*} = E[X X^T]^{-1}E[X f(X)], \end{align*}$

E [X X^{T}]

$E[X X^T]$

P (X)

$P(X)$ なので、それらの期待はわかりません。この推定量と通常の最小二乗推定量との類似性を思い出す必要があります（をに置き換えると、OLS推定量はプラグインの等価推定量になります。最後に、推定値と同じであることを示します）、これは基本的に、OLS推定量を導出する別の方法を示します（多数の理論による）。

f

$f$

y

$y$

β_{*}

$\beta_*$

（7.14）のLHSは次のように展開できます：

\begin{aligned} E_{x_{0}} [f (x_{0}) - E {\hat{f}}_{α} (x_{0})]^{2} & = E_{x_{0}} [f (x_{0}) - x_{0}^{T} β_{*} + x_{0}^{T} β_{*} - E {\hat{f}}_{α} (x_{0})]^{2} \\ = E_{x_{0}} [f (x_{0}) - x_{0}^{T} β_{*}]^{2} + E_{x_{0}} [x_{0}^{T} β_{*} - E {\hat{f}}_{α} (x_{0})]^{2} \\ + 2 E_{x_{0}} [(f (x_{0}) - x_{0}^{T} β_{*}) (x_{0}^{T} β_{*} - E {\hat{f}}_{α} (x_{0}))] . \end{aligned}

$\begin{align*} E_{x_0}[f(x_0) - E{\hat{f}_\alpha (x_0)}]^2 &= E_{x_0}[f(x_0) -x_0^T\beta_{*}+ x_0^T\beta_{*} - E{\hat{f}_\alpha (x_0)}]^2 \\ &= E_{x_0}[f(x_0) - x_0^T\beta_{*}]^2 + E_{x_0}[ x_0^T\beta_{*} - E{\hat{f}_\alpha (x_0)}]^2 \\ &\;\;+ 2 E_{x_0}[(f(x_0) - x_0^T\beta_{*})(x_0^T\beta_{*}-E{\hat{f}_\alpha (x_0)})]. \end{align*}$

（7.14）を表示するには、3番目の項がゼロであることを示す必要があります。つまり、

E_{x_{0}} [(f (x_{0}) - x_{0}^{T} β_{*}) (x_{0}^{T} β_{*} - E {\hat{f}}_{α} (x_{0}))] = 0,

$E_{x_0}[(f(x_0) - x_0^T\beta_{*})(x_0^T\beta_{*}-E{\hat{f}_\alpha (x_0)})] = 0,$

ここで、LHSは

\begin{aligned} L H S = E_{x_{0}} [(f (x_{0}) - x_{0}^{T} β_{*}) x_{0}^{T} β_{*}] - E_{x_{0}} [(f (x_{0}) - x_{0}^{T} β_{*}) E {\hat{f}}_{α} (x_{0}))] \end{aligned}

$\begin{align*} LHS = E_{x_0}[(f(x_0) - x_0^T\beta_{*})x_0^T\beta_{*}] - E_{x_0}[(f(x_0) - x_0^T\beta_{*})E{\hat{f}_\alpha (x_0)})] \end{align*}$

第一項（便宜上、Iは省略されているとに置き換え）： variance identityを使用した $x_0$ $x$

\begin{aligned} E [(f (x) - x^{T} β_{*}) x^{T} β_{*}] = E [f (x) x^{T} β_{*}] - E [(x^{T} β_{*})^{2}] \\ = E [f (x) x^{T}] β_{*} - (V a r [x^{T} β_{*}] + (E [x^{T} β_{*}])^{2}) \\ = E [f (x) x^{T}] β_{*} - (β_{*}^{T} V a r [x] β_{*} + (β_{*}^{T} E [x])^{2}) \\ = E [f (x) x^{T}] β_{*} - (β_{*}^{T} (E [x x^{T}] - E [x] E [x]^{T}) β_{*} + (β_{*}^{T} E [x])^{2}) \\ = E [f (x) x^{T}] β_{*} - E [f (x) x^{T}] E [x x^{T}]^{- 1} E [x x^{T}] β_{*} + β_{*}^{T} E [x] E [x]^{T} β_{*} \\ - β_{*}^{T} E [x] E [x]^{T} β_{*} \\ = 0, \end{aligned}

$\begin{align} &E{[(f(x) - x^T\beta_{*})x^T\beta_{*}]} = E{[f(x)x^T\beta_*]}- E{[(x^T\beta_*)^2]} \\ &= E[f(x)x^T]\beta_* - \left(Var{[x^T\beta_*]} + (E{[x^T\beta_*]})^2\right) \\ &= E[f(x)x^T]\beta_* - \left( \beta_*^T Var{[x]} \beta_* + (\beta_* ^T E[x])^2\right) \\ &= E[f(x)x^T]\beta_* - \left( \beta_*^T (E[xx^T] - E[x]E[x]^T) \beta_* + (\beta_* ^T E[x])^2\right) \\ &= E[f(x)x^T]\beta_* - E{[f(x)x^T]}E[xx^T]^{-1} E[xx^T]\beta_* + \beta_*^TE[x]E[x]^T \beta_*\\ &\;\;- \beta_*^TE[x]E[x]^T \beta_* \\ &= 0, \end{align}$

V a r [z] = E [z z^{T}] - E [z] E {[z]}^{T}

$Var{[z]} = E{[zz^T]} - E{[z]}E{[z]}^T$ 2番目と4番目のステップの両方で2回。最後の2行目をに置き換えました。標準の期待値/分散特性により、他のすべてのステップが続きます。特に、は、（または）が測定される場所から独立しているため、期待値に対する定数ベクトルです。

β_{*}^{T}

$\beta_*^T$

β_{*}

$\beta_*$

x

$x$

x_{0}

$x_0$

第2項ここで、は点なので、ランダム性がトレーニングデータから発生するため、は固定されています。第三の等式が成立するようにどこから独立している（

\begin{aligned} E [(f (x) - x^{T} β_{*}) E {\hat{f}}_{α} (x)] & = E [(f (x) - x^{T} β_{*}) E [x^{T} {\hat{β}}_{α}]] \\ = E [E {[{\hat{β}}_{α}}^{T}] x (f (x) - x^{T} β_{*})] \\ = E {\hat{β}}_{α}^{T} E [x f (x) - x x^{T} β_{*}] \\ = E {\hat{β}}_{α}^{T} (E [x f (x)] - E [x x^{T}] E [x x^{T}]^{- 1} E [x f (x)]) \\ = 0, \end{aligned}

$\begin{align} E{[(f(x) - x^T\beta_{*})E{\hat{f}_\alpha (x)}]} &= E{[(f(x) - x^T\beta_{*}) E{[x^T\hat{\beta}_\alpha]}]} \\ &= E{[E{[\hat{\beta}_\alpha}^T]x (f(x) - x^T\beta_{*})]} \\ &= E{\hat{\beta}_\alpha}^TE{[x f(x) - x x^T\beta_*]} \\ &=E{\hat{\beta}_\alpha}^T\left( E{[x f(x)]} - E[xx^T] E[xx^T]^{-1}E{[xf(x)]}\right)\\ &=0, \end{align}$

E {\hat{f}}_{α} (x)

$E{\hat{f}_\alpha (x)}$

y

$y$

x

$x$

E {\hat{β}}_{α}

$E{\hat{\beta}_\alpha}$

x

$x$

x_{0}

$x_0$ ）は予測されるため、外部の期待値に対して一定です。上記の結果を組み合わせると、これらの2つの項の合計はゼロになり、式（7.14）を示します。

質問に関連はないが、それは価値がそれを指摘され、すなわちとして、最適な回帰関数であるしたがって、、我々は最後の推定が最良の線形推定器である思い出す場合、上記式は、基本的に教えてくれる、最適な回帰関数を使用して又はノイズの多いバージョンを、遠点と同じである推定であります懸念。もちろん、推定量 $f(X) = E[Y|X]$ $f(X)$

f (X) = E [f (X) + ε | X] = E [Y | X] .

$f(X) = E{[f(X) +\varepsilon |X]} = E[Y|X].$

\begin{aligned} β_{*} & = E [X X^{T}]^{- 1} E [X f (X)] = E [X X^{T}]^{- 1} E [X E [Y | X]] \\ = E [X X^{T}]^{- 1} E [E [X Y | X]] \\ = E [X X^{T}]^{- 1} E [X Y], \end{aligned}

$\begin{align} \beta_{*} &= E[XX^T]^{-1}E{[Xf(X)]} = E[XX^T]^{-1}E{[XE[Y|X]]} \\ &= E[XX^T]^{-1}E[E[XY|X]] \\ &= E[XX^T]^{-1}E[XY], \end{align}$

f (x)

$f(x)$

y

$y$

f

$f$ 分散が小さくなるため、プロパティ/効率が向上します。これは、が追加のエラーまたは分散を導入するという事実から容易に確認できます。

y

$y$

— レイ
ソース

はい、これは通常のバイアス分散分解ではなく、バイアスをさらに分解したものです。

他の誰かがすでにこれに答えています。

— AG
ソース