バイアス分散分解

Bishopのパターン認識と機械学習のセクション3.2で、彼はバイアス分散分解について説明し、損失関数の2乗について、期待損失を2乗バイアス項に分解できることを述べています（これは、平均予測が真からどれだけ離れているかを説明しています）モデル）、分散項（平均の周りの予測の広がりを表す）、およびノイズ項（データの固有のノイズを与える）。

バイアス分散分解は、2乗損失以外の損失関数で実行できますか？
特定のモデルデータセットについて、予想損失がすべてのモデルで最小となるモデルが複数ありますか？その場合、同じ最小予想損失をもたらすバイアスと分散の異なる組み合わせが存在する可能性があるということですか？
モデルに正則化が含まれる場合、バイアス、分散、正則化係数間に数学的な関係がありますか？ $\lambda$
真のモデルがわからない場合、どのようにバイアスを計算できますか？
予想される損失（バイアスと分散の2乗の合計）よりも、バイアスまたは分散を最小化する方が理にかなっている状況はありますか？

— ビベックスブラマニアン
ソース

...予想される[2乗誤差]損失は、2乗バイアス項（平均予測が実際のモデルからどれだけ離れているかを示す）、分散項（平均の周りの予測の広がりを示す）、およびノイズ項（データに固有のノイズを与える）。

二乗誤差損失分解を見たとき私は2つの用語しか見ません。1つはバイアス、もう1つは推定器または予測子の分散、です。予想される損失には追加のノイズ項はありません。ばらつきは、サンプル自体ではなく、のばらつきでためです。

E_{θ} [(θ - δ (X_{1 : n}))^{2}] = (θ - E_{θ} [δ (X_{1 : n})])^{2} + E_{θ} [(E_{θ} [δ (X_{1 : n})] - δ (X_{1 : n}))^{2}]

$\mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]=(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\mathbb{E}_\theta[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]$

δ (X_{1 : n})

$\delta(X_{1:n})$

δ (X_{1 : n})

$\delta(X_{1:n})$

バイアス分散分解は、2乗損失以外の損失関数で実行できますか？

2乗バイアス+分散分解の私の解釈[と私がそれを教える方法]は、これがピタゴアの定理と統計的に同等である、つまり、推定量と特定のセット内の点の間の2乗距離が2乗距離の合計であるということです推定器とセットの間、およびセットの正射影とセット内のポイント間の距離の2乗。特定のモデルデータセットの距離に基づく損失は、すべてのモデルで予測される損失が最小となるモデルが複数あり、その場合、バイアスと分散の異なる組み合わせが存在する可能性があることを意味します直交射影の同じ最小予想損失、つまり内積、つまり本質的にヒルベルト空間は、この分解を満たします。

特定のモデルデータセットについて、予想損失がすべてのモデルで最小となるモデルが複数ありますか？その場合、同じ最小予想損失をもたらすバイアスと分散の異なる組み合わせが存在する可能性があるということですか？

質問は不明である：機種を超える最小、あなたは平均であれば、その後の統計モデルの多くの例と関連した意思決定とある一定の期待損失（またはリスクが）。たとえば、標準平均のMLEを考えます。

min_{θ} E_{θ} [(θ - δ (X_{1 : n}))^{2}]

$\min_\theta \mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]$

真のモデルがわからない場合、どのようにバイアスを計算できますか？

一般的な意味では、バイアスは、真のモデルと想定される分布のファミリー内の最も近いモデルとの間の距離です。真のモデルが不明な場合、バイアスはブートストラップによって確認できます。

予想される損失（バイアスと分散の2乗の合計）よりも、バイアスまたは分散を最小化する方が理にかなっている状況はありますか？

以下のような他の損失関数を考慮した場合押圧押しながらバイアスに最も評価のゼロプットに無限大にすると、分散にフォーカスを切り替えます。

(θ - E_{θ} [δ (X_{1 : n})])^{2} + α [(E_{θ} [δ (X_{1 : n})] - δ (X_{1 : n}))^{2}] 0 < α

$(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\alpha[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]\qquad 0<\alpha$

α

$\alpha$

α

$\alpha$

— 西安
ソース

f

$f$

Y = f (X) + ϵ

$Y = f(X) + \epsilon$

ϵ

$\epsilon$

σ_{ϵ}

$\sigma_\epsilon$

f (X)

$f(X)$

E [\hat{f} (X)]

$E[\hat{f}(X)]$

E [(Y - f (X))^{2} | X = x]

$E[(Y-f(X))^2 | X=x]$

σ_{ϵ}^{2} + {Bias}^{2} \hat{f} (x) + Var \hat{f} (x)

$\sigma^2_\epsilon + \operatorname{Bias}^2 \hat{f}(x) + \operatorname{Var} \hat{f}(x)$

\hat{f}

$\hat f$

ϵ

$\epsilon$

うーん、あなたはもちろん正しいです。しかし、私はこの問題が私のずさんな派生物の産物だと思います。Hastie＆TibshiraniのESLIIの

— ミゲル

ϵ

$\epsilon$

\hat{f}

$\hat{f}$