線形回帰のバイアス分散分解における分散項

9

'統計的学習の要素'は、線形モデルのバイアス分散分解のための式は以下のように与えられる

E r r (x_{0}) = σ_{ϵ}^{2} + E [f (x_{0}) - E \hat{f} (x_{0})]^{2} + | | h (x_{0}) | |^{2} σ_{ϵ}^{2},

$Err(x_0)=\sigma_\epsilon^2+E[f(x_0)-E\hat f(x_0)]^2+||h(x_0)||^2\sigma_\epsilon^2,$

f (x_{0})

$f(x_0)$ 実際の目標関数であり、

モデルにおけるランダム誤差の分散であり、

及び

の線形推定量である

。

σ_{ϵ}^{2}

$\sigma_\epsilon^2$

y = f (x) + ϵ

$y=f(x)+\epsilon$

\hat{f} (x)

$\hat f(x)$

f (x)

$f(x)$

分散項は、式はターゲットがノイズレスであれば分散がゼロになることを意味するので、あること、ここで私を悩まれているしかし、たとえゼロノイズが、私はまだ違う得ることができますので、それは私には意味がありません。推定分散を意味異なるトレーニングセットについて、非ゼロです。 $\sigma_\epsilon^2=0.$ $\hat f(x_0)$

たとえば、ターゲット関数が2次であり、トレーニングデータにこの2次からランダムにサンプリングされた2つのポイントが含まれているとします。明らかに、二次ターゲットからランダムに2つのポイントをサンプリングするたびに、異なる線形近似が得られます。では、どのように分散をゼロにすることができますか？ $f(x_0)$

誰かがバイアス分散分解の私の理解の何が間違っているかを見つけるのを手伝ってくれる？

regression linear-model bias-variance-tradeoff

— アビナフ・グプタ
ソース

回答:

6

バイアスと分散の扱いには常に潜んでいる微妙さがあり、研究するときはそれに注意を払うことが重要です。その章のセクションでESLの最初の数ワードを読み直す場合、著者はそれにある程度の敬意を払うようにしてください。

エラーレートの推定についての議論は、固定されている量とランダムな量を明確にする必要があるため、混乱を招く可能性があります。

微妙なのは、修正されるものとランダムなものです。

$X$ $y$ $X$ $Err(x_0)$ $Err(x_0 \mid X)$

それはあなたの懸念が無効であると言っているのではなく、トレーニングデータの選択が実際にモデルアルゴリズムにランダム性を導入することは確かに真実です。実際、ブートストラップと相互検証の一般的な手法では、これらのランダム性のソースを明示的に推論に組み込んでいることがはっきりとわかります。

$X$ $X$

— マシュードゥルーリー
ソース

X

$X$

Y | X

$Y|X$

(X, Y)

$(X,Y)$

E = E_{X} E_{Y | X}

$E=E_XE_{Y|X}$

V a r (\hat{f} (x_{0})) = E_{X} [| | h (x_{0}) | |^{2} σ_{ϵ}^{2}]

$Var(\hat f(x_0))=E_X[||h(x_0)||^2\sigma_\epsilon^2]$

σ_{ϵ}^{2}

$\sigma_\epsilon^2$

私の推測では、作成者はモデルが正しく指定されていると想定しています。つまり、適切な変換を行うすべての関連予測子のみが含まれています。でも、確認のために記憶に頼るのではなく、本に戻る必要があります。

— Matthew Drury

「正しく指定されている」とは、ターゲット関数が実際に線形であることを意味し、ノイズがゼロの場合はバイアスがゼロであることを意味します。しかし、ターゲット関数が線形でなくても、分散についてはまったく同じ式が得られます。

— Abhinav Gupta 2017

1

それは事実ですが、その場合、「正しく指定された」とは、線形予測を使用して、正しい予測子を含むモデルを当てはめたことを意味します。したがって、真の関係が2次である場合は、モデルに2次項が含まれていると想定します。

— Matthew Drury

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。

Licensed under cc by-sa 3.0 with attribution required.