バイアスと分散のトレードオフ、推定器のバイアスとモデルのバイアスの関係、および推定器の分散とモデルの分散の関係を理解し​​ようとしています。

私はこれらの結論に達しました：

• 推定量のバイアスを無視すると、つまり、モデルの分散を無視してモデルのバイアスのみを最小化することを目的とする場合（言い換えると、考慮せずに推定量の分散を最小化することのみを目的とする場合）推定量のバイアスも）
• 逆に、推定量の分散を無視する場合、つまりモデルのバイアスを無視するモデルの分散のみを最小化することを目的とする場合（つまり、モデルのバイアスを最小化することのみを目的とする場合、推定量の分散も考慮しない推定量）。

私の結論は正しいですか？

まあ、ちょっと。述べたように、バイアスまたは分散のいずれかを最小限に抑えるために科学者に意図を与えます。実際には、モデルのバイアスまたは分散を明示的に観察することはできません（可能な場合は、真の信号を知ることができます。この場合、モデルは不要です）。一般に、特定のデータセットでモデルのエラー率のみを観察でき、さまざまな創造的な手法を使用してサンプルのエラー率を推定しようとします。

今、あなたはやる、それを知っている理論的に、少なくとも、このエラー率は、バイアスと分散項に分解することができますが、直接、任意の特定の具体的な状況でこのバランスを観察することはできません。だから、私はあなたの観察を次のように少し言い直します：

• バイアス項がサンプル誤差の大半を占める場合、モデルはデータに適合しません。
• モデルは、分散項がサンプル誤差の大部分を占める場合、データに過剰適合します。

一般的に、モデルバイアスを真に観察することはできないため、確実に知るための実際の方法はありません。それにもかかわらず、ある状況または別の状況にあることを示すさまざまな行動パターンがあります。

• オーバーフィットモデルは、テストデータセットとトレーニングデータセットの適合パフォーマンスが非常に悪い傾向があります。
• アンダーフィットモデルは、テストデータセットとトレーニングデータセットのフィットパフォーマンスが似ている傾向があります。

これらは、モデルの複雑さによるエラー率の有名なプロットに現れるパターンです。これは、統計学習の要素からのものです。

多くの場合、これらのプロットはバイアスと分散曲線でオーバーレイされます。この素敵な博覧会からこれを取りました：

しかし、実際の状況ではこれらの追加曲線を実際に見ることは決してないということを認識することが非常に重要です。

バイアスの図解-おもちゃの例を使用した分散トレードオフ

@Matthew Druryが指摘しているように、現実的な状況では最後のグラフを見ることができませんが、次のおもちゃの例は、それが役立つと思う人に視覚的な解釈と直感を提供するかもしれません。

データセットと仮定

のiidサンプルで構成されるデータセットを考えます$Y$ます

• $Y = sin(\pi x - 0.5) + \epsilon$$\epsilon \sim Uniform(-0.5,0.5)$、または他の言葉で
• $Y = f(x) + \epsilon$

ご了承ください $x$$Y$$Var(Y) = Var(\epsilon) = \frac{1}{12}$

$\hat f(x) = \beta_0 + \beta_1x + \beta_1 x^2 + ... + \beta_px^p$。

さまざまな多項式モデルのあてはめ

直観的には、データセットが明らかに非線形であるため、直線曲線のパフォーマンスが悪いことが予想されます。同様に、非常に高次の多項式を当てはめるのは過剰かもしれません。この直観は、以下のグラフに反映されており、さまざまなモデルと、列車および試験データの対応する平均二乗誤差を示しています。

上記のグラフは、単一のトレイン/テストの分割に対して機能しますが、それが一般化されているかどうかをどのようにして知ることができますか？

予想される列車の推定とMSEのテスト

ここには多くのオプションがありますが、1つのアプローチは、トレーニング/テスト間でデータをランダムに分割することです。指定された分割にモデルを適合させ、この実験を何度も繰り返します。結果のMSEをプロットでき、平均は予想される誤差の推定値です。

テストMSEが、データの異なるトレイン/テスト分割に対して大きく変動することを見るのは興味深いです。しかし、十分な数の実験で平均を取ることで、より良い自信が得られます。

の分散を示す灰色の点線に注意してください $Y$最初に計算されます。と思われる平均でテストMSEは、この値を下回ることはありません

 バイアス-分散分解

ここで説明したように、MSEは3つの主要なコンポーネントに分類できます。

$$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + Bias^2[\hat f] + Var[\hat f]$$ $$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2$$

おもちゃの場合：

• $f$ 初期データセットから知られている
• $\sigma^2_\epsilon$ の均一分布から知られています $\epsilon$
• $E[\hat f]$ 上記のように計算できます
• $\hat f$ 淡色の線に対応
• $E\left[ \hat f - E[ \hat f] \right]^2$ 平均を取ることで推定できます

次の関係を与える

注：上記のグラフでは、トレーニングデータを使用してモデルを近似し、train + testでMSEを計算します。