バイアス分散のトレードオフと最適化の手段に関する質問

したがって、たとえば、高いバイアスまたは高い分散によって提示される問題に直面したときに、構築しようとしているモデルをどのように最適化できるかを考えていました。もちろん、正規化パラメーターを使用して満足のいく結果を得ることができますが、正規化に依存せずにこれを実行できるかどうか疑問に思っていました。

bがモデルのバイアス推定量であり、その分散のvである場合、b * vを最小化することは理にかなっていますか？

偏見と変動を最小限に抑える方法はたくさんありますが、人気があるにもかかわらず、常にトレードオフになるとは限りません。

高バイアスの2つの主な理由は、トレーニングフェーズが完了していないため、モデルの容量が不十分であり、十分に適合していないことです。たとえば、非常に複雑な問題（例：画像認識）があり、低容量のモデル（例：線形回帰）を使用する場合、モデルの複雑さを把握できないため、このモデルには大きなバイアスがかかります。問題。

分散が大きい主な理由は、トレーニングセットに適合しすぎていることです。

そうは言っても、MLモデルのバイアスと分散の両方を減らす方法はいくつかあります。たとえば、これを達成する最も簡単な方法は、より多くのデータを取得することです（場合によっては、合成データでも役立ちます）。

私たちが実際に行う傾向があるのは：

• 最初に、トレーニングセットの分散をできるだけ減らすために、モデルの容量を増やします。言い換えれば、モデルをオーバーフィットさせたい（トレーニングセットで0の損失にさえ到達する）。我々は、モデルが持っていることを確認したいので、これが行われ、容量十分のデータを理解するのを。

• 次に、バイアスを減らします。これは、正規化（早期停止、通常のペナルティ、ドロップアウトなど）によって行われます。