平均二乗誤差=分散+バイアス^ 2の場合。次に、平均二乗誤差を分散よりも低くする方法はありますか

統計学習入門を読んでいました。ここではそれが示されています：-

後の例では、トレーニングとテストのMSEがプロットされています。バイアス^ 2と分散の両方が正の量である場合、MSEを分散よりも低くする方法を知りたいと思いました。

それはオーバーフィッティングと呼ばれています。トレーニングデータの見かけの MSEは分散よりも低くなっていますが、これはモデルを過度に複雑にして、ランダムな変動による個々のデータポイント（「追跡ノイズ」）を追跡できるようにすることによってのみ達成されました。新しいデータで予測しようとすると、MSEはさらに悪化します。つまり、モデルからの予測の実際のMSEは分散よりも低くなりません。

質問で再現された式は正確であり、したがって「分散よりも低いMSE」と互換性がありません。提供されたグラフで「分散よりも小さいMSE」が観察された（最小のMSEがモデルの分散であると仮定する）と述べた場合、それはモデルに対する期待である理論的な量ではなく、経験的な MSEと分散を考慮するためです。分布。

MSEよりも分散が大きい場合があると思われるようですが、どう見ているのかは明確ではありません。機械学習では、YはXの関数にランダムな誤差項を加えたものに等しくなるようにモデル化されます。このエラーは、この例のように、多くの場合イプシロンで表されます。$\epsilon$。このモデルでは、YのXに対する「実際の」依存性に等しい推定関数は、MSEの分散に等しくなります。$\epsilon$。「実際の」依存関係以外の推定量は、次の分散に等しいMSEを持ちます。$\epsilon$に加えて、「実際の」依存関係と使用された推定量の間の差異。したがって、推定量のMSEは分散以上になります$\underline{\text{of }}\underline{\epsilon}$。それは可能であり、まともな推定量は分散よりも小さくなります$\underline{\text{of Y}}$。推定量のMSEがYの分散より大きい場合は、Xを完全に無視して、YがYの平均と等しくなると予測するだけで、より優れた推定量が得られます。