エラー指標としてのエントロピーがなぜ過剰適合につながるのですか？

ジョン・ラングフォードの投稿を引用したKDnuggetsに関するこの投稿は、エラーの指標として使用するとエントロピーと相互情報が過剰適合につながる可能性があると述べています。これについて詳しく説明していただけますか？

システムの複雑さに不利にならないエラー測定は、エントロピーなどの過剰適合につながる可能性があります。

あなたが新しいデータにも一般化したいモデルにあなたのトレーニングデータをフィットする際、一般的には、このトレーニングステップは、いくつかのエラー対策を最小化することによって達成される、あなたのパラメータに、多くのもののうち、依存するそのベクトル（トレーニング中に適合されるすべてのモデルパラメータで構成されます）。$E (w)$$w$

エラーメジャーがトレーニングデータのフィッティングをますます重視する場合、モデルが非常に柔軟でトレーニングデータが完全である可能性があるため、膨大な数のパラメーター（追加で任意の値をとることがある）でモデルを構築するのが良い場合があります。学んだ。一方、トレーニングデータにノイズが多い場合（通常はそうです）、この方法でモデルをノイズに適合させることができます。これがオーバーフィッティングの目的です。

これを回避するための手法があり、これらはまとめて「正則化」手法と呼ばれ、最も一般的なものは誤差関数に正則化項を追加するため、。は、適合度（エントロピーなど）を測定するエラーであり、は、複雑なモデル（多くのパラメーターまたは大きなパラメーター値を持つモデルの場合）のです。$E (w) = E_D (w) + E_W (w)$$E_D$$E_W$