ストーリー:
おばあちゃんは歩きますが、登りません。おばあちゃんもいます。おばあちゃんはキリマンジャロに登ることで有名でした。
その休火山は大きい。基部から16,000フィート上にあります。(私の帝国部隊を嫌いにしないでください。)また、氷河が上部にあることもあります。
氷河のない年に登って頂上に着いた場合、それは氷河があったかのように頂上と同じですか?高度が異なります。あなたがとらなければならない道は異なります。氷河の厚さが大きいときに上に行くとどうなりますか?それはより多くの成果をもたらしますか?毎年約35,000人が登ろうとしますが、成功するのは約16,000人だけです。
アプリケーション:
次のように、おばあちゃんに重みの制御(モデルの複雑さを最小化する)を説明します
おばあちゃん、あなたの脳はあなたがそれを知っているかどうかにかかわらず驚くべき思想家です。16,000人のうち、彼らが実際にトップに達したと思う人の数を尋ねると、「全員」と言うでしょう。
30,000人の登山者全員の靴にセンサーを取り付けて、海抜からの高さを測定すると、一部の人々は他の人々ほど高くならず、資格が得られない可能性があります。私がそれをするとき、私は一定のモデルに行きます-私は、高さが測定された最大の高さのあるパーセンタイルに等しくないならば、それが最上部ではないと言っています。一部の人々はトップにジャンプします。一部の人々はただ列を横切って座っています。
センサーに緯度と経度を追加し、いくつかの高次方程式を当てはめることができたかもしれませんし、より良い適合を得て、より多くの人を入れることができたかもしれません。
それで、いくつかの火山が実際に地球のアルベドを変えるので、来年は「大きな氷河」年または「氷河なし」年であるとしましょう。今年から複雑で厳格なモデルを採用し、来年登山する人々に適用すると、このモデルは奇妙な結果をもたらすでしょう。たぶん誰もが「パス」するか、パスするには高すぎます。たぶん誰も通らないだろうし、誰も実際に登りきったとは思わないだろう。特に、モデルが複雑な場合、一般化がうまく行われない傾向があります。今年の「トレーニング」データに正確に適合する可能性がありますが、新しいデータが来たときの動作は不十分です。
考察:
モデルの複雑さを制限する場合、通常、過剰適合なしでより一般化することができます。より単純なモデルを使用すると、実世界の変動に対応するように構築されたモデルの方が、他のすべてが同じであれば、より良い結果が得られる傾向があります。
これでネットワークトポロジが固定されたので、「私のパラメーターカウントは固定されています」と言っていることになります。モデルの複雑さを変えることはできません。ナンセンス。重みのエントロピーを測定します。エントロピーが高い場合、いくつかの係数が他の係数よりもかなり多くの「情報量」を保持していることを意味します。エントロピーが非常に低い場合、一般的に係数は同様のレベルの「情報性」を持っていることを意味します。情報提供は必ずしも良いことではありません。民主主義では、すべての人が平等であることを望みます。ジョージオーウェルのような「他の人よりも平等」は、システムの失敗の尺度です。それに大きな理由がない場合は、重みを互いにほぼ同じにする必要があります。
個人的な注意:ブードゥー教やヒューリスティックを使用する代わりに、信頼できる一貫した結果を得ることができるため、「情報基準」のようなものを好みます。 AIC、AICc、およびBICは、一般的で便利な出発点です。分析を繰り返してソリューションの安定性、または情報基準の結果の範囲を決定することは、一般的なアプローチです。重みのエントロピーに上限を設けることが考えられます。