節約は本当にゴールドスタンダードである必要がありますか？

ちょっとした考え：

控えめなモデルは常にモデル選択のデフォルトの対象でしたが、このアプローチはどの程度古くなっていますか？私たちのpar約傾向が、アバチとスライドのルール（または、もっと真剣に、非近代的なコンピューター）の時代の遺物であることに興味があります。今日の計算能力により、予測能力がさらに向上し、ますます複雑化するモデルを構築できます。この計算能力の上限の増加の結果として、私たちは本当に単純さに引き寄せられる必要があるのでしょうか？

確かに、より単純なモデルは理解と解釈が容易ですが、変数の数が増え、予測機能に重点が置かれるようになりつつあるデータセットが増え続ける時代には、これはもはや達成できず、必要もありません。

考え？

@Mattの元の答えは、par約の利点の1つを説明するのに非常に役立ちますが、実際にあなたの質問に答えるとは思いません。現実には、節約は金本位ではありません。今ではなく、かつてない。節約に関連する「ゴールドスタンダード」は一般化エラーです。過剰適合しないモデルを開発したいと思います。それは、サンプル内の予測と同じように（または、解釈可能であるか、最小限のエラーで）サンプル内と同じくらい便利です。（上記の理由により）節約は実際には一般化エラーの非常に優れたプロキシですが、決して唯一のものではありません。

実際、相互検証、ブートストラップ、またはトレーニング/テストセットを使用する理由を考えてください。目標は、一般化の精度が高いモデルを作成することです。多くの場合、サンプルパフォーマンスからこれらの方法を推定する方法は、必ずしも複雑ではないが常にそうではないモデルを選択することになります。極端な例として、オラクルが私たちに真であるが非常に複雑なモデルと貧弱でありながらpar約的なモデルを手渡していると想像してください。節約が本当に私たちの目標だった場合、2つ目を選択しますが、実際には、1つ目は、できれば学びたいことです。残念ながら、最後の文は多くの場合、「できれば」キッカーです。

コンピューティング要件だけでなく、一般化パフォーマンスのためにも、節約的なモデルが望ましいです。サンプル空間を完全かつ正確にカバーする無限のデータの理想を達成することは不可能です。つまり、非par約モデルは、サンプル母集団のノイズや特異性を過剰適合させ、モデル化する可​​能性があります。

数百万の変数でモデルを構築することは確かに可能ですが、システムをモデル化するために出力に影響を与えない変数を使用することになります。トレーニングデータセットで優れた予測パフォーマンスを達成できますが、これらの無関係な変数は、目に見えないテストセットでのパフォーマンスを低下させる可能性が高くなります。

出力変数が本当に100万個の入力変数の結果である場合、十分なデータがある場合にのみ、それらをすべて予測モデルに入れることをお勧めします。このサイズのモデルを正確に構築するには、少なくとも数百万のデータポイントが必要です。多くの実世界のシステムでは、このサイズのデータ​​セットが利用できないだけであり、さらに、出力は比較的少数の変数によって大部分が決定されるため、Par約モデルは素晴らしいです。

以前の回答は重要なポイントを作るのに良い仕事をしていると思います：

• Par約モデルの方が一般化特性が優れている傾向があります。
• Par約は真のゴールドスタンダードではなく、単なる考慮事項です。

私は日々の仕事の経験から出てくるいくつかのコメントを追加したいと思います。

予測精度の議論の一般化はもちろん強力ですが、その焦点には学問的に偏っています。一般に、統計モデルを作成するとき、経済は予測性能が完全に支配的な考慮事項であるほどではありません。非常に多くの場合、特定のアプリケーションにとって有用なモデルがどのように見えるかについて、大きな外部制約があります。

• モデルは、既存のフレームワークまたはシステム内で実装可能でなければなりません。
• モデルは理解可能でなければなりません非技術的なエンティティによって。
• モデルは効率的でなければなりません計算。
• モデルは文書化可能でなければなりません。
• モデルは規制上の制約に合格する必要があります。

実際のアプリケーションドメインでは、これらの考慮事項のすべてではないにしても多くが予測パフォーマンスの前ではなく後であり、モデルの形式とパラメーターの最適化はこれらの要望によって制約されています。これらの各制約は、科学者をthe約に偏らせます。

多くのドメインで、これらの制約が徐々に解除されているのは事実かもしれません。しかし、それらを無視するのは、純粋に一般化エラーを最小限に抑えることに焦点を当てているのは、実に幸運な科学者です。

これは初めての科学者にとって非常にイライラする可能性があります（学校から離れたばかりです）しかし、結局のところ、受け入れられない製品を生産するために一生懸命働くことは無駄であり、それはあなたの科学的誇りに刺されるよりも悪いと感じます。

これは非常に良い質問だと思います。私の意見では、節約は過大評価されています。自然がpar約することはめったにないので、正確な予測モデルまたは記述モデルがそうであると必ずしも期待するべきではありません。解釈可能性の問題に関して、単に理解できるという理由だけで現実に適度にのみ適合する単純なモデルを選択した場合、正確に何を理解していますか？より複雑なモデルの方が予測力が優れていると仮定すると、とにかく実際の事実に近いように見えます。

節約は黄金の始まりではありません。モデリングの側面です。モデリングと特に予測はスクリプト化できません。つまり、モデラーにスクリプトを渡して従うことはできません。むしろ、モデリングプロセスの基礎となる原則を定義します。したがって、節約はこれらの原則の1つであり、その適用をスクリプト化することはできません（繰り返します！）。モデラーは、モデルを選択するときに複雑さを考慮します。

計算力はこれとはほとんど関係ありません。あなたが業界にいるなら、あなたのモデルはあなたがそれらを呼ぶ誰でも、ビジネスの人々、製品の人々によって消費されます。あなたは彼らにあなたのモデルを説明しなければなりません。控えめなモデルを持つことは、この点で役立ちます。

たとえば、製品の売上を予測しています。セールスの推進要因は何か、どのように機能するかを説明できる必要があります。これらは、ビジネスが運営する概念と相関関係に関連している必要があります理解し、受け入れなければなりません。複雑なモデルでは、モデルの結果を解釈したり、差異を実績と関連付けることは非常に困難です。モデルをビジネスに説明できない場合、それによって評価されません。

予測にとって特に重要なもう1つのこと。モデルがN個の外生変数に依存しているとします。つまり、従属変数を予測するには、まずこれらの変数の予測を取得する必要があります。Nを小さくすると、生活が楽になります。そのため、単純なモデルを使用する方が簡単です。

おそらく、昨日セレンディピティによってのみ発見された概念である赤池情報量基準のレビューがあるでしょう。AICは、基本的なOccamのカミソリ、またはpar約アプローチではなく、現在の観測の最良の説明であるモデルとパラメーターの数を特定しようとします。