モデルの洗練を停止するタイミング

私は過去3年間、多くの本から統計を研究してきましたが、このサイトのおかげで多くのことを学びました。それにもかかわらず、1つの基本的な質問が未解決のままです。非常に単純な答えまたは非常に難しい答えを持っているかもしれませんが、統計の深い理解が必要であることは確かです。

モデルをデータに適合させるとき、それが頻繁なアプローチであろうとベイジアンアプローチであろうと、我々はモデルを提案します。ある程度の良さを持つサンプルに適合します。現在手元にあるものと比較して、より良いまたは悪いモデルをいつでも見つけることができます。ある時点で、結論を出したり、母集団パラメーターに一般化したり、信頼区間を報告したり、リスクを計算したりします。AIC、MDLなど、予想されるKL距離を推定するツールを使用している場合でも、絶対ベースでの位置については何も言わず、相対的ベースで推定を改善するだけです。

ここで、モデルを構築するときに任意のデータセットに適用する手順をステップごとに定義したいとします。停止ルールとして何を指定する必要がありますか？少なくとも、客観的な停止点を与えるモデルエラーをバインドできますか（これは、検証サンプルを使用してトレーニングを停止することとは異なります。これは、真のDGPではなく、評価されたモデルクラス内に停止点を与えるためです）。

残念ながら、この質問には良い答えがありません。尤度にペナルティを与えるいくつかの基準（AIC、BICなど）を使用して、絶対誤差、二乗誤差を最小化し、尤度を最大化するという事実に基づいて、最も一般的な選択肢をいくつか選択できます。問題は、これらの基準のどちらも客観的に最適なモデルを選択することはできず、比較した最高のモデルを選択できることです。もう1つの問題は、最適化を行うと、常にローカルな最大値または最小値になる可能性があることです。さらに別の問題は、モデル選択の基準の選択が主観的であることです。多くの場合、あなたは意識的に、または半意識的に、あなたが興味を持っているものを決定し、それに基づいて基準を選択します。用例、AICではなくBICを使用すると、より少ないパラメーターでより節約的なモデルになります。通常、モデリングについては、宇宙に関するいくつかの一般的な結論につながるより節約的なモデルに興味がありますが、予測についてはそうである必要はなく、時にはより複雑なモデルがより良い予測力を持つことができますありません）。さらに他のケースでは、実際の理由でより複雑なモデルが好まれる場合があります。たとえば、MCMCを使用してベイジアンモデルを推定する場合、階層ハイパープライアを使用したモデルは、単純なモデルよりもシミュレーションで優れた動作をすることができます。一方、一般的には過剰適合を恐れていますそして、より単純なモデルは過剰適合のリスクが低いため、より安全な選択です。これの良い例は、自動的に段階的にモデルを選択することです。これは一般に推奨されません。推定値がオーバーフィットおよびバイアスされやすいためです。また、最も単純なモデルが好ましいものであるという哲学的議論、Occamのカミソリもあります。また、ここではさまざまなモデルの比較について説明していることに注意してください。実際の状況では、さまざまな統計ツールを使用してさまざまな結果につながる可能性があるため、方法を選択する追加のレイヤーがあります！

これはすべて、私たちが決して確信できないという悲しい、しかし面白い事実につながります。私たちは不確実性から始め、それに対処するための方法を使用します。これは逆説的かもしれませんが、ことがわかっているため、統計を使用していることを思い出して、世界は不確実で確率的であると信じている（そうでなければ、預言者のキャリアを選択します）。客観的な停止ルールはありません。複数の可能なモデルがありますが、それらはすべて間違っています（決まり文句はごめんなさい！）複雑な（絶えず変化し、確率論的な）現実を単純化しようとするためです。私たちは、それらのいくつかが私たちの目的のために他のものよりも有用であり、時にはそうすることがありますさまざまな目的に役立つさまざまなモデルを見つけます。一番下に移動すると、多くの場合、未知のモデルが作成されます。$\theta$、ほとんどの場合、決して知ることができないか、存在しないことさえあります（人口は$\mu$年齢のため？）。ほとんどのモデルは何ではありません、現実を記述するさえしようと、むしろ抽象化と一般化を提供するため、「正しい」または「正しい」ことはできません。

さらに詳しく調べてみると、現実には「確率」というものは存在しないことがわかります。それは、私たちの周りの不確実性の近似値であり、ファジィ論理などの別の近似方法もあります（Kosko、1993を参照）議論のために）。私たちの方法の基礎となっている非常に基本的なツールや定理でさえも近似値であり、可能なものだけではありません。このような設定では、単純に確信が持てません。

あなたが探している停止規則は、常に問題固有で主観的です。つまり、いわゆる専門的な判断に基づいています。ちなみに、専門家は（で論文や書籍で復活例えば素人よりも自分の判断で、多くの場合ではない、より良い、時には悪化していることを示した研究例がたくさんあるダニエル・カーネマンはしやすいながら）、過信（これは実際にはなぜすべきではないかに関する議論モデルについて「確信する」ことを試みる）。

Kosko、B.（1993）。ファジー思考：ファジーロジックの新しい科学。ニューヨーク：ハイペリオン。

強力なモデルの使用を回避するノンパラメトリック統計と呼ばれるフィールド全体があります。ただし、モデルのフィッティングに関する懸念自体は妥当です。残念ながら、「最適」として広く受け入れられているモデルをフィッティングするための機械的な手順はありません。たとえば、データの尤度を最大化するモデルを定義する場合、経験的分布関数に導かれます。

ただし、通常、有限の第1モーメントと第2モーメントの連続性など、いくつかのバックグラウンドの仮定と制約があります。このような場合の1つのアプローチは、シャノン微分エントロピーなどの尺度を選択し、境界制約を満たす連続分布の空間で最大化することです。

私が指摘したいのは、ECDFをデフォルトにしたくない場合は、データを超えてそこに到達するための前提を追加する必要があり、それは主題の専門知識を必要とし、そして、はい、恐ろしい..... 専門的な判断

だから、モデリングの保証された停止点はありますか...答えはノーです。停止するのに十分な場所はありますか？一般に、はい、しかしそのポイントはデータといくつかの統計的要求以上のものに依存します。通常、さまざまなエラーのリスク、モデルの実装の技術的制限、およびその推定の堅牢性を考慮します。等

@Lucaが指摘したように、モデルのクラス全体でいつでも平均化できますが、正しく指摘したように、それは次のレベルのハイパーパラメーターに問題を押し上げるだけです。残念ながら、私たちは無限の層になったタマネギの中に住んでいるようです...双方向に！