BICは真のモデルを見つけようとしますか？

この質問は、AICとBICの違いに関するトピックIおよび他の多くのトピックに関する混乱を解決するためのフォローアップまたは試みです。このトピックに関する@Dave Kellenによる非常に良い回答（/stats//a/767/30589）を読んでください：

あなたの質問は、AICとBICが同じ質問に答えようとしていることを意味しますが、これは真実ではありません。AICは、未知の高次元の現実を最も適切に説明するモデルを選択しようとします。これは、現実が考慮されている候補モデルのセットに決して含まれないことを意味します。それどころか、BICは候補のセットの中からTRUEモデルを見つけようとします。研究者が道に沿って構築したモデルの1つで現実が具体化されるという仮定は非常に奇妙です。これは、BICにとって本当の問題です。

以下のコメントで@ gui11aumeが読みました：

（-1）すばらしい説明ですが、私は主張に挑戦したいと思います。@Dave Kellen TRUEモデルがBICのセットのどこにあるべきかという考えをどこで参照してください。この本で著者がこれが事実ではないという説得力のある証拠を与えるので、私はこれについて調査したいと思います。– gui11aume 12年5月27日21:47で

このアサーションはシュワルツ自身（1978）から来ているようですが、アサーションは必要ではありませんでした。 Burnham and Anderson、2004）：

BICの派生は、真のモデルの存在を前提としていますか、より厳密には、BICの使用時に真のモデルがモデルセット内にあると仮定しますか（シュワルツの派生はこれらの条件を指定しました。）...答え...いいえ。つまり、BIC（特定のベイズ積分の近似の基礎として）は、導出の基礎となるモデルが真であると仮定せずに導出できます（たとえば、Cavanaugh and Neath 1999; Burnham and Anderson 2002：293-5を参照）。確かに、BICを適用する際に、モデルセットに完全な現実を表す（存在しない）真のモデルを含める必要はありません。さらに、BICで選択されたモデルのtargbetモデルへの収束（iidサンプルの理想化のもとで）は、そのターゲットモデルが真のデータ生成分布でなければならないことを論理的に意味しません）。

ですから、このテーマについて議論したり、（もっと必要な場合は）何らかの説明をする価値があると思います。現在、私たちが持っているのは、AICとBICの違いに関して非常に高く評価された回答の下での@ gui11aumeからのコメントです（ありがとう！）。

model-selection aic bic

— エロセニン
ソース

質問に焦点を合わせるために、タイトルからAICを削除することができます。正しく理解すれば、この質問は、BICを使用するときに真のモデルを候補セットに含める必要があるかどうかに関するものです。

— ジュホコッカラ16

@JuhoKokkala：同意する。

— エロセニン

私にとって一番重要なことは、ほとんどの実際のアプリケーションでは、BICは不足適合をもたらし、AICは手元にない新しいデータでモデルのパフォーマンスをより正確に評価するということです。ただし、たとえば3つの競合モデル/機能セットから選択する場合、AICまたはBICのどちらを使用しても、結果のモデルはオーバーフィットする可能性があります。AICとBICは、潜在的なモデルの数が少ない場合、またはモデルが少数のパラメーター（ペナルティなど）で接続されている場合に最適に機能します。

— フランクハレル

リファレンスを掘り下げてくれて、@ Erosenninに感謝します。これで、TRUEモデルを含める必要があるという考えがどこから来たのかがわかりました。

— -gui11aume

@FrankHarrell：「実用的なアプリケーション」とはどういう意味ですか？BurnhamとAndersonを正しく理解していれば、データが不足しているとBICが不十分になります。多くのデータがある場合、BICはAICよりも複雑な準真のモデルを実際に選択/検索します。AICとBICには異なる「ターゲットモデル」があります。ある記事/本に私を向けるだけなら、あなたが言っていることを詳しく説明したいと思います。

— エロセニン16

Schwarz（1978）による情報基準は、事後オッズの高いモデル、つまり、等しい事前確率の下でデータが与えられた尤度の高いモデルを漸近的に選択するという特徴を備えて設計されました。だからおおよそ whereは「漸近的に等価」を示し、はデータ与えられたモデルの事後です。この結果がモデル1が真であることにどのように依存するかわかりません（ベイジアンフレームワークに真のモデルさえありますか？）。

\frac{p (M_{1} | y)}{p (M_{2} | y)} > 1 \overset{A}{\sim} S I C (M_{1}) < S I C (M_{2})

$\frac{p(M_1|y)}{p(M_2|y)} > 1 \overset{A}{\sim} SIC(M_1) < SIC(M_2)$

\overset{A}{\sim}

$\overset{A}{\sim}$

p (M_{j} | y)

$p(M_j|y)$

j

$j$

y

$y$

混乱の原因は、SICには、特定の条件下で「真の」モデルがモデルユニバース内にある場合に「真の」モデルを漸近的に選択するという優れた機能があることです。AICとSICはどちらも基準特別な場合ここではパラメーター推定値の対数尤度、はパラメーターの数、はサンプルサイズです。モデルユニバースが線形ガウスモデルで構成されている場合、次が必要であることを示すことができます

I C (k) = - \frac{2}{T} l (\hat{θ}; y) + k g (T)

$IC(k) = -\frac{2}{T} \mathcal{l}(\hat{\theta};y) + k g(T)$

l (\hat{θ}; y)

$\mathcal{l}(\hat{\theta};y)$

\hat{θ}

$\hat{\theta}$

k

$k$

T

$T$

g (T) \to 0 as \infty

$g(T) \to 0 \; \text{as} \;\infty$ ICが、確率1および持つ真のモデルよりも小さいモデルを選択しないようにしますは、ICが確率1の真のモデルよりも大きいモデルを選択しないようにします。我々は、その有するしたがって、SICは両方の条件を満たしますが、AICは最初の条件を満たしますが、2番目の条件は満たしません。これらの機能の非常にアクセスしやすい説明と実際的な意味の説明については、この本の第6章を参照してください。

T g (T) \to \infty as \infty

$Tg(T) \to \infty \; \text{as} \;\infty$

g_{A I C} (T) = \frac{2}{T}, g_{S I C} (T) = \frac{\ln T}{T}

$g_{AIC}(T) = \frac{2}{T},\;\; g_{SIC}(T) = \frac{\ln{T}}{T}$

エリオット・G・アンド・A・ティマーマン（2016年4月）。経済予測。プリンストン大学出版局。

シュワルツ、ギデオン。「モデルの次元の推定。」統計の記録6.2（1978）：461-464。

— マティアス・シュミットブライヒャー
ソース