2つのネストされていないモデルのAICの違いのテスト

AICまたはその他の情報基準の要点は、少ないほど良いということです。2つのモデルM1がある場合：y = a0 + XA + eおよびM2：y = b0 + ZB + uで、最初の（A1）のAICが2番目の（A2）のAICより小さい場合、M1は情報理論の観点からはより適切です。しかし、差異A1-A2のカットオフベンチマークはありますか？実際にはどれくらい少ないですか？言い換えれば、（A1-A2）の目玉検査以外のテストはありますか？

編集：Peter / Dmitrij ...ご返信いただきありがとうございます。実際、これは私の実質的な専門知識が私の統計的な専門知識と矛盾している場合です。本質的に、問題は2つのモデルから選択するのではなく、ほぼ同等であることがわかっている2つの変数が同じ量の情報を追加するかどうかを確認することです（実際、最初のモデルの1つの変数と2番目のモデルのベクトル。それらのインデックスに対する変数の束。）。Dmitrijが指摘したように、最善の策はCox Testのようです。しかし、2つのモデルの情報内容の違いを実際にテストする方法はありますか？

regression aic

— user3671
ソース

また、Wagonmakers et alをチェックすることもできます。（2004）。パラメトリックブートストラップを使用したモデルの模倣の評価。Journal of Mathematical Psychology、48、28-50。（pdf）。

— GUNG -復活モニカ

回答:

好奇心の問題、つまりここでの私の答えに満足していないのですか？そうでない場合...

このトリッキーな質問の更なる調査がで状態2つのモデルが区別できないことを、経験則一般的に使用されるが存在しないことが示された差があれば基準。Wikipediaのに関する記事で実際に読んでいるのと同じです（リンクはクリック可能です！）。リンクをクリックしない人だけのために： $AIC$ $|AIC_1 - AIC_2| < 2$ $AIC$

は、モデルの相対的サポートを推定します。これを実際に適用するには、一連の候補モデルから始めて、モデルの対応する値見つけます。次に、最小値特定します。モデルの選択は、次のように行うことができます。 $AIC$ $AIC$ $AIC$

親指の大まかな原則として、それらを有するモデル内部に最小のは、実質的な支持を持っていると推論を行う際に考慮を受信します。それら有するモデル約内それらを搭載したモデルながら、最小のは、かなり少ないサポートがの最小上記のいずれか本質的にサポートしておらず、さらなる考慮から省略又は少なくともいくつかを説明するために失敗するかもしれませんデータの実質的な構造的変動。 $AIC$ $1–2$ $AIC$ $4–7$ $AIC > 10$

より一般的なアプローチは次のとおりです...

候補モデルの値を、、ます。ましょこれらの値の最小値を表します。その後、 $AIC$ $AIC1$ $AIC2, AIC3, \ldots, AICR$ $AICmin$ $e^{(AICmin−AICi)/2}$ 番目のモデルが（予想される）情報損失を最小化する相対確率として解釈できます。 $i$

例として、候補セットに、、および値を持つ3つのモデルがあると仮定します。次に、2番目のモデルは情報損失を最小化するために最初のモデルの倍であり、3番目のモデルは倍です情報の損失を最小限に抑えるための最初のモデルと同じように。この場合、3番目のモデルを今後の検討から省略し、最初の2つのモデルの重み付き平均（それぞれ重みおよび）を取得します。統計的推論は、加重マルチモデルに基づいています。 $AIC$ $100$ $102$ $110$ $e^{(100−102)/2} = 0.368$ $e^{(100−110)/2} = 0.007$ $1$ $0.368$

私の意見では、素晴らしい説明と役に立つ提案です。クリック可能なものを読むことを恐れないでください！

加え、メモもう一度、大規模なデータセットにはあまり好適です。加えて、基準バイアス補正バージョンを適用すると役立つ場合があります（このコードを使用するか、式。ここで、は推定パラメータの数です）。ただし、経験則は同じです。 $AIC$ $BIC$ $AIC$ $AICc$ R $AICc = AIC + \frac{2p(p+1)}{n-p-1}$ $p$

— ドミトリー・チェロフ
ソース

こんにちはDmitrij ...私はあなたがこれを見つけることを知っていました。実際、元の質問に対するあなたの応答は、この列車のローリングを設定しました。これは、興味深いスタンドアロンの質問になると思いました。私が取り組んでいる問題は、統計テスト（Coxのテストを含む）が頻繁に行われるため、事前定義された有意水準で2つのモデルの違いをテストできることです。しかし、AIC / BICは尤度ベースであり、あなたが指摘しているように、経験則を除いて、数値を直接比較することはできないようです。ICの尺度はスケールに依存するため、絶対値（2）は問題になる可能性がありますか？

— user3671

@ user、の絶対値は問題ありません。相対確率の提案に行くかもしれませんので、おそらく良い値よりもこれに自信があるでしょう。スケール効果判定基準は以下の小さなサンプルにバイアスされ、大規模で一貫されたとき、あなたはどういう意味ですか？代わりに一貫したを試してみてください。小さなサンプル用のも良い選択肢になります。経験則はまだ使用可能です。

2

$2$

2

$2$

B I C

$BIC$

A I C c

$AICc$

— ドミトリーチェロフ

@DmitrijCelov（+1時間前）いい答えです-テキストを貼り付けてくれてありがとう。Wikipediaは最初の2つの段落でカバーされていないので。削除された段落はpとして引用されました。446：

Burnham, K. P., and Anderson, D.R. (2002). Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, 2nd ed. Springer-Verlag. ISBN 0-387-95364-7.

改訂前のWikiページはこちら

— James Stanley

Burnhamの本を読んでいないことに注意してください。また、Wikiの古いリファレンスでは、引用されたテキストは言い換えであると示唆しています。参考までに、Wikiページは2011

— ジェームズスタンリー

このフォローアップの質問に役立つかもしれませんか？stats.stackexchange.com/questions/349883/…–

— Tripartio

これは、あなたが本当に欲しくないものを手に入れる試みかもしれないと思います。

モデルの選択は科学ではありません。まれな状況を除いて、完璧なモデルは存在せず、「真の」モデルさえ存在しません。1つの「最高の」モデルさえ存在することはめったにありません。AIC vs. AICc vs BIC vs. SBC vs.何でも議論して、私はいくぶん黒字になります。アイデアはいくつかの良いモデルを取得することだと思います。次に、実質的な専門知識と統計的アイデアの組み合わせに基づいて、それらの中から選択します。実質的な専門知識がない場合（ほとんどの場合、ほとんどの人が思っているよりもはるかにまれです）、最も低いAIC（またはAICcなど）を選択してください。しかし、通常はある程度の専門知識を持っています-それ以外の場合、これらの特定の変数を調査する理由は何ですか？

— ピーター・フロム-モニカの復職
ソース

+1統計と実質的な専門知識の両方の必要性を強調したため。

— chl