AIC、BIC、CIC、DIC、EIC、FIC、GIC、HIC、IIC —それらを同じ意味で使用できますか?


47

p。彼のPRNNブライアンリプリーの34人は、「AICは赤池(1974)によって「情報基準」と命名されましたが、Aは赤池を表すと一般に信じられているようです」とコメントしています。実際、AIC統計を導入する際、赤池(1974、p.719)は次のように説明しています。

"IC stands for information criterion and A is added so that similar statistics, BIC, DIC
etc may follow".

この引用を1974年の予測として考えると、赤池(1977、1978)とシュワルツ(1978)によって、わずか4年で2種類のBIC統計(ベイジアンIC)が提案されたことに注目することは興味深いです。Spiegelhalterらがかかった。(2002)DIC(Deviance IC)を思い付くまでにはるかに長い。CIC基準の出現は赤池(1974年)によって予測されていませんでしたが、それが決して考慮されなかったと信じることは単純です。2005年にCarlos C. Rodriguezによって提案されました(R. TibshiraniとK. KnightのCIC(共分散インフレーション基準)は異なることに注意してください)。

EIC(経験的IC)が2003年頃にモナッシュ大学の人々によって提案されたことを知っていました。私は、Focused Information Criterion(FIC)を発見しました。一部の書籍では、HannanおよびQuinn ICをHICと呼んでいます。たとえば、これを参照してください)。GIC(Generalized IC)が必要であることは知っていますが、情報投資基準(IIC)を発見しました。NIC、TICなどがあります。

私はおそらくアルファベットの残りをカバーできると思うので、AIC、BIC、CIC、DIC、EIC、FIC、GIC、HIC、IIC、...のシーケンスがどこで停止するか、アルファベットの文字が何であるかを尋ねていません使用されていないか、少なくとも2回使用されていない(たとえば、EICのEは、ExtendedまたはEmpiricalを表します)。私の質問はもっと簡単で、もっと実用的になることを願っています。これらの統計を相互に交換して使用し、それらが導き出された特定の仮定、それらが適用されるはずの特定の状況などを無視できますか?

この質問の一部は、Burnham&Anderson(2001)が次のように書いていることによるものです。

...the comparison of AIC and BIC model selection ought to be based on their performance 
properties such as mean square error for parameter estimation (includes prediction) and 
confidence interval coverage: tapering effects or not, goodness-of-fit issues, 
derivation of theory is irrelevant as it can be frequentist or Bayes. 

Hyndmanらの指数平滑化に関するモノグラフの第7章は、5つの代替IC(AIC、BIC、AICc、HQIC、LEIC)が最適に予測されるモデルを選択する際にどの程度うまく機能するかを調べたときに、BAのアドバイスに従っているようです(測定値として)新しく提案されたMASEと呼ばれる誤差測定)により、AICがより頻繁に優れた代替手段であると結論付けました。(HQICは最高のモデルセレクターとして一度だけ報告されました。)

すべてのICcが暗黙の同等の一連の仮定の下で1つの同じ質問に答えるために導き出されたものとして暗黙のうちに扱う研究演習の有用な目的が何かわかりません。特に、非定常の指数関数のコンテキストでそれを使用することにより、自己回帰の順序を決定するための一貫した基準(エルゴディック定常シーケンスに対して派生したもの)の予測性能を調査することがどのように役立つかわかりません。 Hyndman等によるモノグラフで記述および分析された平滑化モデル。ここに何かが足りませんか?

参照:

赤池、H。(1974)、統計モデル識別の新しい外観、自動制御に関するIEEEトランザクション 19(6)、716-723。

赤池、H。(1977)、エントロピー最大化原理について、PRクリシュナイア編、統計の応用、Vol。27、アムステルダム:北ホラント、pp。27-41。

赤池H.(1978)、最小AIC手順のベイズ分析、統計数学研究所年報 30(1)、9-14。

Burnham、KP&Anderson、DR(2001)生態学的研究における強力な推論の基礎としてのカルバック・ライブラー情報、Wildlife Research 28、111-119

Hyndman、RJ、Koehler、AB、Ord、JK&Snyder、RD 指数平滑法による予測:状態空間アプローチ。ニューヨーク:スプリンガー、2008

リプリー、BD パターン認識およびニューラルネットワーク。ケンブリッジ:ケンブリッジ大学出版局、1996

Schwarz、G.(1978)、モデルの次元の推定、Annals of Statistics 6(2)、461-464。

Spiegelhalter、DJ、Best、NG、Carlin、BPおよびvan der Linde、A。(2002)、モデルの複雑性とtのベイジアン測定(議論あり)、Journal of the Royal Statistical Society。シリーズB(統計手法) 64(4)、583-639。


9
FindleyとParzen(projecteuclid.org/download/pdf_1/euclid.ss/1177010133)との会話の中で、赤池はAICがFORTRANプログラムのアシスタントによって使用されていることを明らかにしました。ICなどの変数名は、デフォルトで暗黙の整数量を意味します。Aのような接頭辞は、量が実数であることをコンパイラーに指示するのに十分でした。「赤池」を意図していないが、彼はそれが単に「an」を意味することにも気づいた。(ちなみに、この参照は、ある誤ったストーリーに対する解毒剤ですが、マローのスペルミスをマローのように永続させます。)
ニックコックス14

この質問は、「アルファベットの実験計画」について考えるようになります:doe.soton.ac.uk/elearning/section3.6.jsp
kjetil b halvorsen

回答:


36

私の理解では、AIC、DIC、およびWAICはすべて同じこと、つまりモデルに関連する予想されるサンプル外逸脱を推定しています。これは、相互検証の推定と同じものです。ゲルマンら。(2013)、彼らはこれを明示的に言う

サンプル外予測誤差を推定する自然な方法はクロスバリデーションです(ベイジアンの観点については、Vehtari and Lampinen、2002を参照)が、クロスバリデーションには繰り返しモデルの適合が必要であるため、常に代替手段が求められてきました。スパースデータで問題が発生します。実用的な理由だけでも、AIC(赤池、1973)、DIC(スピーゲルハルター、ベスト、カーリン、ファンデルリンデ、2002、ファンデルリンデ、2005)、さらに最近ではWAICなどの単純なバイアス補正の場所が残っています。 (Watanabe、2010)、およびこれらはすべて、交差検証のさまざまなバージョンの近似と見なすことができます(Stone、1977)。

BICは、最小の記述の長さに関連する、異なる何かを推定します。ゲルマン等。いう:

BICとその変種は、予測適合の推定ではなく、モデルのもとでデータの限界確率密度p(y)を近似するという目標によって動機付けられているという点で、ここで検討される他の情報基準とは異なります。離散モデル比較の設定で相対事後確率を推定します。

残念ながら、あなたがリストした他の情報基準については何も知りません。

AICのような情報基準を同じ意味で使用できますか?意見は異なる場合がありますが、AIC、DIC、WAIC、および相互検証はすべて同じことを推定することを考えると、そう、それらは多かれ少なかれ互換性があります。上記のように、BICは異なります。他の人については知りません。

なぜ複数あるのですか?

  • AICは、最尤推定値とフラットな事前分布を持っている場合にうまく機能しますが、他のシナリオについては何も言うことはありません。パラメータの数がデータポイントの数に近づくと、ペナルティも小さすぎます。 AICcはこれを過剰に修正します。これはあなたの見方によっては良い場合も悪い場合もあります。

  • モデルの一部が事前分布によって大きく制約されている場合(たとえば、分散成分が推定されるマルチレベルモデルの場合)、DICはより小さなペナルティを使用します。これは、非常に制約されたパラメーターが実際に完全な自由度を構成するものではないため、優れています。残念なことに、通常DICに使用される式は、事後分布が本質的にガウス分布である(つまり、その平均によって明確に記述されている)と想定しているため、状況によっては奇妙な結果(負のペナルティなど)を得る可能性があります。

  • WAICは、DICよりも後方密度全体を効率的に使用するため、Gelman et al。場合によっては計算するのが面倒かもしれませんが、それを好むでしょう。

  • 交差検定は特定の式に依存しませんが、多くのモデルでは計算上法外なものになる可能性があります。

私の見解では、AICのような基準のいずれを使用するかについての決定は、一方が他方よりも優れているという数学的な証拠ではなく、これらの種類の実際的な問題に完全に依存します。

参考文献

ゲルマン等。ベイジアンモデルの予測情報基準を理解する。http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.295.3501&rep=rep1&type=pdfから入手可能


3
参照に加えて、ゲルマン等。ベイジアンモデルの予測情報基準を理解するには、最新の論文Aki Vehtari、Andrew Gelman、Jonah Gabry(2016)も参照してください。leave-one-out交差検証とWAICを使用した実用的なベイジアンモデルの評価。Statistics and Computingで、doi:10.1007 / s11222-016-9696-4。arXivプレプリントarXiv:1507.04544。arxiv.org/abs/1507.04544このペーパーは、多くのモデルで信頼できる交差検証を無視できる時間で計算できることも示しています。
アキヴェタリ

4

「交換可能」という言葉は強すぎる。それらはすべて、モデルを比較して「最適な」モデルを見つけようとする基準ですが、それぞれが「最適」を異なる方法で定義し、異なるモデルを「最適」として識別する場合があります。


0

「国民投票を提案する」。投票するだけです!;-) CAIC(Bozdogan、1987)とBICは個人的な慣習から純粋に好きでした。これらの基準は複雑さに対して深刻なペナルティを与えるため、より多くの節約を得ましたが、常に良いモデルのリストを表示しました-デルタ4-6 -8(2の代わり)。パラメーターを調査するステップでは(「候補モデルの適切なストレッチング」があるため)、MM平均化(B&A)はほとんど変更されません。私は、古典的なAICとAICc(H&T、B&Aによって普及)の両方に少し懐疑的です。なぜなら、それらはしばしば非常に「クリームの厚い層」を与えるからです。;-)

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.