AIC値の解釈

私がロジスティックモデルで見た典型的なAICの値は、数千、少なくとも数百です。例：http: //www.r-bloggers.com/how-to-perform-a-logistic-regression-in-r/では、AICは727.39です。

AICはモデルを比較するためだけに使用するべきだと常に言われていますが、特定のAIC値の意味を理解したいと思いました。式に従って、 $AIC= -2 \log(L)+ 2K$

ここで、L = MLE推定器からの最尤、Kはパラメーターの数

上記の例では、K = 8

だから、単純な算術で：

727.9 = -2*log(L)+ 2*8
Hence, 711.39 = -2*log(L)
Hence, log (L)= 711.39/-2 = -355.695
Hence, L = exp(-355.695) = 3.3391E-155

したがって、私の理解が正しければ、これはMLEによって識別された関数がデータに適合する可能性です。これは本当に本当に低いようです。

ここで何が欠けていますか？

モデルの「典型的な」または正しい尤度などはありません。AICと同じです。これは、いくつかのパラメーターに対してペナルティが課される負の対数尤度です。AICの値が低いほど「より良い」モデルを示しますが、これはモデルの適合度の相対的な尺度です。これは、モデルの選択に使用されます。つまり、同じデータセットで推定された異なるモデルを比較できます。

「すべてのモデルは間違っているが、一部は有用である」とGEP Boxが言っていることを思い出してください。データに完全に適合するモデルを見つけることは不可能であり、そのようなモデルは多くの場合非常に貧弱で適合しているため、興味はありません。 。その代わり、あなたはあなたが得ることができる最高のもの、最も有用なものを探しています。AICの背後にある一般的な考え方は、パラメーターの数が少ないモデルの方が優れているということです。これは、Occamのかみそりの議論と何らかの形で一貫しており、複雑なモデルよりも単純なモデルを好むというものです。

次の論文を確認できます。

Anderson、D.、＆Burnham、K.（2006）。AICの神話と誤解。

バーナム、KP、およびアンダーソン、DR（2004）。マルチモデル推論。モデル選択におけるAICおよびBICの理解。 Sociological Methods＆Research、33（2）、261-304。

そしてそれらのスレッド：

「可能性」と「確率」の違いは何ですか？

AICまたはBICを優先する理由はありますか？

$R^2$$\chi^2$$\chi^{2} - 2\times$$R^2$$1 - \exp(-\chi^{2} / n)$$R^2$$R^2$

これは本当に本当に低いようです。ここで何が欠けていますか？

対数尤度の使用を含むAICなどの数量は、他のそのような数量と比較してのみ意味があります。尤度関数はスケーリング定数までしか定義されていないため、自由に拡大または縮小できることに注意してください。したがって、対数尤度は位置定数までしか定義されず、自由に上下にシフトできます。これはAICにも当てはまります。この量は対数尤度であり、パラメーター数のペナルティによってシフトされます。そのため、AICはモデルの比較にのみ使用すべきであると言われています。

$n=800$

$\hat{\ell}/n = -0.4449375$$0.6408643$

Rによって報告されたAICを使用して可能性を逆計算すると、可能性が途方もなく低くなることを正しく指摘しました。その理由は、R（AICrepと呼ぶ）によって報告されるAICの値が真のAIC（AICtrue）ではないためです。AICrepとAICtrueは、測定データに依存するが、選択したモデルに依存しない定数によって異なります。したがって、AICrepから逆算された可能性は正しくありません。最適なモデルを選択するのに役立つのは、異なるモデルを使用して同じデータを近似する場合のAIC の違いです。