さまざまなAIC定義

12

ウィキペディアから、赤池の情報量基準（AIC）の定義がとしてあり。ここで、はパラメーターの数、はモデルの対数尤度です。 $AIC = 2k -2 \log L$ $k$ $\log L$

しかし、私たちの計量経済学は、尊敬されている大学で、述べてい。ここで、はARMAモデルの誤差の推定分散であり、は時系列データセットの観測値の数です。 $AIC = \log (\hat{\sigma}^2) + \frac{2 \cdot k}{T}$ $\hat{\sigma}^2$ $T$

後者の定義は最初の定義と同等ですが、単にARMAモデル用に調整されていますか？または、2つの定義の間に何らかの矛盾がありますか？

— pir
ソース

3

レコードの場合：基準が単数、基準が複数。（適宜編集）

— ニックコックス

15

メモから引用する式は、正確にはAICではありません。

AICは $-2\log\mathcal{L}+2k$ です。

ここでは、何が起こっているかを十分に明らかにするおおよその導出の概要を示します。

一定の分散を持つ独立した正規誤差を持つモデルがある場合、

L \propto σ^{- n} e^{- \frac{1}{2 σ^{2}} \sum ε_{i}^{2}}

$\mathcal{L}\propto \sigma^{-n} \: e^{-\frac{1}{2\sigma^2}\sum \varepsilon_i^2}$

次のように最尤で推定できます

\begin{array}{rcl} \propto & ({\hat{σ}}^{2})^{- n / 2} e^{- \frac{1}{2} n {\hat{σ}}^{2} / {\hat{σ}}^{2}} \\ \propto & ({\hat{σ}}^{2})^{- n / 2} e^{- \frac{1}{2} n} \\ \propto & ({\hat{σ}}^{2})^{- n / 2} \end{array}

$\begin{eqnarray} & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n\hat{\sigma}^2/\hat{\sigma}^2}\\ & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n}\\ & \propto &(\hat{\sigma}^2)^{-n/2} \end{eqnarray}$

（推定値がML推定値であると仮定） $\sigma^2$

したがって、（定数によるシフトまで） $-2\log\mathcal{L} +2k = n\log{\hat{\sigma}^2} + 2k$

現在、ARMAモデルでは、がおよびと比較して本当に大きい場合、尤度はそのようなガウスフレームワークで近似できます（たとえば、AR回帰モデルとして）、代わりにを使用する： $T$ $p$ $q$ $T$ $n$

$AIC \approx T\log{\hat{\sigma}^2} + 2k$

したがって

$AIC/T \approx \log{\hat{\sigma}^2} + 2k/T$

AICを単純に比較する場合、による除算はAIC値の順序を変更しないため、まったく関係ありません。 $T$

ただし、AICの違いの実際の値に依存する他の目的（BurnhamとAndersonによるマルチモデルの推論など）にAICを使用している場合は重要です。

多くの計量経済学のテキストはこのAIC / T形式を使用しているようです。奇妙なことに、いくつかの本はその形式についてHurvich and Tsai 1989またはFindley 1985を参照しているように見えますが、Hurvich＆TsaiとFindleyは元の形式について議論しているようです（ただし、Findleyが現在行っていることを間接的に示しているだけなので、 Findleyで何か）。

このようなスケーリングはさまざまな理由で行われる可能性があります。たとえば、時系列、特に高周波の時系列は非常に長くなる可能性があり、通常のAICは、特にが非常に小さい場合、扱いにくくなる傾向があります。（他にも考えられる理由がいくつかありますが、これが行われた理由が本当にわからないので、考えられるすべての理由のリストを始めません。） $\sigma^2$

Rob HyndmanのAICの事実と誤 aのリスト、特に項目3〜7をご覧ください。これらの点のいくつかは、ガウス尤度による近似に過度に依存することに少なくとも慎重になるかもしれませんが、ここで提供するよりも正当な理由があるかもしれません。

最近の多くの時系列パッケージはARMAモデルの実際の対数尤度を計算（/最大化）する傾向があるため、実際のAICではなく対数尤度にこの近似を使用する正当な理由があるかどうかはわかりません。使用しない理由はほとんどないようです。

— Glen_b -Reinstate Monica
ソース

1

遅かれ早かれ、* ICについてのすべての議論は「これはあなたが使うべき基準であるが、そういう状況でしばしば間違った答えを与える」ことになる。皮肉なだけで、一般的に役立つ答えにまったく批判的ではありません。これは実際の生活と同じで、誰かがあなたを打ち負かしたり、はぎ取ったりしようとする場合、「みんなを愛する」などの一般的な格言は通常、他のアドバイスによって一時的に上書きされます。

— ニックコックス

1

@Nick私はAIC ではなくAIC /を使用するテキストに悩まされていませんが、私が心配しているのは、私が見た計量経済学の本の多くがコメントなしで単に「AIC」と呼んでいることです。私にはそれはただ無謀で無責任です。最初にそれをしたが、そうではないと言った人は誰でも何度もコピーされました。

n

$n$

— Glen_b -Reinstateモニカ

2

これは通常のエラーの仮定に基づいていると思います。計量経済学では、特にAICを使用する時系列アプリケーションで、漸近線を使用して操作します。結果として、この（漸近的な）モデル選択スキームを正当化するために、通常の仮定が漸近的に保持されるはずです。

通常の尤度の対数はことを思い出してくださいでは、データがXから描画される場合、およびます。以下では、最初の項を無視します。観測されたサンプルは影響しません。 $ln(L) = -(T/2)ln(2\pi) -(T/2)ln(\sigma^2) - (1/2\sigma^2)\sum(x_i - \mu)$ $\mathbb{E}(X) = \mu$ $Var(X) = \sigma^2$ $x_1, ..., x_T$

より一般的な（最初の）数式を使用し、をプラグインして通常の尤度にします。最初の項は無視できます（リグレッサの選択に関係なく定数です）。2番目の項はます。3番目の項は、ここで。繰り返しますが、誤差が正常でない場合、この推定器は漸近的にのみ有効であるため、有限サンプル補正を使用しないことはここで正当化されます。知らないため、3番目の項をとして推定する必要があります。 = T $L$ $Tln(\sigma^2)$ $(1/\sigma^2)(T\hat{\sigma}^2)$ $\hat{\sigma}^2 = T^{-1} \sum(x_i - \bar{x})$ $\sigma^2$ $(1/\sigma^2)(T\hat{\sigma}^2) = (1/\hat{\sigma}^2)(T\hat{\sigma}^2)$

要約すると、これは、という通常の尤度を取得することを意味します。言うまでもなく、最小化は定数無視しても影響を受けません。用語は現在、単純で割ってそれは、すべての添加剤成分をスケールするために最小化問題を変更しないことから、。とは最小化のために同一であるため、これにより2番目の結果が得られます。 $AIC = 2k + Tln(\sigma^2) + 1$ $1$ $T$ $T$ $AIC$ $AIC/T$

— ジェレミアスK
ソース