時系列モデルで適切な遅延順序を選択するために、情報基準（調整されたはない）が使用されるのはなぜですか？

9

ARMA-GARCHのような時系列モデルでは、モデルの適切なラグまたは順序を選択するために、AIC、BIC、SICなどのさまざまな情報基準が使用されます。

私の質問は非常に単純です、なぜ適切なモデルを選択するために調整されたを使用しないのですか？調整後の値が高くなるモデルを選択できます。調整された両方のために前者PENALIZEモデルにおける説明変数の追加数の情報量基準PENALIZE以降PENALIZE尤度値。 $R^2$ $R^2$ $R^2$ $R^2$

— ニーラジ
ソース

回答（以下）に何か欠けている可能性がありますが、R二乗と調整済みR二乗は、比較的限定されたクラスのOLS推定モデルに適していますが、AIC、BICなどは、より広いクラスの一般化線形に適していますMLまたはバリアントを使用して推定されたモデル。

— マイクハンター

12

少なくとも線形モデル（ARモデルなど）を論じる場合、調整されたとAICはそれほど変わらないと私は主張します。 $R^2$

をに含めるかどうかの質問を検討してください。これは、モデルここで、。私たちは、と言うある真のモデルならば。注意してください。したがって、モデルはネストされます。モデル選択手順は、複数のモデルの中で最ももっともらしいものを選択するデータ依存のルールです。 $X_2$

y = \underset{(n \times K_{1})}{X_{1}} β_{1} + \underset{(n \times K_{2})}{X_{2}} β_{2} + ϵ

$y=\underset{(n\times K_1)}{X_1}\beta_1+\underset{(n\times K_2)}{X_2}\beta_2+\epsilon$

\begin{array}{rcl} M_{1} & : & y = X_{1} β_{1} + u \\ M_{2} & : & y = X_{1} β_{1} + X_{2} β_{2} + u, \end{array}

$\begin{eqnarray*} \mathcal{M}_1&:&y=X_1\beta_1+u\\ \mathcal{M}_2&:&y=X_1\beta_1+X_2\beta_2+u, \end{eqnarray*}$

E (u | X_{1}, X_{2}) = 0

$E(u|X_1,X_2)=0$

M_{2}

$\mathcal{M}_2$

β_{2} \neq 0

$\beta_2\neq0$

M_{1} \subset M_{2}

$\mathcal{M}_1\subset\mathcal{M}_2$

\hat{M}

$\widehat{\mathcal{M}}$

私たちは言うで一貫性のある場合は $\widehat{\mathcal{M}}$

\begin{array}{rcl} lim_{n \to \infty} P (\hat{M} = M_{1} | M_{1}) & = & 1 \\ lim_{n \to \infty} P (\hat{M} = M_{2} | M_{2}) & = & 1 \end{array}

$\begin{eqnarray*} \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_1|\mathcal{M}_1\bigr)&=&1\\ \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_2|\mathcal{M}_2\bigr)&=&1 \end{eqnarray*}$

調整された検討してください。つまり、場合は選択します。単調に減少している、この手順は、最小化と等価である。これは、を最小化することと同じです。十分に大きな場合、後者はとして記述できます where $R^2$ $\mathcal{M}_1$ $\bar{R}^2_1>\bar{R}^2_2$ $\bar{R}^2$ $s^2$ $s^2$ $\log(s^2)$ $n$

\begin{array}{rcl} \log (s^{2}) & = & \log ({\hat{σ}}^{2} \frac{n}{n - K}) \\ = & \log ({\hat{σ}}^{2}) + \log (1 + \frac{K}{n - K}) \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n - K} \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n}, \end{array}

$\begin{eqnarray*} \log(s^2)&=&\log\left(\widehat{\sigma}^2\frac{n}{n-K}\right) \\ &=&\log(\widehat{\sigma}^2)+\log\left(1+\frac{K}{n-K}\right) \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n-K} \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n}, \end{eqnarray*}$

{\hat{σ}}^{2}

$\widehat{\sigma}^2$ エラー分散のML推定量です。したがって、基づくモデル選択は、最小の持つモデルを選択することと漸近的に同等です。この手順には一貫性がありません。

{\bar{R}}^{2}

$\bar{R}^2$

\log ({\hat{σ}}^{2}) + K / n

$\log(\widehat{\sigma}^2)+K/n$

命題：

lim_{n \to \infty} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) < 1

$\lim_{n\rightarrow\infty}P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)<1$

証明：統計は漸近従う線形回帰の場合のLR統計であるため、最後から2番目の行が続きますヌル分布。QED

\begin{array}{rcl} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) & \approx & P (\log (s_{1}^{2}) < \log (s_{2}^{2}) | M_{1}) \\ = & P (n \log (s_{1}^{2}) < n \log (s_{2}^{2}) | M_{1}) \\ \approx & P (n \log ({\hat{σ}}_{1}^{2}) + K_{1} < n \log ({\hat{σ}}_{2}^{2}) + K_{1} + K_{2} | M_{1}) \\ = & P (n [\log ({\hat{σ}}_{1}^{2}) - \log ({\hat{σ}}_{2}^{2})] < K_{2} | M_{1}) \\ \to & P (χ_{K_{2}}^{2} < K_{2}) \\ < & 1, \end{array}

$\begin{eqnarray*} P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)&\approx&P\bigl(\log(s^2_1)<\log(s^2_2)|\mathcal{M}_1\bigr) \\ &=&P\bigl(n\log(s^2_1)<n\log(s^2_2)|\mathcal{M}_1\bigr) \\ &\approx&P(n\log(\widehat{\sigma}^2_1)+K_1<n\log(\widehat{\sigma}^2_2)+K_1+K_2|\mathcal{M}_1) \\ &=&P(n[\log(\widehat{\sigma}^2_1)-\log(\widehat{\sigma}^2_2)]<K_2|\mathcal{M}_1) \\ &\rightarrow&P(\chi^2_{K_2}<K_2) \\ &<&1, \end{eqnarray*}$

χ_{K_{2}}^{2}

$\chi^2_{K_2}$

次に、赤池の基準、検討ししたがって、AICは、追加のリグレッサによって暗示されるSSRの削減と「ペナルティ条件、 "反対方向を指します。したがって、場合は選択し、そうでない場合は選択します。

A I C = \log ({\hat{σ}}^{2}) + 2 \frac{K}{n}

$AIC=\log(\widehat{\sigma}^2)+2\frac{K}{n}$

M_{1}

$\mathcal{M}_1$

A I C_{1} < A I C_{2}

$AIC_1<AIC_2$

M_{2}

$\mathcal{M}_2$

上記の証明を 3行目に続けると、にも一貫性がないことが。したがって、調整されたとは、が真のモデルである場合でも、正の確率で「大きな」モデルを選択します。 $AIC$ $P(n\log(\widehat{\sigma}^2_1)+2K_1<n\log(\widehat{\sigma}^2_2)+2(K_1+K_2)|\mathcal{M}_1)$ $R^2$ $AIC$ $\mathcal{M}_2$ $\mathcal{M}_1$

ただし、AICの複雑さのペナルティは、調整されたのペナルティよりも少し大きいため、過度に選択される可能性は低くなります。そして、それは私の投稿で扱われていない他の優れたプロパティ（検討されているモデルのセットにない場合は、真のモデルへのKLの発散を最小化する）を持っています。 $R^2$

— クリストフ・ハンク
ソース

1

正解：重すぎないが正確です！昨日あったなら、私は投稿しなかったでしょう。

— リチャードハーディ

ARMA-GARCHの場合はどうですか？は、MAとGARCHの用語を選択するときにどのように使用しますか

R_{a d j}^{2}

$R^2_{adj}$

— ザカリーブルーメンフェルド2016

あえて言うつもりはありません。あなたが説明するように、そのようなモデルの適合のためにR2が何を意味するかさえ明確ではありません。

— Christoph Hanck、2016

5

のペナルティは、AICまたはBICが提起するモデル選択の点で優れた特性をもたらしません。のペナルティは、回帰者が実際にモデルに属していない場合、母集団公平な推定量にするのに十分です（Dave Gilesのブログ投稿"In What Sense 「調整された」R-Squared Unbiased？」および「「調整された」決定係数の特性の詳細」）; ただし、は最適なモデルセレクターではありません。 $R^2_{adj}$ $R^2_{adj}$ $R^2_{adj}$ $R^2$ $R^2_{adj}$

（矛盾による証明があるかもしれません：AICがある意味で最適でBICが別の意味で最適であり、がそれらのいずれとも同等でない場合、はどちらでも最適ではありませんこれら二つの感覚の。） $R^2_{adj}$ $R^2_{adj}$

— リチャードハーディ
ソース

が増加する前にいくつのGARCHパラメータを追加する必要がありますか？：）....（MAモデルのように）相関誤差の仮定についても同様の議論ができると思います。GLSモデルは、通常の最小二乗法の残差の二乗和を減らしません。MAとGARCHの両方で、パラメータ（説明変数ではなく、が調整される）がモデルに追加されます。MAおよびGARCHパラメーターは、を削減するために追加されるのではなく、可能性を高めるために追加されたり、iidエラー項の欠如を反映するために2乗残差の加重和を減らしたりします。

R^{2}

$R^2$

R^{2} a d j

$R^2{adj}$

S S R

$SSR$

— ザカリーブルーメンフェルド2016

これは実際に元の投稿または私の答えを扱っていますか？いずれにしても、私はあなたの主張に同意します。

— リチャードハーディ

私は何を指摘しようとしていたことである本当にそれがの割合に基づいているので、（あまりにも、おそらくMAコンポーネント）GARCHコンポーネント時に選択するために使用することはできませんオーバー推定量をバイアスされていますエラー項がiidではない場合の分散（これはあなたが話しているバイアスの特定のケースです）。ARMA-GARCHの場合、たとえが増加しないため、データに確率論的ボラティリティがあったとしても、GARCHコンポーネントを含むモデルを選択することはありません。基本的に、私は具体的な例を挙げようとすることであなたに同意します。

R_{a d j}^{2}

$R^2_{adj}$

S S T - S S R

$SST-SSR$

S S T

$SST$

R^{2}

$R^2$

— ザカリーブルーメンフェルド2016