AICに関してモデルの互換性を損なうものは何ですか？

同じデータセットからの予測子（および応答変数）を使用していくつかのモデルを適合させたとします。

モデルにどのような変更を加えると、AICに基づいてモデルを比較するのが不合理になりますか？

1）従属変数をログ変換するとしたら、それを変換がなかったモデルと比較するのは公平ですか？

2）モデルから予測変数を削除する場合、すべての予測変数が追加されたモデルと比較できますか？

3）2つのglmを2つの異なるファミリに適合させる場合でも、AICに基づいてそれらを比較できますか？異なるリンク機能についてはどうですか？

ご協力ありがとうございます。

サンプル 2つのモデルとがある場合、モデルが適切であれば、AICを使用してそれらを比較できます。もちろん、これはAICが漸近的な結果に基づいているため、競合他社の中で真実に最も近いモデルを選択することを意味するものではありません。極端なシナリオで、2つのモデルを比較するとします。1つは1つのパラメーターを使用し、もう1つは100のパラメーターを使用します。サンプルサイズは$M_1$$M_2$$(y_1,\dots,y_n)$$101$。次に、100個のパラメーターを持つモデルの推定では精度が非常に低くなることが予想されますが、1つのパラメーターを持つモデルでは、パラメーターが正確に推定される可能性があります。これは、尤度推定量の収束率が大きく異なるモデルを比較するためにAICを使用することに対する反対意見の1つです。これは、パラメーターの数が同じモデルでも発生する可能性があります。

1. はい。AICを使用して2つのモデルを比較できます。モデルが意味をなす限り、モデルの 1つで応答変数を変換します。ただし、これは常に当てはまるわけではありません。線形モデルがある場合

$$y_i = x_i^T\beta + e_i,$$ ここで、これは変数が任意の実数値を取ることができることを意味します。したがって、サンプルに正の値しか含まれていない場合でも、対数変換は理論的な観点からは意味がありません。$e_i\sim N(0,\sigma)$$y_i$

2. これは、段階的AIC変数選択と呼ばれます。すでにRコマンドで実装されていstepAIC()ます。

3. 繰り返しますが、そのようなモデルでデータをモデル化することが理にかなっている限り。

AICの使用に関するいくつかの興味深い議論はここにあります：

AICの神話と誤解