AICを使用してモデル選択を適用すると、変数の有意でないp値が得られる理由


14

AICについて質問がありますので、ご協力ください。データのAICに基づいて、モデルの選択(逆方向または順方向)を適用しました。また、選択した変数の一部は、p値が0.05を超えました。私は人々がp値の代わりにAICに基づいてモデルを選択すべきだと言っていることを知っているので、AICとp値は2つの異なる概念であるようです。誰かが違いを教えてもらえますか?私がこれまでのところ理解しているのは、それです:

  1. AICを使用した後方選択の場合、3つの変数(var1、var2、var3)があり、このモデルのAICはAIC *であるとします。これらの3つの変数のいずれか1つを除外しても、AIC *(df = 1のch-square分布に関して)より大幅に低いAICにならない場合、これら3つの変数が最終結果であると言えます。

  2. 3変数モデルの変数(var1など)の重要なp値は、その変数の標準化された効果サイズが0(Waldまたはt検定による)とは大きく異なることを意味します。

これら2つの方法の基本的な違いは何ですか?最良のモデル(AICで取得)に有意でないp値を持つ変数がある場合、どのように解釈すればよいですか?

回答:


13

AICとそのバリアントは、各リグレッサーのp値のバリエーションに近いです。より正確には、それらは対数尤度のペナルティを受けたバージョンです。R2

カイ2乗を使用してAICの違いをテストする必要はありません。カイ2乗を使用して対数尤度の違いをテストできます(モデルがネストされている場合)。AICの場合、低いほうが優れています(とにかく、ほとんどの実装では)。それ以上の調整は必要ありません。

可能な場合は、自動化されたモデル選択方法を避けたいと思います。使用する必要がある場合は、LASSOまたはLARを試してください。


2
答えてくれてありがとう。はい、あなたは正しいです。AICはテストを適用せず、代わりに-2 * loglikelihoodに2 * number_of_parametersを追加することにより、モデルがサンプルにどれだけ適合しているか、モデルを単純に保つことができるかどうかの簡単な尺度を提供します。たぶん、これは選択されたモデルに有意でないp値を持つ変数が保持された理由を説明していますか?
tiantianchen

ほぼ同一のAICを持つ2つのモデルがある場合、どちらのモデルを選択する必要がありますか?
アグスカマチョ

どちらでもいいです。
ピーターフロム-モニカの復職

11

χ12

そのため、p値により小さいカットオフを使用する場合と、そのカットオフよりも高いp値を持つ変数が含まれることがあるのを比較しても驚くことではありません。


Wal chi-squareを介したAICとp値の間の接続のURLまたは参照を教えてもらえますか?ありがとう。
まあまあ

これは、2の値を臨界値として使用すると比較的簡単にわかります。これは、15.73%のp値のしきい値に対応します(線形回帰を使用した段階的選択の場合のように、テストの自由度が1の場合)モデルと連続変数)。これは1-chi2cdf(2,1)として計算できます。
ジョージ

@aginensky接続は簡単ですが、実際の参照はありません。1つをグーグルで検索できると思います。
Glen_b -Reinstateモニカ

@aginensky Lindsey、JK&Jones、B.(1998)医療データに適用される一般化線形モデルの中から選択。医学統計、17、59-68。... 62ページの中央を参照してください。他にもあります。
Glen_b -Reinstateモニカ

@ Glen_b-ありがとう、私はそのようなものを見たことがありませんでした。
MEH

9

p値もAICも段階的モデル選択用に設計されていないことに注意してください。実際、段階的回帰の最初のステップの後、両方の基礎となる仮定(ただし、異なる仮定)に違反します。@PeterFlomが言及したように、自動化されたモデル選択の必要性を感じる場合、LASSOおよび/またはLARはより良い代替手段です。これらの方法は、偶然に大きい推定値(偶然に段階的に報酬を与える)を0に戻すため、ステップワイズよりも偏りが少ない傾向があります(残りの偏りはより保守的になる傾向があります)。

しばしば見落とされがちなAICの大きな問題は、AIC値の差の大きさです。「低いほど良い」と思われ、そこで止まるのは一般的なことです(自動化された手順ではこれが強調されます)。2つのモデルを比較していて、それらのAIC値が非常に異なる場合、AICの低いモデルが優先されますが、多くの場合、AIC値が互いに近い2つ(またはそれ以上)のモデルがあります。 AIC値が最小のモデルのみを使用するこの場合、貴重な情報を見逃します(このモデルに含まれる用語と含まれない用語が他の同様のモデルと異なる用語について推測することは、意味がありません。データ自体の外部からの情報(予測変数のセットを収集するのがいかに難しいか高価かなど)により、品質をあまり損なうことなく、AICがわずかに高いモデルを使用することが望ましい場合があります。別のアプローチは、類似モデルの加重平均を使用することです(これにより、リッジ回帰や投げ縄などのペナルティ付きメソッドと同様の最終予測が行われる可能性がありますが、モデルに至る思考プロセスが理解に役立つ場合があります)。


あなたの答えを@GregSnowに感謝します。p値とAICベースのモデル選択の(異なる)仮定は何ですか?双方向(順方向/逆方向)の適用または完全なサブセットの試行により、順方向または逆方向の段階的な選択を使用して単純化するローカル最適モデルを見つける問題を多少解決しますか?(過剰適合の問題は常にAIC / p-valueメソッドに存在し、LASSOおよび/またはLARがより良いオプションですが)
-tiantianchen

p値もAICもモデル選択用に設計されていないため、モデル選択のための仮定はありません。どちらも単一の比較を行うように設計されており、段階的回帰でいくつの比較が行われるかを考えますが、毎回「最良の」ステップが取られると本当に思いますか?
グレッグスノー

@GregSnow。AICを学習するための私の参考文献は、stat.cmu.edu /〜larry / = stat705 / Lecture16.pdfでした。 これは、AICをモデル選択ビジネスに入れているようです。さらに、AICが時系列の有馬モデルで使用されているのを見たときは、常にモデル選択に使用されていました。
まあまあ

@aginensky、はい、AIC(およびその他)はモデルの選択に使用されます。それは、AICがモデル選択のために設計されていること、モデル選択に適切であること、または自動化されたモデル選択が意味のある質問に答えることを意味しません。私は以前にハンマーとしてドライバーを使用しましたが、それが一般的に良いアイデアであることを意味しません。
グレッグスノー

「この論文では、1971年に著者によって導入された情報基準(AIC)を使用して、統計モデル選択の問題を体系的に処理する方法について説明しています」AICがドライバーで最もよく解決される問題で使用されるハンマーである場合でも、ハンマーはこの問題を解決する正しい方法であると、このハンマーの設計者の見解でした。正確または誤って、AICはモデル選択用に設計されました。AICの別の見方を見てうれしいです。これに自由に答えてください、しかし私は終わりました。
まあまあ

1

AICでの私の経験では、変数が重要ではないように見えても、AICが最小のモデルにまだ現れている場合、それらは交絡因子である可能性があります。

交絡を確認することをお勧めします。このような重要でない変数を削除すると、残りの推定係数の磁気が25%以上変化するはずです。


OPが「交絡をチェックできる方法」を説明してください。
ジム

0

MuMInパッケージを使用するのが最良のモデル選択だと思います。これはワンステップの結果であり、最低のAIC値を探す必要はありません。例:

d<-read.csv("datasource")
library(MuMIn)
fit<-glm(y~x1+x2+x3+x4,family=poisson,data=d)
get.models(dredge(fit,rank="AIC"))[1]

2
使用する可能性のあるコードを言うことは、質問に統計的に対処する方法を説明できない限り、実際に質問に答えることではありません。いずれにせよ、特定のソフトウェアに固有の質問はありません。
ニックコックス14
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.