AICまたはp値：モデル選択のためにどれを選択しますか？

私はこのRに関してはまったく新しいのですが、どのモデルを選択すればよいかわかりません。

1. 最も低いAICに基づいて各変数を選択して、段階的な前方回帰を行いました。どのモデルが「ベスト」かわからない3つのモデルを思いつきました。

   Model 1: Var1 (p=0.03) AIC=14.978
   Model 2: Var1 (p=0.09) + Var2 (p=0.199) AIC = 12.543
   Model 3: Var1 (p=0.04) + Var2 (p=0.04) + Var3 (p=0.06) AIC= -17.09
   

   モデル＃3にはAICが最も低く（ネガティブは大丈夫だと聞いた）、p値がまだかなり低いため、モデル＃3を使用する傾向があります。

   Hatchling Massの予測変数として8つの変数を実行しましたが、これら3つの変数が最適な予測変数であることがわかりました。

2. AICが少し大きかったとしても、p値はすべて小さかったため、次の段階的なモデル2を選択しました。これが最高だと思いますか？

   Model 1: Var1 (p=0.321) + Var2 (p=0.162) + Var3 (p=0.163) + Var4 (p=0.222)  AIC = 25.63
   Model 2: Var1 (p=0.131) + Var2 (p=0.009) + Var3 (p=0.0056)                  AIC = 26.518
   Model 3: Var1 (p=0.258) + Var2 (p=0.0254)                                   AIC = 36.905
   

ありがとう！

AICは適合度の尺度であり、モデル内の小さな残留誤差を優先しますが、予測子を追加することでペナルティを与え、過剰適合の回避に役立ちます。2番目のモデルセットでは、モデル1（AICが最も低いモデル）が、データセット外の予測に使用された場合に最高のパフォーマンスを発揮します。Var4をモデル2に追加するとAICが低くなるが、p値が高いのは、Var4がVar1、2、および3とある程度相関しているためであると考えられる説明です。したがって、モデル2の解釈は簡単です。

個々のp値を見ると誤解を招く可能性があります。共線性のある（相関が高い）変数がある場合、大きなp値が得られます。これは、変数が役に立たないという意味ではありません。

簡単な経験則として、AIC基準を使用してモデルを選択する方が、p値を調べるよりも優れています。

AICが最も低いモデルを選択しない理由の1つは、変数とデータポイントの比率が大きい場合です。

モデルの選択と予測の精度は、多少異なる問題であることに注意してください。目標が正確な予測を取得することである場合、トレーニングセットとテストセットでデータを分離することにより、モデルを相互検証することをお勧めします。

変数選択に関する論文：変数選択のための確率的段階的アンサンブル

AICは、一般化エラーの推定に基づいています（マローのCP、BICなど）。予測用のモデルが必要な場合は、これらの基準のいずれかを使用することをお勧めします。現象を説明するモデルが必要な場合は、p値を使用します。

こちらもご覧ください。