Stepwise AIC-このトピックをめぐる論争は存在しますか？

このサイトで、p値ベース、AIC、BICなど、あらゆる種類の基準を使用した変数の段階的な選択の使用に信じられないほど多くの投稿を読みました。

これらの手順が一般に、変数の選択に非常に悪い理由を理解しています。ここでの gungのおそらく有名な投稿は、その理由を明確に示しています。最終的には、仮説を立てるのに使用したのと同じデータセットで仮説を検証しています。これは単なるデータのedです。さらに、p値は共線性や外れ値などの量の影響を受け、結果が大きく歪むなど。

しかし、私は最近かなり時系列の予測を研究しており、特にARIMAモデルの最適な順序を見つけるための段階的選択の使用について彼がここで言及している Hyndmanの評判の高い教科書に出会いました。実際、forecastR のパッケージでは、auto.arimaデフォルトで知られているよく知られているアルゴリズムは、（p値ではなくAICを使用して）ステップワイズ選択を使用します。彼はまた、このウェブサイト上の複数の投稿とうまく調和するp値ベースの機能選択を批判しています。

最終的に、目標が予測/予測の優れたモデルを開発することである場合、最後に何らかの方法で常に相互検証する必要があります。ただし、p値以外の評価指標の手順自体に関しては、これは多少不一致です。

この文脈での段階的なAICの使用について、しかしこの文脈からも一般的には誰も意見がありますか？私は、段階的な選択はどれも貧弱だと信じていると教えられてきましたが、正直なところ、auto.arima(stepwise = TRUE)サンプル結果からより良い結果を得ていますauto.arima(stepwise = FALSE)が、これは単なる偶然かもしれません。

ここにはいくつかの異なる問題があります。

• おそらく主な問題は、モデルの選択（p値またはAIC、段階的またはすべてのサブセットまたは他の何かを使用するかどうか）が主に推論に問題があることです（たとえば、適切なタイプIエラー、適切なカバレッジの信頼区間）。予測のために、モデル選択は実際にバイアス分散トレードオフ軸上のより良いスポットを選択し、サンプル外エラーを改善できます。
• 一部のモデルのクラスでは、AICはleave-one-out CVエラー[ http://www.petrkeil.com/?p=836を参照 ] と漸近的に同等であるため、AICをCVの計算効率の良いプロキシとして使用するのが合理的です。
• 段階的な選択は、多くの場合、他のモデル選択（または平均化）メソッド（計算的に実行可能な場合はすべてのサブセット、または縮小メソッド）によって支配されます。しかし、実装は簡単で簡単で、答えが十分に明確な場合（強い信号に対応するパラメーターもあれば、弱い中間パラメーターも少ないパラメーター）、妥当な結果が得られます。繰り返しますが、推論と予測には大きな違いがあります。たとえば、強相関の予測子が2つある場合、（「真実」/因果関係の観点から）誤った予測子を選択することは推論の大きな問題ですが、最高のAICが得られる予測子を選択することは合理的です予測の戦略（予測子の相関が変化する状況を予測しようとすると失敗しますが...）

結論：合理的な信号対雑音比を備えた中程度のサイズのデータ​​の場合、AICベースの段階的な選択により、実際に防御可能な予測モデルを作成できます。例については、Murtaugh（2009）を参照してください。

マータフ、ポールA.「実際の生態学的データに適用されるいくつかの変数選択方法のパフォーマンス」エコロジーレター12、いいえ。10（2009）：1061-1068。