「段階的モデル選択」とは正確には何ですか？

ステップワイズモデル選択のメリットについてはすでに説明しましたが、「ステップワイズモデル選択」または「ステップワイズ回帰」が正確に何であるかは、はっきりしなくなりました。私はそれを理解したと思ったが、もう確かではない。

私の理解では、これらの2つの用語は同義語であり（少なくとも回帰のコンテキストでは）、データが与えられた場合、「最適」または「最良」のモデルにおける予測変数の最適なセットの選択を指します。（ここにWikipediaのページがあり、ここに役立つと思われる別の概要があります。）

以前のいくつかのスレッド（例：ここでは自動モデル選択のアルゴリズム）に基づいて、段階的なモデル選択は主要な罪と見なされているようです。それでも、それは、尊敬されている統計学者と思われるものを含め、常に使用されているようです。または、用語を混同していますか？

私の主な質問は：

1. 「段階的モデル選択」または「段階的回帰」とは、次のことを意味します
   。A）尤度比検定などの逐次仮説検定を行うか、p値を調べるか。（ここに関連する投稿があります：段階的な選択を実行した後にp値が誤解を招くのはなぜですか？）これはそれが意味することであり、なぜ悪いのですか？
   または
   B）AIC（または類似の情報量基準）に基づく選択も同様に悪いと考えていますか？自動モデル選択のアルゴリズムの回答から、これも批判されているようです。一方、ウィッティンガム等。（2006; pdf）¹ 情報理論（IT）アプローチに基づく変数選択は段階的選択とは異なることを示唆しているようです（有効なアプローチのようです）...？

   そして、これが私のすべての混乱の原因です。

   フォローアップするために、AICベースの選択が「段階的」に該当せず、不適切であると見なされる場合、追加の質問を次に示します。

2. このアプローチが間違っている場合、なぜそれが教科書や大学のコースなどで教えられているのですか？それはすべて間違っていますか？

3. モデルに残す必要がある変数を選択するための適切な代替手段は何ですか？相互検証とトレーニングテストデータセット、およびLASSOを使用するための推奨事項を見つけました。

4. 考えられるすべての変数を無差別にモデルに投入し、段階的な選択を行うことには問題があることに誰もが同意できると思います。もちろん、いくつかの健全な判断は、最初に何が起こるかを導くべきです。しかし、いくつかの（たとえば生物学的）知識に基づいて、可能な限られた数の予測変数から始めて、これらすべての予測変数が私たちの応答を説明しているとしたらどうでしょうか。このモデル選択のアプローチにはまだ欠陥がありますか？また、異なるモデル間のAIC値が非常に類似している場合（およびそのような場合にマルチモデル推論が適用される場合）は、「最良の」モデルの選択が適切でない場合があることを認めます。しかし、AICベースの段階的選択を使用するという根本的な問題は依然として問題ですか？

   どの変数が応答をどのように説明しているように見えるのかを調べている場合、「すべてのモデルが間違っているが、一部は有用である」ことがわかっているため、なぜこのアプローチが間違っているのでしょうか。

_{1. Whittingham、MJ、Stephens、PA、Bradbury、RB、およびFreckleton、RP（2006）。なぜ生態学と行動でまだ段階的モデリングを使用するのですか？Journal of Animal Ecology、75、pp。1182〜1189。}

1）混乱しているのは、「段階的」という用語の使い方に一貫性がないためです。時にはそれはではかなり具体的な手順を意味し$p$通常の方法で計算された回帰係数の値は、モデルに追加または削除される共変量を決定するために使用され、このプロセスが数回繰り返されます。これは、（a）変数を任意のステップで追加または削除できるこの手順の特定のバリエーション（私はこれがSPSSが「ステップワイズ」と呼んでいるものだと思います）を参照するか、または（b）このバリエーションを他と一緒に参照します。変数の追加のみまたは変数の削除のみなどのバリエーション より広義には、「段階的」は、（c）機能（または機能のセット）が追加または削除されるたびに計算されるいくつかの値に従って、モデルに機能が追加または削除される手順を参照するために使用できます。

これらの異なる戦略はすべて、さまざまな理由で批判されてきました。ほとんどの批評は（b）に関するものだと思いますが、その批判の重要な部分は、値が特徴選択に十分に備えられていないことです（ここでの重要度テストは、「この変数をモデル？」）、そして最も深刻な統計学者は、あらゆる状況でそれを推奨しません。（c）はもっと物議を醸しています。$p$

2）統計教育が本当に悪いからです。一例を挙げれば、私自身の教育からわかる限り、心理学専攻の統計教育の重要な部分として、ベッセルの修正を使用して母集団SDの偏りのない推定値を取得するように生徒に指示することは明らかに考えられます。ベッセルの修正により分散の推定が不偏になることは事実ですが、SDの推定が依然としてバイアスされていることを証明するのは簡単です。さらに良いことに、ベッセルの修正により、これらの推定値のMSE が増加する可能性があります。

3）変数の選択は、実際にはそれ自体がフィールドです。交差検証とトレーニングテストの分割は、モデルを評価する方法です。使用する機能についての提案はありません。なげなわはしばしば良い選択です。だから最高のサブセットです。

4）私の考えでは、（b）を使用することはまだ意味がありません。特に、AICを使用するなど、代わりに（c）で他のことができる場合は特に意味がありません。私はAICベースの段階的な選択に異論はありませんが、それはサンプルに敏感になることに注意してください（特に、サンプルが任意に大きくなると、ラッソのようなAICは常に最も複雑なモデルを選択します）。モデル選択自体を、それが一般化可能な結論であるかのように提示する。

どの変数が応答をどのように説明しているように見えるかを確認する場合

最終的に、すべての変数の影響を見たい場合は、すべての変数を含める必要があります。サンプルがそれに対して小さすぎる場合は、より大きなサンプルが必要です。覚えておいてください、帰無仮説は実際の生活では決して真実ではありません。変数の束があるように予定されていないされている結果と他の変数の束に関連付けられていません。すべての変数は結果に関連付けられます。問題は、どの程度、どの方向に、他の変数とどのように相互作用するかなどです。

段階的対AICについて

ステップワイズは、モデルのシーケンスが構築される方法と、おそらくシーケンス内でモデルが選択される方法を説明する用語です。

• 段階的なモデル構築、変数は変数のどれを定義するいくつかの規則に従って一つまたはグループ内ずつ追加または削除された/追加する/除去されています。これは、Kodiologistのポイント（c）と一致しています。
• 段階的モデル選択、一方がシーケンス内のモデルに隣接比較し、検討中のモデルがその隣接（先行および後続もの）の両方に優れた表示されたときに停止します。これは、モデルのさまざまなプロパティ（AIC値、p値など）を調べることで実行できます。

その間、

AICは、特定のデータセットの統計モデルの相対的品質の尺度です。（ウィキペディア）

AICを適用して、候補のプールからモデルを選択できます。これは、段階的選択の選択基準として使用できますが、それだけではありません。

したがって、ステップワイズとAICは、一緒にまたは個別に使用できるモデル選択の2つの異なる側面であり、それと他の考慮事項に応じて、適切な場合とそうでない場合があります。