回帰モデルが適合しすぎていることを検出する方法は？

あなたが仕事をしているとき、あなたが何をしているのかを認識していると、モデルに過剰適合したときの感覚を養います。一つには、モデルの調整されたR二乗の傾向または悪化を追跡できます。また、主要変数の回帰係数のp値の同様の劣化を追跡できます。

しかし、誰か他の人の研究を読んだだけで、自分の内部モデル開発プロセスに関する洞察力がない場合、モデルが過剰適合であるかどうかを明確に検出する方法はありません。

交差検証と正則化は、過剰適合を防ぐためのかなり一般的な手法です。クイックテイクについては、クロス検証（ミラー）の使用に関するAndrew Mooreのチュートリアルスライドをお勧めします-警告に特に注意してください。詳細については、EOSLの第3章と第7章を必ず読んでください。この章では、トピックと関連事項について詳しく説明しています。

自分でモデルを近似する場合、通常、近似プロセス中にAICやBICなどの情報基準を使用します。あるいは、最尤法に基づいたモデルの尤度比検定または最小二乗に基づいたモデルのF検定を使用します。

すべては、追加のパラメーターにペナルティを課すという点で概念的に類似しています。モデルに追加される新しいパラメーターごとに、「追加の説明力」のしきい値を設定します。それらはすべての形です正則化の。

他のモデルでは、メソッドセクションを見て、そのような手法が使用されているかどうかを確認し、パラメーターごとの観測数などの経験則も使用します-パラメーターごとに約5（またはそれ以下）の観測がある場合、私は疑問に思い始めます。

変数が重要であるためにモデル内で「有意」である必要はないことを常に覚えておいてください。私は交絡者である可能性があり、あなたの目標が他の変数の効果を推定することであるならば、それに基づいて含まれるべきです。

$BIC_{m}$$M$

$$P(\text{model m is true}|\text{one of the M models is true})\approx\frac{w_{m}\exp\left(-\frac{1}{2}BIC_{m}\right)}{\sum_{j=1}^{M}w_{j}\exp\left(-\frac{1}{2}BIC_{j}\right)}$$ $$=\frac{1}{1+\sum_{j\neq m}^{M}\frac{w_{j}}{w_{m}}\exp\left(-\frac{1}{2}(BIC_{j}-BIC_{m})\right)}$$

$w_{j}$$w_{j}=1$しますが、データを表示する前に、クラス内にいくつかの「理論的」モデルがあり、それらがより良いと予想される場合があります。

$BIC_{final}<BIC_{j}$$p$$d$

$$M\geq 1+p+(p-1)+\dots+(p-d+1)=1+\frac{p(p-1)-(p-d)(p-d-1)}{2}$$

$$M\geq 1+p+(p-1)+\dots+(d+1)=1+\frac{p(p-1)-d(d-1)}{2}$$

$M$$BIC_{j}$$\lambda$$BIC_{m}=BIC_{j}-\lambda$

$$\frac{1}{1+(M-1)\exp\left(-\frac{\lambda}{2}\right)}$$

$\lambda$$M$$M$

$$\frac{1}{1+\frac{p(p-1)-d(d-1)}{2}\exp\left(-\frac{\lambda}{2}\right)}$$

$p=50$$d=20$$\lambda$$P_{0}$

$$\lambda > -2 log\left(\frac{2(1-P_{0})}{P_{0}[p(p-1)-d(d-1)]}\right)$$

$P_{0}=0.9$$\lambda > 18.28$