多重共線性の存在下でリッジ回帰がうまく機能するのはなぜですか?


13

私はリッジ回帰について学んでいますが、リッジ回帰は多重共線性の存在下でうまく機能する傾向があることを知っています。なぜこれが本当なのだろうか?直感的な答えか数学的な答えのどちらかが満足のいくものになります(両方のタイプの答えがさらに満足できるでしょう)。

また、私はそのことを知っているβを常に得ることができますが、どれだけ正確な共線の存在下で、リッジ回帰の仕事(1つの独立変数は、他の線形関数である)ん?β^


5
2番目の質問について:正確な共線性がある場合は、変数の1つを削除するだけです。リッジ回帰は必要ありません。
ピーターフロム-モニカの復職

回答:


13

バツ1バツ2y3番目の次元です)、非常に明確な「最良の」平面がしばしばあります。しかし、共線性を使用すると、関係は実際には3次元空間を通る線であり、その周りにデータが散在しています。ただし、回帰ルーチンは平面を線に適合させようとするため、その線と完全に交差する無限の数の平面があり、選択される平面はデータ内の影響力のあるポイントに依存し、それらのポイントの1つを少し変更して、 「最適な」平面はかなり変化します。リッジ回帰は、選択された平面をより単純な/より単純なモデルに向かって引き寄せることです(バイアス値は0に向かって)。原点(0,0,0)から平面への輪ゴムを考えてみましょう。平面は0に向かって引っ張られますが、データは妥協のために引っ張ってしまいます。


@Trynna、共線性問題についてグレッグが言ったことを示す写真があります。
ttnphns 14年

1
これは、OLS回帰で多重共線性が問題になる理由についての非常に優れた幾何学的説明です!しかし、飛行機を原点に引くと問題が解決する理由はまだよくわかりません。
TrynnaDoStat 14年

2
@TrynnaDoStat、主な懸念は推定値のばらつきです。多重共線性により、単一のデータポイントのわずかな変化が係数の推定値を大きく偏らせることがあります(バイアスなし)。0にバイアスをかけることにより、係数の推定値に大きな変化はなく(ラバーバンドが0に向かっているため)、単一のデータポイントにわずかな変化があり、変動性が低減します。
グレッグスノー14年

写真へのリンクを@ttnphnsに感謝します。それなしでは、答えを得るのはかなり一苦労でした。グレッグの答えは明確であり、ESLII(2nd ed。)のこの行を理解するために必要なことは次のとおりです。この問題は軽減されます。」
トンマーゾGuerrini
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.