ロジスティック回帰-多重共線性の懸念/落とし穴


16

ロジスティック回帰では、OLS回帰のように多重共線性について心配する必要がありますか?

たとえば、多重共線性が存在するロジスティック回帰では、ベータ係数からの推論に注意する必要がありますか(OLS回帰の場合と同様)。

OLS回帰の場合、高い多重共線性の1つの「修正」はリッジ回帰です。ロジスティック回帰の場合、そのようなものはありますか?また、変数のドロップ、または変数の結合。

ロジスティック回帰における多重共線性の影響を低減するための合理的なアプローチは何ですか?それらは本質的にOLSと同じですか?

(注:これは、設計された実験の目的ではありません)

回答:


16

多重共線性に関するすべての同じ原則は、OLSと同様にロジスティック回帰にも適用されます。多重共線性を評価する同じ診断(VIF、条件番号、補助回帰など)を使用でき、同じ次元削減手法(主成分分析による変数の結合など)を使用できます。

chlによるこの回答は、ペナルティ付きロジスティックモデルをフィッティングするためのリソースとRパッケージに導きます(これらのタイプのペナルティ付き回帰手順に関する適切な議論)。しかし、多重共線性の「解決策」についてのあなたのコメントのいくつかは、私を少し困惑させます。共線ではない変数の関係の推定にのみ関心がある場合、これらの「解決策」は問題ありませんが、共線である変数の係数の推定に関心がある場合、これらの手法は問題を解決しません。多重共線性の問題は、予測変数のマトリックスを反転できないという点で技術的ですが、予測変数が独立しておらず、その効果を一意に識別できないという論理的な類似点があります。


2
(+1)はい、ロジスティック回帰(または、より一般的にはGLM)のペナルティ付きバージョンがいくつかあります。参考文献を参照してください:stats.stackexchange.com/questions/4272/…
chl

@chl、ありがとう。以前の回答へのリンクを更新しました。
アンディW

Thxも。これは、すでに優れた応答に対するコメントでした。
chl
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.