繰り返し再重み付けされた最小二乗法がロジスティック回帰に使用されたときに収束しない理由は何ですか？

私はRでglm.fit関数を使用して、パラメーターをロジスティック回帰モデルに適合させています。デフォルトでは、glm.fitは繰り返し重み付けされた最小二乗法を使用してパラメーターを近似します。このアルゴリズムをロジスティック回帰に使用すると、収束に失敗する理由は何ですか？

2つのクラスが分離可能な場合、反復的に重み付けされた最小二乗（IRLS）は壊れます。このようなシナリオでは、2つのクラスを分離する超平面が解決策であり、それらの数は無限にあります。IRLSは、最尤解を見つけることを目的としています。最尤法には、これらのソリューションを優先するメカニズムがありません（たとえば、最大マージンの概念がない）。初期化に応じて、IRLSはこれらのソリューションのいずれかに進み、数値的な問題（IRLSの詳細がわからない、経験に基づく推測）が原因で中断します。

トレーニングデータの線形分離可能性の場合、別の問題が発生します。超平面解はいずれも、ヘビサイド関数に対応します。したがって、すべての確率は0または1のいずれかになります。線形回帰ソリューションは、確率的分類器ではなくハード分類器になります。

数学記号を使用して明確にするために、ヘビサイド関数は、シグモイド関数の限界。ここで、はシグモイド関数であり、は超平面解を決定します。したがって、IRLSは理論的には停止せず、大きさが増加する向かいますが、実際には数値の問題のために壊れます。$\lim_{|\mathbf{w}| \rightarrow \infty}\sigma(\mathbf{w}^T x + b)$$\sigma$$(\mathbf{w}, b)$$\mathbf{w}$

線形分離（MLEがパラメーター空間の境界にある）に加えて、Rのフィッシャースコアリング手順は完全に数値的に安定していません。これは、固定サイズのステップを実行します。特定の病理学的なケースでは、収束しない可能性があります（実際のMLEが実際に内部ポイントである場合）。

例えば、

y <- c(1,1,1,0)
x <- rep(1,4)
fit1 <- glm.fit(x,y, family=binomial(link="logit"),start=-1.81)

期待されるロジットではなく、係数を生成します。（3 / 4 ）≈ $2 \times 10^{15}$$(3/4) \approx 1.0986$

CRANパッケージglm2は、glm.fitステップサイズを調整して、単調な収束を保証するためのドロップイン置換を提供します。