ロジスティック回帰とロジット線形回帰によって推定される係数はいつ異なりますか？

連続比率をモデル化する場合（例：調査区画での比例植生被覆、または活動に従事する時間の比率）、ロジスティック回帰は不適切であると見なされます（例：Warton＆Hui（2011）Arcsine is asinine：the analysis of ratios in ecology）。むしろ、比率をロジット変換した後のOLS回帰、またはおそらくベータ回帰がより適切です。

R lmとを使用すると、ロジット線形回帰とロジスティック回帰の係数推定値はどのような条件下で異なりますglmか？

次のシミュレートされたデータセットを取り上げます。ここでpは、それが生データ（つまり、表すのではなく、連続比率）であると想定できます。${n_{successes}\over n_{trials}}$

set.seed(1)
x <- rnorm(1000)
a <- runif(1)
b <- runif(1)
logit.p <- a + b*x + rnorm(1000, 0, 0.2)
p <- plogis(logit.p)

plot(p ~ x, ylim=c(0, 1))

ロジット線形モデルを当てはめると、以下が得られます。

summary(lm(logit.p ~ x))
## 
## Call:
## lm(formula = logit.p ~ x)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -0.64702 -0.13747 -0.00345  0.15077  0.73148 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept) 0.868148   0.006579   131.9   <2e-16 ***
## x           0.967129   0.006360   152.1   <2e-16 ***
## ---
## Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
## 
## Residual standard error: 0.208 on 998 degrees of freedom
## Multiple R-squared:  0.9586, Adjusted R-squared:  0.9586 
## F-statistic: 2.312e+04 on 1 and 998 DF,  p-value: < 2.2e-16

ロジスティック回帰の結果：

summary(glm(p ~ x, family=binomial))
## 
## Call:
## glm(formula = p ~ x, family = binomial)
## 
## Deviance Residuals: 
##      Min        1Q    Median        3Q       Max  
## -0.32099  -0.05475   0.00066   0.05948   0.36307  
## 
## Coefficients:
##             Estimate Std. Error z value Pr(>|z|)    
## (Intercept)  0.86242    0.07684   11.22   <2e-16 ***
## x            0.96128    0.08395   11.45   <2e-16 ***
## ---
## Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 176.1082  on 999  degrees of freedom
## Residual deviance:   7.9899  on 998  degrees of freedom
## AIC: 701.71
## 
## Number of Fisher Scoring iterations: 5
## 
## Warning message:
## In eval(expr, envir, enclos) : non-integer #successes in a binomial glm!

ロジスティック回帰係数の推定値は、ロジット線形モデルの推定値に対して常に不偏ですか？

おそらく、これは「逆」の方法で答えることができます-つまり、いつ同じですか？

ここで、ロジスティック回帰で使用されるIRLSアルゴリズムは、ここでいくつかの洞察を提供します。収束時には、モデル係数を次のように表すことができます。

ここで、はi番目の項が対角重み行列であり、はi番目の要素を持つ疑似応答です。は、ロジスティック回帰が量の「ロジットタイプ」の重み付き最小二乗に非常に似ていることに注意してください。すべての関係は、ロジスティック回帰で暗黙的であることに注意してください（例えばに依存に依存）。$W$$W_{ii}=n_ip_i (1-p_i)$$z$ VR（ZI-X T I β）=W - 1 I I Zβ$z_i=x_i^T\hat {\beta}_{logistic} +\frac {y_i -n_ip_i}{n_ip_i (1-p_i)}$$var (z_i -x_i^T\hat {\beta})=W_{ii}^{-1}$$z$$\beta$$z$

したがって、違いは主に、重み付けされた最小二乗（ロジスティック）と重み付けされていない最小二乗（ロジットのol）の使用にあることをお勧めします。呼び出しでロジットに（は「イベント」の数、は「試行」の数）で重み付けした場合、次のようになります。より類似した結果。y （1 − y / n ）y $\log (y)-\log (n-y)$$y (1-y/n)$$y$$n$lm ()

私が間違っている場合は、遠慮なく指摘してください。

まず、私は、2番目の適合でglmは、間違った方法で呼び出すと言っています。によるロジスティック回帰を適合させるにはglm、応答は（バイナリ）カテゴリ変数でなければなりませんがp、数値変数を使用します！私はwarning、ユーザーに間違いを知らせるには優しすぎます...

そして、ご想像のとおり、COINCIDENCEだけで2つの近似によって係数の同様の推定値を取得できます。あなたが交換した場合logit.p <- a + b*x + rnorm(1000, 0, 0.2)にlogit.p <- a + b*x + rnorm(1000, 0, 0.7)、すなわち、から誤差項の分散を変更0.2する0.7第二フィットは（が、2つのフィットの結果は、大幅に異なるものになりますglm）、すべてでは意味があり...

（バイナリ）分類にはロジスティック回帰が使用されるため、上記のように、カテゴリカル応答が必要です。たとえば、応答の観測値は、データのような一連の「確率（頻度）」ではなく、一連の「成功」または「失敗」である必要があります。特定のカテゴリデータセットでは、系列ではなく、「response = success」または「response = failure」の全体的な頻度を1つだけ計算できます。生成したデータにはカテゴリ変数がまったくないため、ロジスティック回帰を適用することはできません。これで、外観は似ていますが、ロジット線形回帰（いわゆる）は、変換された応答（sqrまたはsqrt変換と同様）を使用した通常の線形回帰問題（つまり、応答は数値変数）であることがわかります。

通常、線形回帰は、通常の最小二乗法（OLS）で近似され、回帰問題の二乗損失を最小限に抑えます。ロジスティック回帰は、最尤推定（MLE）を介して適合され、分類問題の対数損失を最小限に抑えます。以下は、損失関数の参照です。損失関数、Deva Ramanan。 最初の例ではp、応答と見なし、OLSを介して通常の線形回帰モデルを近似します。2番目の例でRは、ロジスティック回帰モデルをfamily=binomialでR近似しているので、MLEでモデルを近似しています。ご覧のように、最初のモデルでは、線形回帰に適合するOLSの古典的な出力であるt検定とF検定が得られます。2番目のモデルでは、係数の有意性検定はz、t、これはロジスティック回帰のMLEフィットの古典的な出力です。