ロジスティック回帰の信頼区間の計算

私は二項ロジスティック回帰分析を使用して、ユーザーが何かをクリックする可能性にさらされているhas_xか、has_y影響を与えているかどうかを特定しています。私のモデルは次のとおりです。

fit = glm(formula = has_clicked ~ has_x + has_y, 
          data=df, 
          family = binomial())

これは私のモデルからの出力：

Call:
glm(formula = has_clicked ~ has_x + has_y, 
    family = binomial(), data = active_domains)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-0.9869  -0.9719  -0.9500   1.3979   1.4233  

Coefficients:
                      Estimate Std. Error z value Pr(>|z|)    
(Intercept)          -0.504737   0.008847 -57.050  < 2e-16 ***
has_xTRUE -0.056986   0.010201  -5.586 2.32e-08 ***
has_yTRUE  0.038579   0.010202   3.781 0.000156 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 217119  on 164182  degrees of freedom
Residual deviance: 217074  on 164180  degrees of freedom
AIC: 217080

Number of Fisher Scoring iterations: 4

各係数は重要であるため、このモデルを使用して、これらの組み合わせの値が次のアプローチを使用していることを知ることができます。

predict(fit, data.frame(has_x = T, has_y=T), type = "response")

標準に関するレポート方法がわかりません。予測のエラー。

1. を使用するだけですか？または、ここで説明する方法を使用してを変換する必要があり ますか？$1.96*SE$$SE$

2. 両方の変数の標準誤差を理解したい場合、どのように考えますか？

この質問とは異なり、エラーの上限と下限のパーセンテージを理解することに興味があります。たとえば、私の予測では、True,Trueでこれがであると計算できますか？（0.3％が私のポイントを説明するために選ばれました）95 ％C $+/- 0.3%$$95\% CI$

あなたの質問は、最初は混乱しているオッズ比と確率を扱っているという事実から来るかもしれません。ロジスティックモデルは、の非線形変換であるので、信頼区間を計算することは簡単でないようです。$\beta^Tx$

バックグラウンド

ロジスティック回帰モデルのことを思い出してください

• 確率の：P = E α + β 1 X 1 + β 2 X $(Y = 1)$$p = \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}$

• オッズの：（$(Y = 1)$$\left( \frac{p}{1-p}\right) = e^{\alpha + \beta_1x_1 + \beta_2 x_2}$

• ログオッズの：ログ（$(Y = 1)$$\log \left( \frac{p}{1-p}\right) = \alpha + \beta_1x_1 + \beta_2 x_2$

変数 1単位の増加、つまりx 1 + 1がある場合を考えてみましょう。新しいオッズは$x_1$$x_1 + 1$

$$\text{Odds}(Y = 1) = e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} = e^{\alpha + \beta_1 x_1 + \beta_1 + \beta_2x_2 }$$

• したがって、オッズ比（OR）は

$$\frac{\text{Odds}(x_1 + 1)}{\text{Odds}(x_1)} = \frac{e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} }{e^{\alpha + \beta_1 x_1 + \beta_2x_2}} = e^{\beta_1}$$

• ログオッズ比 = $\beta_1$

• 相対リスクまたは（確率比）= $\frac{ \frac{e^{\alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}}{ \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}}$

係数の解釈

どのように係数値解釈する？他のすべてが固定されたままであると仮定すると：$\beta_j$

• 内のすべてのユニットの増加のためによって対数オッズ比が増加β J。$x_j$$\beta_j$
• 内のすべてのユニットの増加のためオッズ比が増加することによりE β J。$x_j$$e^{\beta_j}$
• すべての増加のためからKためにk個の+ Δにすることにより、オッズ比が増加E β j個の$x_j$$k$$k + \Delta$$e^{\beta_j \Delta}$
• 係数が負の場合、増加はオッズ比の減少につながります。$x_j$

単一のパラメータの信頼区間$\beta_j$

を使用するだけですか？または、ここで説明するアプローチを使用してSEを変換する必要がありますか？$1.96∗SE$

パラメータので、 Maxiumum尤度推定を用いて推定され、MLEの理論は、それが漸近的に正常であることを教えてくれるので、私たちは、大量のサンプルを使用することができますワルド通常のを取得するために信頼区間を$\beta_j$

$$\beta_j \pm z^* SE(\beta_j)$$

対数オッズ比の信頼区間を提供します。MLEの不変のプロパティを使用すると、私たちが得るために累乗することを可能にする

$$e^{\beta_j \pm z^* SE(\beta_j)}$$

これは、オッズ比の信頼区間です。これらの間隔は、単一のパラメーター専用です。

両方の変数の標準誤差を理解したい場合、どのように考えますか？

複数のパラメーターを含める場合は、Bonferroni手順を使用できます。それ以外の場合は、すべてのパラメーターについて、確率推定に信頼区間を使用できます

いくつかのパラメーターのボンフェローニ手順

$g$$1 - \alpha$

$$\beta_g \pm z_{(1 - \frac{\alpha}{2g})}SE(\beta_g)$$

確率推定の信頼区間

$p$$Pr(p_{L} \leq p \leq p_{U}) = .95$

エンドポイント変換と呼ばれるアプローチの1つは次のとおりです。

• $x^T\beta$
• $F(x^T\beta)$

$Pr(x^T\beta) = F(x^T\beta)$$x^T\beta$

$$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$$

$\beta^Tx \pm z^* SE(\beta^Tx)$

$$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$$

$x^T\beta$

$$Var(x^T\beta) = x^T \Sigma x$$

$(0,1)$

デルタ方式やブートストラップなどを使用する他のアプローチもいくつかあります。それぞれに独自の仮定、利点、制限があります。

---

ソースと情報

このトピックに関する私のお気に入りの本は、Kutner、Neter、Li、第14章の「Applied Linear Statistical Models」です。

それ以外の場合は、いくつかのオンラインソースがあります。

• https://mheaton.byu.edu/Courses/Stat330/InClassAnalyses/8%20-%20Tennis/LectureNotes/LogisticRegression.pdf
• ロジスティック回帰からの予測確率の信頼区間のプロット
• /programming/47414842/confidence-interval-of-probability-prediction-from-logistic-regression-statsmode
• http://www.indiana.edu/~jslsoc/stata/ci_computations/xulong-prvalue-23aug2005.pdf
• http://courses.education.illinois.edu/EdPsy589/lectures/5logreg_beamer-online.pdf

予測の95％信頼区間を取得するには、ロジットスケールで計算し、それらを確率スケール0-1に変換し直します。タイタニックデータセットを使用した例を次に示します。

library(titanic)
data("titanic_train")

titanic_train$Pclass = factor(titanic_train$Pclass, levels = c(1,2,3), labels = c('First','Second','Third'))

fit = glm(Survived ~ Sex + Pclass, data=titanic_train, family = binomial())

inverse_logit = function(x){
  exp(x)/(1+exp(x))
}

predicted = predict(fit, data.frame(Sex='male', Pclass='First'), type='link', se.fit=TRUE)

se_high = inverse_logit(predicted$fit + (predicted$se.fit*1.96))
se_low = inverse_logit(predicted$fit - (predicted$se.fit*1.96))
expected = inverse_logit(predicted$fit)

平均および低/高95％CI。

> expected
        1 
0.4146556 
> se_high
        1 
0.4960988 
> se_low
        1 
0.3376243 

そして、type='response'平均を与えるだけのを使用した場合の出力

predict(fit, data.frame(Sex='male', Pclass='First'), type='response')
        1 
0.4146556