12

ロジスティック回帰で得られた係数からオッズ比の95％信頼区間を構築する方法を研究しています。したがって、ロジスティック回帰モデルを検討すると、

\log (\frac{p}{1 - p}) = α + β x

$\log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE}$

制御グループでは、ケースグループではです。 $x = 0$ $x = 1$

95％CIを構築するのが最も簡単な方法であることをすでに読んだので $\beta$ 、指数関数を適用しました。つまり、

\hat{β} \pm 1.96 \times S E (\hat{β}) \to \exp {\hat{β} \pm 1.96 \times S E (\hat{β})}

$\hat{\beta} \pm 1.96\times \se(\hat{\beta}) \rightarrow \exp\{\hat{\beta} \pm 1.96\times \se(\hat{\beta})\}$

私の質問は：

この手順を正当化する理論的な理由は何ですか？を知って $\mbox{odds ratio} = \exp\{\beta\}$ おり、最尤推定量は不変です。ただし、これらの要素間の関係はわかりません。
デルタ方式は、前の手順と同じ95％信頼区間を生成する必要がありますか？デルタ方式を使用して、

$\exp {\hat{β}} \dot{\sim} N (β, \exp {β}^{2} V a r (\hat{β}))$ $\exp\{\hat{\beta}\} \dot{\sim} N(\beta,\ \exp\{\beta\}^2 \var(\hat{\beta}))$
次に、

$\exp {\hat{β}} \pm 1.96 \times \sqrt{\exp {β}^{2} V a r (\hat{β})}$ $\exp\{\hat{\beta}\} \pm 1.96\times \sqrt{\exp\{\beta\}^2 \var(\hat{\beta})}$
そうでない場合、どれが最良の手順ですか？

— マルシオ・アウグスト・ディニス
ソース

1

パラメータ値または十分なサイズのトレーニングデータがある場合、CIのブートストラップも好きです。

— EngrStudent-モニカの復活

2

これを行うためのより良い方法があります。詳細については、stats.stackexchange.com / questions / 5304 / ...を参照してください

— mdewey

7

この手順の正当化は、のMLEの漸近正規性であり、中央極限定理を含む引数の結果です。 $\beta$
デルタ法は、MLE周りの関数の線形（つまり、1次のテイラー）展開から得られます。その後、MLEの漸近的な正常性と偏りのないことを訴えます。

漸近的には両方が同じ答えを与えます。しかし、実際には、より普通に見えるものを好むでしょう。この例では、後者の方が対称性が低い可能性が高いため、前者を優先します。

— アミール
ソース

3

ISLの例の信頼区間法の比較

Tibshirani、James、Hastieによる書籍「Introduction to Statistical Learning」は、賃金データの多項式ロジスティック回帰次数4の信頼区間のページ267の例を示しています。本を引用する：

次数4の多項式でロジスティック回帰を使用して、バイナリイベントのをモデル化します。250,000ドルを超える賃金の適合した事後確率は、推定95％信頼区間とともに青色で表示されます。 $wage>250$

以下は、このような間隔を構築する2つの方法の簡単な要約と、それらを最初から実装する方法に関するコメントです。

Wald /エンドポイント変換間隔

線形結合の信頼区間の上限と下限を計算します（Wald CIを使用） $x^T\beta$
単調変換をエンドポイントして、確率を取得します。 $F(x^T\beta)$

ための単調変換である $Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[P r (x^{T} β)_{L} \leq P r (x^{T} β) \leq P r (x^{T} β)_{U}] = [F (x^{T} β)_{L} \leq F (x^{T} β) \leq F (x^{T} β)_{U}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

具体的には、これはを計算し、結果にロジット変換を適用して下限と上限を取得することを意味します。 $\beta^Tx \pm z^* SE(\beta^Tx)$

[\frac{e^{x^{T} β - z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β - z^{*} S E (x^{T} β)}}, \frac{e^{x^{T} β + z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β + z^{*} S E (x^{T} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

標準誤差の計算

Maximum Likelihood理論は、の近似分散が回帰係数の共分散行列を使用して計算できることを示しています。 $x^T\beta$ $\Sigma$

V a r (x^{T} β) = x^{T} Σ x

$Var(x^T\beta) = x^T \Sigma x$

設計行列と行列を次のように定義します $X$ $V$

X = [\begin{matrix} 1 & x_{1, 1} & \dots & x_{1, p} \\ 1 & x_{2, 1} & \dots & x_{2, p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n, 1} & \dots & x_{n, p} \end{matrix}] V = [\begin{matrix} {\hat{π}}_{1} (1 - {\hat{π}}_{1}) & 0 & \dots & 0 \\ 0 & {\hat{π}}_{2} (1 - {\hat{π}}_{2}) & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & {\hat{π}}_{n} (1 - {\hat{π}}_{n}) \end{matrix}]

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix} \ \ \ \ \textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$

ここで、は番目の観測の番目の変数の値であり、は観測予測確率を表します。 $x_{i,j}$ $j$ $i$ $\hat{\pi}_{i}$ $i$

共分散行列は次のようになります：および標準誤差は $\Sigma = \textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$ $SE(x^T\beta) = \sqrt{Var(x^T\beta)}$

予測確率の95％信頼区間は、次のようにプロットできます。

デルタ法の信頼区間

アプローチは、関数線形近似の分散を計算し、これを使用して大きなサンプル信頼区間を構築することです。 $F$

Var [F (x^{T} \hat{β})] \approx \nabla F^{T} Σ \nabla F

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx \nabla F^T \ \Sigma \ \nabla F$

ここで、は勾配で、は推定共分散行列です。1つの次元で次のことに注意してください。 $\nabla$ $\Sigma$

\frac{\partial F (x β)}{\partial β} = \frac{\partial F (x β)}{\partial x β} \frac{\partial x β}{\partial β} = x f (x β)

$\frac{\partial F(x\beta)}{\partial \beta} = \frac{\partial F(x\beta)}{\partial x\beta} \frac{\partial x\beta}{\partial \beta} = x f(x\beta)$

ここで、はの導関数です。これは多変量の場合に一般化されます $f$ $F$

Var [F (x^{T} \hat{β})] \approx f^{T} x^{T} Σ x f

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx f^T \ \mathbf{x^T} \ \Sigma \ \mathbf{x} \ f$

私たちの場合、Fはロジスティック関数（を表します）で、その導関数は $\pi(x^T\beta)$

π^{'} (x^{T} β) = π (x^{T} β) (1 - π (x^{T} β))

$\pi'(x^T\beta) = \pi (x^T\beta) (1 - \pi (x^T\beta) )$

これで、上記で計算した分散を使用して信頼区間を構築できます。

C . I . = [P r (x \hat{β}) - z^{*} \sqrt{Var [π (x \hat{β})]} \leq P r (x \hat{β}) + z^{*} \sqrt{Var [π (x \hat{β})]}]

$C.I. = [Pr(x\hat \beta) - z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} \leq Pr(x\hat \beta) + z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} ]$

多変量の場合のベクトル形式

C . I . = [π (x^{T} \hat{β}) \pm z^{*} \sqrt{{(π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β})))}^{T} x^{T} Var [\hat{β}] x π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β}))]}

$C.I. = \mathbf{[\pi(x^T\hat \beta) \pm z^* \sqrt{ \left(\pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) \right)^T x^T \ \ \text{Var}[ \hat \beta] \ \ x \ \ \pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) ]}}$

は単一のデータポイント、つまり設計行列単一行を表すことに注意してください。 $\mathbf{x}$ $\mathbb{R}^{p+1}$ $X$

オープンエンドの結論

確率と負の対数オッズの両方の正規QQプロットを見ると、どちらも正規分布していないことがわかります。これで違いを説明できますか？

ソース：

— ザビエル・バレット・シコット
ソース

1

このページのログ変換のコンテキストで説明されているように、ほとんどの場合、おそらく最も簡単な方法が最適です。統計的テストを実行し、そのロジットスケールで定義された信頼区間（CI）を使用して、従属変数をロジットスケールで分析していると考えてください。オッズ比への逆変換は、単にそれらの結果を読者がより容易に把握できるスケールに入れることです。これは、たとえば、ハザード比とそのCIを取得するために回帰係数（および95％CI）が指数化されるCox生存分析でも行われます。

— EdM
ソース

ロジスティック回帰からオッズ比の信頼区間を作成するさまざまな方法

ISLの例の信頼区間法の比較

Wald /エンドポイント変換間隔

標準誤差の計算

デルタ法の信頼区間

オープンエンドの結論