ロジスティック回帰の係数の標準誤差を計算する方法

Pythonのscikit-learnを使用して、ロジスティック回帰のトレーニングとテストを行っています。

scikit-learnは、独立変数の回帰係数を返しますが、係数の標準誤差は提供しません。各係数のWald統計を計算し、それらの係数を相互に比較するには、これらの標準誤差が必要です。

ロジスティック回帰の係数の標準誤差を計算する方法の1つの説明を見つけました（ここ）が、従うのはやや困難です。

これらの標準エラーを計算する方法の簡単な簡潔な説明を知っている場合、および/またはそれを私に提供できる場合は、本当に感謝しています！特定のコードを意味するわけではありませんが（役立つコードは自由に投稿してください）、むしろ手順のアルゴリズム的な説明です。

ソフトウェアはパラメーター共分散（または分散共分散）行列を提供しますか？その場合、標準誤差はその行列の対角の平方根です。おそらく、教科書に相談（または大学の講義ノートのためのgoogle）を取得する方法のためにしたい線形および一般化線形モデルのための行列を。$V_\beta$

モデル係数の標準誤差は、共分散行列の対角要素の平方根です。以下を考慮してください。

• 設計マトリックス：

、 X iは、jはの値であり、 J i番目の観測値の予測子。$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix}$$x_{i,j}$$j$$i$

（注：これは、インターセプトのあるモデルを想定しています。）

• 、 ここでπ私は、観測のためのクラスメンバーシップの予測確率を表す私を。$\textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$$\hat{\pi}_{i}$$i$

共分散行列は次のように記述できます。

$\textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$

これは、次のコードで実装できます。

import numpy as np
from sklearn import linear_model

# Initiate logistic regression object
logit = linear_model.LogisticRegression()

# Fit model. Let X_train = matrix of predictors, y_train = matrix of variable.
# NOTE: Do not include a column for the intercept when fitting the model.
resLogit = logit.fit(X_train, y_train)

# Calculate matrix of predicted class probabilities.
# Check resLogit.classes_ to make sure that sklearn ordered your classes as expected
predProbs = resLogit.predict_proba(X_train)

# Design matrix -- add column of 1's at the beginning of your X_train matrix
X_design = np.hstack([np.ones((X_train.shape[0], 1)), X_train])

# Initiate matrix of 0's, fill diagonal with each predicted observation's variance
V = np.diagflat(np.product(predProbs, axis=1))

# Covariance matrix
# Note that the @-operater does matrix multiplication in Python 3.5+, so if you're running
# Python 3.5+, you can replace the covLogit-line below with the more readable:
# covLogit = np.linalg.inv(X_design.T @ V @ X_design)
covLogit = np.linalg.inv(np.dot(np.dot(X_design.T, V), X_design))
print("Covariance matrix: ", covLogit)

# Standard errors
print("Standard errors: ", np.sqrt(np.diag(covLogit)))

# Wald statistic (coefficient / s.e.) ^ 2
logitParams = np.insert(resLogit.coef_, 0, resLogit.intercept_)
print("Wald statistics: ", (logitParams / np.sqrt(np.diag(covLogit))) ** 2)

言われていることはすべて、statsmodels多くの「すぐに使える」診断にアクセスしたい場合に使用するのにおそらくより良いパッケージになるでしょう。

推論を行うことに興味があるなら、おそらくstatsmodelsを見てみたいと思うでしょう。標準エラーと一般的な統計テストが利用可能です。ロジスティック回帰の例を次に示します。