ロジスティック回帰：ベルヌーイ対二項応答変数

次の二項応答と、予測子としてとを使用してロジスティック回帰を実行します。 $X_1$ $X_2$

ここに画像の説明を入力してください

次の形式でベルヌーイ応答と同じデータを提示できます。

ここに画像の説明を入力してください

これら2つのデータセットのロジスティック回帰出力はほとんど同じです。逸脱残差とAICは異なります。（ヌル偏差と残留偏差の差は、両方の場合で同じです-0.228。）

以下は、Rからの回帰出力です。データセットはbinom.dataおよびbern.dataと呼ばれます。

これが二項出力です。

Call:
glm(formula = cbind(Successes, Trials - Successes) ~ X1 + X2, 
    family = binomial, data = binom.data)

Deviance Residuals: 
[1]  0  0  0

Coefficients:
            Estimate Std. Error z value Pr(>|z|)
(Intercept)  -2.9649    21.6072  -0.137    0.891
X1Yes        -0.1897     2.5290  -0.075    0.940
X2            0.3596     1.9094   0.188    0.851

(Dispersion parameter for binomial family taken to be 1)

Null deviance:  2.2846e-01  on 2  degrees of freedom
Residual deviance: -4.9328e-32  on 0  degrees of freedom
AIC: 11.473

Number of Fisher Scoring iterations: 4

ベルヌーイの出力は次のとおりです。

Call:
glm(formula = Success ~ X1 + X2, family = binomial, data = bern.data)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-1.6651  -1.3537   0.7585   0.9281   1.0108  

Coefficients:
            Estimate Std. Error z value Pr(>|z|)
(Intercept)  -2.9649    21.6072  -0.137    0.891
X1Yes        -0.1897     2.5290  -0.075    0.940
X2            0.3596     1.9094   0.188    0.851

(Dispersion parameter for binomial family taken to be 1)

Null deviance: 15.276  on 11  degrees of freedom
Residual deviance: 15.048  on  9  degrees of freedom
AIC: 21.048

Number of Fisher Scoring iterations: 4

私の質問：

1）この特定のケースでは、2つのアプローチ間のポイント推定値と標準誤差が同等であることがわかります。この等価性は一般的に真実ですか？

2）質問＃1の答えを数学的に正当化するにはどうすればよいですか？

3）逸脱残差とAICが異なるのはなぜですか？

— 科学者
ソース

回答:

1）はい。同じ共変量を持つ個人からの二項データを集計/非集計（？）できます。これは、二項モデルに十分な統計が各共変量ベクトルのイベントの総数であるという事実に由来しています。そしてベルヌーイは二項の特別な場合にすぎません。直観的には、二項式の結果を構成する各ベルヌーイ試験は独立しているため、これらを単一の結果としてカウントするか、個別の試験としてカウントすることに違いはないはずです。

2）一意の共変量ベクトル、それぞれが試行で二項の結果、つまりロジスティック回帰を指定したとしますモデルなので、が、これは重要ではないことが後でわかります。 $n$ $x_1, x_2, \ldots, x_n$ $N_i$

Y_{i} \sim B i n (N_{i}, p_{i})

$Y_i \sim \mathrm{Bin}(N_i, p_i)$

l o g i t (p_{i}) = \sum_{k = 1}^{K} β_{k} x_{i k}

$\mathrm{logit}(p_i) = \sum_{k=1}^K \beta_k x_{ik}$

このモデルの対数尤度は、そして、パラメータの推定値を取得するために（用語で）に関してこれを最大化します。

ℓ (β; Y) = \sum_{i = 1}^{n} \log (\binom{N_{i}}{Y_{i}}) + Y_{i} \log (p_{i}) + (N_{i} - Y_{i}) \log (1 - p_{i})

$\ell(\beta; Y) = \sum_{i=1}^n \log {N_i \choose Y_i} + Y_i \log(p_i) + (N_i - Y_i) \log(1-p_i)$

β

$\beta$

p_{i}

$p_i$

ここで、各について、2項式の結果を個々のベルヌーイ/バイナリの結果に分割することを考えてください。具体的には、つまり、最初のは1で、残りは0です。これはまさにあなたがしたことです-しかし、最初のを0として、残りを1として、または他の順序で同じように実行できますか？ $i = 1, \ldots, n$ $N_i$

Z_{i 1}, \dots, Z_{i Y_{i}} = 1

$Z_{i1}, \ldots, Z_{iY_i} = 1$

Z_{i (Y_{i} + 1)}, \dots, Z_{i N_{i}} = 0

$Z_{i(Y_i+1)}, \ldots, Z_{iN_i} = 0$

Y_{i}

$Y_i$

(N_{i} - Y_{i})

$(N_i - Y_i)$

2番目のモデルは、が上記と同じ回帰モデルであることを示しています。このモデルの対数尤度は、およびの定義方法により、これは簡略化できますこれはかなり馴染みがあるはずです。

Z_{i j} \sim B e r n o u l l i (p_{i})

$Z_{ij} \sim \mathrm{Bernoulli}(p_i)$

p_{i}

$p_i$

ℓ (β; Z) = \sum_{i = 1}^{n} \sum_{j = 1}^{N_{i}} Z_{i j} \log (p_{i}) + (1 - Z_{i j}) \log (1 - p_{i})

$\ell(\beta; Z) = \sum_{i=1}^n \sum_{j=1}^{N_i} Z_{ij}\log(p_i) + (1-Z_{ij})\log(1-p_i)$

Z_{i j}

$Z_{ij}$

ℓ (β; Y) = \sum_{i = 1}^{n} Y_{i} \log (p_{i}) + (N_{i} - Y_{i}) \log (1 - p_{i})

$\ell(\beta; Y) = \sum_{i=1}^n Y_i \log(p_i) + (N_i - Y_i)\log(1-p_i)$

2番目のモデルで推定値を取得するには、に関してこれを最大化します。これと最初の対数尤度との唯一の違いは、という用語です。これはに関して一定であるため、最大化には影響せず、同じ推定値が得られます。 $\beta$ $\log {N_i \choose Y_i}$ $\beta$

3）各観測には逸脱残差があります。二項モデルでは、それらはここでモデルから推定された確率です。あなたの二項モデルは飽和しており（残留自由度0）、完全にフィットしていることに注意してください。すべての観測に対して、すべてのに対してです。

D_{i} = 2 [Y_{i} \log (\frac{Y_{i} / N_{i}}{{\hat{p}}_{i}}) + (N_{i} - Y_{i}) \log (\frac{1 - Y_{i} / N_{i}}{1 - {\hat{p}}_{i}})]

$D_i = 2\left[Y_i \log \left( \frac{Y_i/N_i}{\hat{p}_i} \right) + (N_i-Y_i) \log \left( \frac{1-Y_i/N_i}{1-\hat{p}_i} \right)\right]$

{\hat{p}}_{i}

$\hat{p}_i$

{\hat{p}}_{i} = Y_{i} / N_{i}

$\hat{p}_i = Y_i/N_i$

D_{i} = 0

$D_i = 0$

i

$i$

ベルヌーイモデルでは、これで、逸脱残差（二項データの場合の代わりに）、これらはそれぞれまたはかかによって異なり、明らかに上記とは異なります。これらを合計して、各逸脱残差の合計を取得しても、同じにはなりません。

D_{i j} = 2 [Z_{i j} \log (\frac{Z_{i j}}{{\hat{p}}_{i}}) + (1 - Z_{i j}) \log (\frac{1 - Z_{i j}}{1 - {\hat{p}}_{i}})]

$D_{ij} = 2\left[Z_{ij} \log \left( \frac{Z_{ij}}{\hat{p}_i} \right) + (1-Z_{ij}) \log \left(\frac{1-Z_{ij}}{1-\hat{p}_i} \right)\right]$

\sum_{i = 1}^{n} N_{i}

$\sum_{i=1}^n N_i$

n

$n$

D_{i j} = - 2 \log ({\hat{p}}_{i})

$D_{ij} = -2\log(\hat{p}_i)$

D_{i j} = - 2 \log (1 - {\hat{p}}_{i})

$D_{ij} = -2\log(1-\hat{p}_i)$

Z_{i j} = 1

$Z_{ij} = 1$

0

$0$

j

$j$

i

$i$

D_{i} = \sum_{j = 1}^{N_{i}} D_{i j} = 2 [Y_{i} \log (\frac{1}{{\hat{p}}_{i}}) + (N_{i} - Y_{i}) \log (\frac{1}{1 - {\hat{p}}_{i}})]

$D_i = \sum_{j=1}^{N_i} D_{ij} = 2\left[Y_i \log \left( \frac{1}{\hat{p}_i} \right) + (N_i-Y_i) \log \left( \frac{1}{1-\hat{p}_i} \right)\right]$

AICが異なる（ただし、逸脱の変化は変わらない）という事実は、2つのモデルの対数尤度の差である定数項に戻ります。逸脱を計算するとき、これは同じデータに基づくすべてのモデルで同じであるため、キャンセルされます。AICはとして定義され、その組み合わせ用語はの違いです：

A I C = 2 K - 2 ℓ

$AIC = 2K - 2\ell$

ℓ

$\ell$

A I C_{B e r n o u l l i} - A I C_{B i n o m i a l} = 2 \sum_{i = 1}^{n} \log (\binom{N_{i}}{Y_{i}}) = 9.575

$AIC_{\mathrm{Bernoulli}} - AIC_{\mathrm{Binomial}} = 2\sum_{i=1}^n \log {N_i \choose Y_i} = 9.575$

— マーク
ソース

非常に詳細な返信をありがとう、マーク！応答が遅れて申し訳ありません-私は休暇中です。3）2つのモデルが逸脱残差とAICに対して異なる結果を与えると仮定すると、どちらが正しいか、より良いですか？a）私が理解しているように、2を超える逸脱残差のある観測は適合の欠如を示している可能性があるため、逸脱残差の絶対値は重要です。b）AICは異なるモデル間の適合を比較するために使用されるため、おそらく「正しい」AICはありません。2つの二項モデルまたは2つのベルヌーイモデルのAICを比較するだけです。

— 科学者

a）バイナリデータの場合、（および）または（場合、は> 2になりますおよび）。したがって、モデルが番目の共変量ベクトル（つまりなど）の二項データに完全に適合している場合でも、は任意に割り当てられます1はます。このため、二項データの場合、偏差残差はより意味があると思います。さらに、バイナリデータの逸脱自体には通常のプロパティがありません...

D_{i j}

$D_{ij}$

Z_{i j} = 1

$Z_{ij} = 1$

{\hat{p}}_{i} < e^{- 1} = 0.368

$\hat{p}_i < e^{-1} = 0.368$

Z_{i j} = 0

$Z_{ij} = 0$

{\hat{p}}_{i} > 1 - e^{- 1} = 0.632

$\hat{p}_i > 1 - e^{-1} = 0.632$

i

$i$

Y_{i} / N_{i} = {\hat{p}}_{i} < 0.368

$Y_i / N_i = \hat{p}_i < 0.368$

Y_{i}

$Y_i$

Z_{i j}

$Z_{ij}$

D_{i j} > 2

$D_{ij} > 2$

— マーク

... その最後のステートメントに関する詳細情報へのリンク

— マーク

b）はい、をモデル間で比較することは、各モデルの適合に使用されるデータがまったく同じ場合にのみ意味があります。したがって、ベルヌーイとベルヌーイまたは二項と二項を比較してください。

A I C

$AIC$

— マーク

ありがとう、マーク！あなたの思慮深く詳細な返信は大歓迎です！

— 科学者

最後の段落についてコメントしたいだけです。「AICが異なる（ただし、逸脱の変化はない）という事実は、2つのモデルの対数尤度の違いである定数項に戻ります。逸脱の変化を計算するとき、これは同じデータに基づくすべてのモデルで同じであるためキャンセルされます。」残念ながら、これは逸脱の変化に対して正しくありません。逸脱には定数項Ex（余分な定数（二項データの対数尤度の項）。したがって、偏差の変化は、定数項EXとは関係ありません。偏差は、与えられたモデルを完全なモデルと比較します。偏差がベルヌーイ/バイナリと異なるという事実および二項モデル化ですが、偏差の変化は完全なモデルの対数尤度値の違いによるものではありません。これらの値は、逸脱の変化を計算する際にキャンセルされます。したがって、ベルヌーイモデルと二項ロジスティック回帰モデルでは、予測確率pijとpiが同じであれば、同一の逸脱の変化が生じます。実際、プロビットおよびその他のリンク機能についても同様です。

lBmとlBfが、モデルmと完全なモデルfをベルヌーイデータに適合させた場合の対数尤度値を示します。逸脱はその後です

    DB=2(lBf - lBm)=-2(lBm – lBf).

バイナリデータのlBfはゼロですが、DBを単純化せず、そのままにしました。同じ共変量による二項モデリングからの逸脱は

    Db=2(lbf+Ex – (lbm+Ex))=2(lbf – lbm) = -2(lbm – lbf)

ここで、lbf + Exおよびlbm + Exは、二項データに適合したフルモデルおよびmモデルによる対数尤度値です。Dbの右側から余分な定数項（Ex）が消えます。次に、モデル1からモデル2への逸脱の変化を見てみましょう。ベルヌーイモデリングから、逸脱の変化があります。

    DBC=DB2-DB1=2(lBf – lBm2)-2(lBf – lBm1) =2(lBm1 – lBm2).

同様に、二項フィッティングからの逸脱の変化は

    DbC=DB2-DB1=2(lbf – lbm2)-2(lbf – lbm1) =2(lbm1 – lbm2).

逸脱の変化には、フルモデルlBfおよびlbfからの対数尤度の寄与がありません。したがって、lBm1 = lbm1およびlBm2 = lbm2の場合、DBC = DbCと同じ逸脱度の変化が得られます。これがそのケースであり、ベルヌーイと二項モデリングから同じ逸脱の変化を得る理由です。lbfとlBfの違いにより、デビアンスが異なります。

— 佐栄
ソース

回答の書式を編集することはおそらくありますか？残念ながら、この形式ではあまり読みやすくありません。段落のテキストにブレーキをかけ、式に書式を追加することをお勧めします。また、使用する略語が何を意味するのかが必ずしも明確ではありません。

T E X

$\TeX$

— ティム

ありがとう、ティム。TEXの書式設定に慣れていません。もともとWordを入力しましたが、コピーして貼り付けることができませんでした。テキストから方程式を分離しました。

— 佐栄

その段落を読み間違えたかどうかはわかりません。「AICは異なりますが（逸脱の変化はありません）」と述べ、段落の残りの部分では、2つのモデルでAICが異なる理由を説明します。私は逸脱の変化が定数項に依存していると主張しませんでした。実際、「逸脱の変化を計算するとき、これは同じデータに基づいてすべてのモデルで同じであるため、この[定数項]はキャンセルされます」と述べました

— マーク

問題は、テキストに「定数項」が1つしかなく、組み合わせ項（二項係数）であるということです。「これ」がキャンセルされたと言うとき、それは定数項が逸脱に含まれていることを意味します。ベルヌーイモデルと二項モデルからの偏差の違いは、モデル全体からの対数尤度値lbfからの寄与です。lbfは、同じデータの異なる二項モデルによって変化せず、偏差の変化を計算するときにキャンセルされます。

— 佐栄

ああ、わかりました。それに応じて回答を編集しました。質問者が具体的に言及しているので、逸脱の変化への参照を残しました。逸脱は定数項に依存しないため、逸脱の変化は同じです。

— マーク