ポアソン回帰と負の二項回帰はいつ同じ係数に適合しますか？

Rでは、ポアソン回帰と負の二項（NB）回帰が常にカテゴリカルではあるが連続ではない予測子の係数に適合するように見えることに気付きました。

たとえば、カテゴリー予測子を使用した回帰は次のとおりです。

data(warpbreaks)
library(MASS)

rs1 = glm(breaks ~ tension, data=warpbreaks, family="poisson")
rs2 = glm.nb(breaks ~ tension, data=warpbreaks)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

ポアソンとNBが異なる係数に適合する連続予測子の例を次に示します。

data(cars)
rs1 = glm(dist ~ speed, data=cars, family="poisson")
rs2 = glm.nb(dist ~ speed, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

（もちろん、これらはデータをカウントするものではなく、モデルは意味がありません...）

次に、予測変数を係数に再コーディングすると、2つのモデルが同じ係数に再び適合します。

library(Hmisc)
speedCat = cut2(cars$speed, g=5) 
#you can change g to get a different number of bins

rs1 = glm(cars$dist ~ speedCat, family="poisson")
rs2 = glm.nb(cars$dist ~ speedCat)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

ただし、Joseph Hilbeの負の二項回帰では、カテゴリカル予測子である性がポアソン（）とNB（）によってわずかに異なる係数で近似される例（6.3、pg 118-119）がます。彼は次のように述べています。「ポアソンモデルとNBモデル​​の発生率比は非常に似ています。 [ Rのに対応]がゼロに近いことを考えると、これは驚くことではありません。」、B = 0.881 α 1 /$b=0.883$$b=0.881$$\alpha$$1/\theta$

私はこれを理解していますが、上記の例でsummary(rs2)は、がそれぞれ9.16および7.93と推定されることを示しています。$\theta$

なぜ係数がまったく同じなのでしょうか？そして、なぜカテゴリーの予測因子だけのために？

---

編集＃1

次に、2つの非直交予測子を使用した例を示します。実際、係数は同じではなくなりました。

data(cars)

#make random categorical predictor
set.seed(1); randomCats1 = sample( c("A","B","C"), length(cars$dist), replace=T)
set.seed(2); randomCats2 = sample( c("C","D","E"), length(cars$dist), replace=T)

rs1 = glm(dist ~ randomCats1 + randomCats2, data=cars, family="poisson")
rs2 = glm.nb(dist ~ randomCats1 + randomCats2, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

また、別の予測変数を含めると、新しい予測変数が連続的であっても、モデルは異なる係数に適合します。だから、元の例で作成したダミー変数の直交性と関係がありますか？

rs1 = glm(dist ~ randomCats1 + speed, data=cars, family="poisson")
rs2 = glm.nb(dist ~ randomCats1 + speed, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

GLMの親密ではあるが一般的なプロパティが最尤法で適合することを発見しました。すべての中で最も単純なケースを考えると、結果はドロップアウトします：単一のパラメーターを単一の観測に適合させる！

1つの文の答え：サンプルのサブセットを分離するために個別の手段を適合させる場合、は各サブセットに対して常にをするため、実際のエラー構造と密度のパラメーター化は両方とも（ポイント）推定とは無関係です！$\hat\mu_j = \bar y_j$$j$

もう少し：最尤法による直交カテゴリ係数の適合は、サンプルのサブセットを分離するための個別の手段の適合と同等であるため、ポアソンGLMと負の二項GLMが同じパラメーター推定値をもたらす理由を説明します。実際、ポアソン、ネガビン、ガウス、逆ガウス、またはガンマ回帰を使用しても同じことが起こります（以下を参照）。ポアソンおよびネガビンの場合、デフォルトのリンク関数はリンクですが、それはニシンです。これにより同じ生のパラメータ推定値が得られますが、このプロパティは実際にはリンク関数とはまったく関係がないことがわかります。$\log$

より多くの構造を持つパラメーター化、または連続予測子に依存するパラメーター化に関心がある場合、条件のモデリングに使用されるパラメーターと非線形関数に関連する分布の平均分散関係により、想定されるエラー構造が重要になります手段。

GLMと指数分散ファミリ：クラッシュコース

自然な形の指数分散族は、対数密度が形式であるようなもの

$$\log f(y;\,\theta,\nu) = \frac{\theta y - b(\theta)}{\nu} + a(y,\nu) \>.$$

ここで、は自然パラメーターで、は分散パラメーターです。がわかっている場合、これは標準の1パラメータ指数関数ファミリになります。以下で検討するすべてのGLMは、このファミリのエラーモデルを想定しています。$\theta$$\nu$$\nu$

このファミリからの単一の観測のサンプルを考えてみましょう。を最尤法で近似すると、値に関係なく、が得られます。対数尤度が加算されるため、これはiidサンプルの場合にも容易に拡張され、ます。$\theta$$y = b'(\hat\theta)$$\nu$$\bar y = b'(\hat\theta)$

しかし、我々はまた、知っている、の関数として対数密度の素敵な規則性に起因、その したがって、実際にはです。$\theta$

$$\frac{\partial}{\partial \theta} \mathbb E \log f(Y;\theta,\nu) = \mathbb E \frac{\partial}{\partial \theta} \log f(Y;\theta,\nu) = 0 \>.$$ $b'(\theta) = \mathbb E Y = \mu$

最尤推定値は変換の下では不変であるため、これは この密度のファミリーに対してであることを意味し 。$\bar y = \hat\mu$

GLMでは、をとしてモデル化します。ここで、はリンク関数です。ただし、が位置単一の1を除くすべてゼロのベクトルである場合、ます。GLMの尤度はに従って因数分解され、上記のように進みます。これは、直交因子の場合です。$\mu_i$$\mu_i = g^{-1}(\mathbf x_i^T \beta)$$g$$\mathbf x_i$$j$$\mu_i = g(\beta_j)$$\beta_j$

連続予測変数の大きな違いは何ですか？

予測変数が連続またはカテゴリカルであるが、直交形式に縮小できない場合、尤度は、個別のパラメーターに応じて個別の平均を持つ個別の用語に影響を与えなくなります。この時点で、エラー構造とリンク機能が有効になります。

（退屈な）代数をと、尤度方程式は すべてのため。ここで、およびパラメーターは、リンク関係および分散介して暗黙的に入力されます。J = 1 、... 、P λ I = X T I β β ν μ I = G （λ I）= G （X T I β ）σ 2

$$\sum_{i=1}^n \frac{(y_i - \mu_i)x_{ij}}{\sigma_i^2}\frac{\partial \mu_i}{\partial \lambda_i} = 0\>,$$ $j = 1,\ldots,p$$\lambda_i = \mathbf x_i^T \beta$$\beta$$\nu$$\mu_i = g(\lambda_i) = g(\mathbf x_i^T \beta)$$\sigma_i^2$

このようにして、リンク関数と想定誤差モデルが推定に関連します。

例：エラーモデル（ほとんど）は関係ありません

以下の例では、3つのカテゴリ因子に応じて負の二項ランダムデータを生成します。各観測値は単一のカテゴリに由来し、同じ分散パラメーター（）が使用されます。$k = 6$

次に、それぞれがリンクを持つ5つの異なるGLMを使用してこれらのデータに適合させ：（a）負の二項、（b）ポアソン、（c）ガウス、（d）逆ガウス、および（e）ガンマGLM。これらはすべて、指数分散ファミリーの例です。$\log$

表から、これらのGLMの一部は離散データ用であり、その他は連続データ用であり、一部は非負データ用であり、その他はそうではない場合でも、パラメーター推定値は同一であることがわかります。

      negbin  poisson gaussian invgauss    gamma
XX1 4.234107 4.234107 4.234107 4.234107 4.234107
XX2 4.790820 4.790820 4.790820 4.790820 4.790820
XX3 4.841033 4.841033 4.841033 4.841033 4.841033

見出しの注意点は、観測値が特定の密度の領域内に収まらない場合、フィッティング手順が失敗するという事実に由来しています。たとえば、上記のデータでカウントがランダムに生成された場合、ガンマGLMは厳密に正のデータを必要とするため、ガンマGLMは収束に失敗します。$0$

例：リンク関数（ほとんど）は関係ありません

同じデータを使用して、3つの異なるリンク関数（a）リンク、（b）アイデンティティリンク、および（c）平方根リンクを持つポアソンGLMでデータをフィッティングする手順を繰り返し。次の表は、対数パラメーター化に変換した後の係数推定値を示しています。（したがって、2番目の列はを示し、3 番目の列は各近似の生のを使用してを示します）。繰り返しますが、推定値は同じです。ログ（β）ログ（β 2）$\log$$\log(\hat \beta)$$\log(\hat \beta^2)$$\hat\beta$

> coefs.po
         log       id     sqrt
XX1 4.234107 4.234107 4.234107
XX2 4.790820 4.790820 4.790820
XX3 4.841033 4.841033 4.841033

見出しの警告は、生の推定値がリンク関数によって変化するという事実に言及していますが、暗黙の平均パラメータ推定値は変化しません。

Rコード

# Warning! This code is a bit simplified for compactness.
library(MASS)
n <- 5
m <- 3
set.seed(17)
b <- exp(5+rnorm(m))
k <- 6

# Random negbin data; orthogonal factors
y <- rnbinom(m*n, size=k, mu=rep(b,each=n))
X <- factor(paste("X",rep(1:m,each=n),sep=""))

# Fit a bunch of GLMs with a log link
con <- glm.control(maxit=100)
mnb <- glm(y~X+0, family=negative.binomial(theta=2))
mpo <- glm(y~X+0, family="poisson")
mga <- glm(y~X+0, family=gaussian(link=log), start=rep(1,m), control=con)
miv <- glm(y~X+0, family=inverse.gaussian(link=log), start=rep(2,m), control=con)
mgm <- glm(y~X+0, family=Gamma(link=log), start=rep(1,m), control=con)    
coefs <- cbind(negbin=mnb$coef, poisson=mpo$coef, gaussian=mga$coef
                   invgauss=miv$coef, gamma=mgm$coef)

# Fit a bunch of Poisson GLMs with different links.
mpo.log  <- glm(y~X+0, family=poisson(link="log"))
mpo.id   <- glm(y~X+0, family=poisson(link="identity"))
mpo.sqrt <- glm(y~X+0, family=poisson(link="sqrt"))   
coefs.po <- cbind(log=mpo$coef, id=log(mpo.id$coef), sqrt=log(mpo.sqrt$coef^2))

ここで何が起こっているのかを見るために、切片なしで回帰を行うことが最初に役立ちます。予測変数が1つだけのカテゴリ回帰では切片は無意味です。

> rs1 = glm(breaks ~ tension-1, data=warpbreaks, family="poisson")
> rs2 = glm.nb(breaks ~ tension-1, data=warpbreaks)

ポアソン回帰と負の二項回帰は平均パラメータの対数を指定するため、カテゴリ回帰では、係数を累乗すると各カテゴリの実際の平均パラメータが得られます。

>  exp(cbind("Poisson"=coef(rs1), "NB"=coef(rs2)))
          Poisson       NB
tensionL 36.38889 36.38889
tensionM 26.38889 26.38889
tensionH 21.66667 21.66667

これらのパラメーターは、異なるカテゴリー値の実際の平均に対応しています。

> with(warpbreaks,tapply(breaks,tension,mean))
       L        M        H 
36.38889 26.38889 21.66667 

そのため、各ケースで尤度を最大化する平均パラメータは、各カテゴリのサンプル平均に等しくなります。 $\lambda$

ポアソン分布の場合、これが発生する理由は明らかです。適合するパラメーターは1つのみであるため、単一のカテゴリー予測子を使用してモデルの全体的な尤度を最大化することは、特定の各カテゴリーの観測値の尤度を最大化するを個別に見つけることと同等です。ポアソン分布の最尤推定量は、単純にサンプル平均です。これが、回帰係数が正確に各カテゴリのサンプル平均（のログ）である理由です。$\lambda$

負の2項式の場合、2つのパラメーターと形状パラメーターが適合するため、それほど単純ではありません。さらに、回帰はデータセット全体をカバーする単一の適合します。したがって、この状況では、カテゴリー回帰は各カテゴリーに対して完全に別個のモデルを適合させることと単純に同等ではありません。ただし、尤度関数を調べると、与えられたシータに対してをサンプル平均に設定することにより、尤度関数が再び最大化されることがわかります。$\lambda$$\theta$$\theta$$\lambda$

λ=ˉ

$$\begin{align} L(X,\lambda,\theta) &= \prod \left(\frac{\theta}{\lambda+\theta}\right)^\theta \frac{\Gamma(\theta + x_i)}{x_i!\Gamma(\theta)}\left(\frac{\lambda}{\lambda+\theta}\right)^{x_i}\\ \log L(X,\lambda,\theta) &= \sum\theta\left(\text{log}\theta-\text{log}(\lambda+\theta)\right) +x_i\left(\text{log}\lambda-\text{log}(\lambda+\theta)\right) +\log\left(\frac{\Gamma(\theta + x_i)}{x_i!\Gamma(\theta)}\right)\\ \frac{d}{d\lambda}\log L(X,\lambda,\theta) &= \sum \frac{x_i}{\lambda}-\frac{\theta+x_i}{\lambda+\theta} =n\left(\frac{\bar{x}}{\lambda}-\frac{\bar{x}+\theta}{\lambda+\theta}\right), \end{align}$$ なので、ときに最大になり。$\lambda=\bar{x}$

連続データに対して同じ係数を取得しない理由は、連続回帰では、が予測変数の区分定数関数ではなく、線形変数になるためです。この場合の尤度関数の最大化は、データの互いに素なサブセットに対して値を独立して近似することにはなりませんが、数値的に解決される非自明な問題であり、尤度関数ごとに異なる結果を生成する可能性があります。$\text{log}(\lambda)$$\lambda$

同様に、複数のカテゴリカル予測子がある場合、近似モデルは最終的にを区分的定数関数として指定するという事実にもかかわらず、一般に、各定数セグメントに対してを個別に決定できる十分な自由度がありません。たとえば、それぞれつのカテゴリを持つ予測変数があるとします。この場合、モデルにはの自由度がありますが、カテゴリには一意の異なる組み合わせがあり、各組み合わせには適合値があります。したがって、これらのカテゴリの共通部分が空ではない（または少なくともλ 2 5 10 5 * 5 = 25 λ $\lambda$$\lambda$$2$$5$$10$$5*5=25$$\lambda$$11$ それらのうち、空ではない）、尤度最大化問題は再び自明ではなくなり、一般にポアソン対負の二項分布または他の分布に対して異なる結果を生成します。