GLMでは、飽和モデルの対数尤度は常にゼロですか？

一般化線形モデルの出力の一部として、ヌルと残差偏差を使用してモデルを評価します。飽和モデルの対数尤度で表されるこれらの量の式をよく見ます。たとえば、https：//stats.stackexchange.com/a/113022/22199、ロジスティック回帰：飽和モデルを取得する方法

私が理解する限り、飽和モデルは観測された応答に完全に適合するモデルです。したがって、私が見たほとんどの場所で、飽和モデルの対数尤度は常にゼロとして与えられます。

しかし、逸脱の公式が与えられる方法は、この量がゼロでない場合があることを示唆しています。（常にゼロであるかのように、なぜそれを含めるのが面倒ですか？）

どのような場合にゼロ以外になる可能性がありますか？決してゼロ以外ではない場合、なぜ逸脱の式に含めるのですか？

— アレックス
ソース

回答:

対数尤度を本当に意味する場合、答えは次のとおりです。常にゼロではありません。

例えば、ポアソンデータを考慮してください。以下のための対数尤度：で与えられる $y_i \sim \text{Poisson}(\mu_i), i = 1, \ldots, n$ $Y = (y_1, \ldots, y_n)$

\begin{matrix} (*) & ℓ (μ; Y) = - \sum_{i = 1}^{n} μ_{i} + \sum_{i = 1}^{n} y_{i} \log μ_{i} - \sum_{i = 1}^{n} \log (y_{i}!) . \end{matrix}

$\ell(\mu; Y) = -\sum_{i = 1}^n \mu_i + \sum_{i = 1}^n y_i \log \mu_i - \sum_{i = 1}^n \log(y_i!). \tag{$*$}$

分化にに対しておよびに設定（これは、我々は、飽和モデルのMLEを得る方法である）： $\ell(\mu; Y)$ $(*)$ $\mu_i$ $0$ ため、この解決得るために置換する、に戻しのために飽和モデルの対数尤度であることを与える：

- 1 + \frac{y_{i}}{μ_{i}} = 0.

$-1 + \frac{y_i}{\mu_i} = 0.$

μ_{i}

$\mu_i$

{\hat{μ}}_{i} = y_{i}

$\hat{\mu}_i = y_i$

{\hat{μ}}_{i}

$\hat{\mu}_i$

(*)

$(*)$

μ_{i}

$\mu_i$

が非常に特別な値をとらない限り、

ℓ (\hat{μ}; Y) = \sum_{i = 1}^{n} y_{i} (\log y_{i} - 1) - \sum_{i = 1}^{n} \log (y_{i}!) \neq 0

$\ell(\hat{\mu}; Y) = \sum_{i = 1}^n y_i(\log y_i - 1) -\sum_{i = 1}^n \log(y_i!) \neq 0$

y_{i}

$y_i$

R関数のヘルプページのglmitemの下devianceで、ドキュメントはこの問題を次のように説明しています。

deviance 最大の対数尤度のマイナス2倍の定数まで。合理的な場合、定数は飽和モデルが逸脱ゼロを持つように選択されます。

飽和モデルの対数尤度ではなく、逸脱がゼロになるように選択されていることに注意してください。

おそらく、あなたが本当に確認したかったのは、「逸脱飽和モデルのは常にゼロとして与えられる」ことであり、これは定義から逸脱しているので真実です（アランによるカテゴリデータ分析（第2版）のセクション4.5.1を参照） Agresti）は、飽和モデルに対する指定されたGLMの尤度比統計です。constantRドキュメントの前述のは、実際には、飽和モデルの二倍最大化対数尤度です。

「まだ、逸脱の公式が与えられる方法は、この量がゼロでない場合があることを示唆しています。」という文については、おそらく逸脱という用語の使用の乱用によるものです。たとえば、Rでは、2つの任意の（ネストされた）モデルと $M_1$ 、より正確と呼ばれるであろう乖離度と呼ばれ、差のずれの間のとの乖離 $M_2$ $M_1$ $M_2$ 、Agrestiの本にある定義に厳密に従った場合。

結論

飽和モデルの対数尤度は一般にゼロではありません。
飽和モデルの偏差（元の定義では）はゼロです。
ソフトウェア（Rなど）からの逸脱出力は、実際には他の何か（逸脱の違い）を意味するため、一般にゼロではありません。

$7$

\begin{matrix} (1) & f (y_{i}; θ_{i}, φ) = \exp [A_{i} (y_{i} θ_{i} - γ (θ_{i})) / φ + τ (y_{i}, φ / A_{i})] . \end{matrix}

$f(y_i; \theta_i, \varphi) = \exp[A_i(y_i\theta_i - \gamma(\theta_i))/\varphi + \tau(y_i, \varphi/A_i)]. \tag{1}$

A_{i}

$A_i$

φ

$\varphi$

ℓ (θ, φ; Y) = \sum_{i = 1}^{n} A_{i} (y_{i} θ_{i} - γ (θ_{i})) / φ + \sum_{i = 1}^{n} τ (y_{i}, φ / A_{i}) .

$\ell(\theta, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \theta_i - \gamma(\theta_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i).$

0 = U (θ_{i}) = \frac{\partial ℓ (θ, φ; Y)}{\partial θ_{i}} = \frac{A_{i} (y_{i} - γ^{'} (θ_{i}))}{φ}

$0 = U(\theta_i) = \frac{\partial \ell(\theta, \varphi; Y)}{\partial \theta_i} = \frac{A_i(y_i - \gamma'(\theta_i))}{\varphi}$

$\hat{\theta}_i$

\begin{matrix} (* *) & ℓ (\hat{θ}, φ; Y) = \sum_{i = 1}^{n} A_{i} (y_{i} {\hat{θ}}_{i} - γ ({\hat{θ}}_{i})) / φ + \sum_{i = 1}^{n} τ (y_{i}, φ / A_{i}) . \end{matrix}

$\ell(\hat{\theta}, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \hat{\theta}_i - \gamma(\hat{\theta}_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i). \tag{$**$}$

私の以前の答えでは、右側の最初の項 $(**)$ は常にゼロである、上記のポアソンデータの例はそれが間違っていることを証明しています。より複雑な例として、ガンマ分布考えます $\Gamma(\alpha, \beta)$ は、付録に記載されて考慮してください。

f (y; α, β) = \frac{β^{α}}{Γ (α)} e^{- β y} y^{α - 1}, y > 0, α > 0, β > 0,

$f(y; \alpha, \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)}e^{-\beta y}y^{\alpha - 1}, \quad y > 0, \alpha > 0, \beta > 0,$

f

$f$

(1)

$(1)$

φ = \frac{1}{α}, θ = - \frac{β}{α},

$\varphi = \frac{1}{\alpha},\, \theta = -\frac{\beta}{\alpha},$

f

$f$

f (y; θ, φ) = \exp [\frac{θ y - (- \log (- θ))}{φ} + τ (y, φ)],

$f(y; \theta, \varphi) = \exp\left[\frac{\theta y - (-\log(-\theta))}{\varphi}+ \tau(y, \varphi)\right],$

τ (y, φ) = - \frac{\log φ}{φ} + (\frac{1}{φ} - 1) \log y - \log Γ (φ^{- 1}) .

$\tau(y, \varphi) = -\frac{\log \varphi}{\varphi} + \left(\frac{1}{\varphi} - 1\right)\log y - \log\Gamma(\varphi^{-1}).$

{\hat{θ}}_{i} = - \frac{1}{y_{i}}

$\hat{\theta}_i = -\frac{1}{y_i}$

\sum_{i = 1}^{n} \frac{1}{φ} [{\hat{θ}}_{i} y_{i} - (- \log (- {\hat{θ}}_{i}))] = \sum_{i = 1}^{n} \frac{1}{φ} [- 1 - \log (y_{i})] \neq 0,

$\sum_{i = 1}^n \frac{1}{\varphi}[\hat{\theta}_iy_i - (-\log(-\hat{\theta}_i))] = \sum_{i = 1}^n \frac{1}{\varphi}[-1 - \log(y_i)] \neq 0,$

y_{i}

$y_i$

— han雄
ソース

モデルが可能な結果のそれぞれに100％の確率を割り当てることができる場合にのみ、対数尤度はゼロですか？

— アレックス

0

$0$

τ

$\tau$

0

$0$

あなたの派生は非常に良いですが、正式な証拠は現時点で私の頭の上に少しあります。ポアソンモデルの例に感謝します。この例から取り出したのは、ポアソンモデルがポアソン平均の値が与えられた場合、観測された結果に100％の確率を割り当てることができないため、尤度をゼロにすることはできません。

— アレックス

100 %

$100\%$

y_{1}, \dots, y_{n}

$y_1, \ldots, y_n$

Y

$Y$

P (Y = y_{1}) + P (Y = y_{2}) + \dots + P (Y = y_{n}) < 1

$P(Y= y_1) + P(Y = y_2) + \cdots + P(Y = y_n) < 1$

Y

$Y$

P (Y = y_{i}) < 1

$P(Y = y_i) < 1$

i

$i$

$0$

\begin{matrix} (1) & L （ y; バツ 、 β ） = \prod_{私 = 1}^{n} f （ y_{私}; {バツ}_{私} 、 β ） = \prod_{私 = 1}^{n} π_{私}^{y_{私}} （ 1 - π_{私} ）^{1 - y_{私}} = \prod_{私 = 1}^{n} {（ \frac{π_{私}}{1 - π_{私}} ）}^{y_{私}} （ 1 - π_{私} ） \end{matrix}

$L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) = \prod_{i=1}^n f(y_i ; \mathbf{x}_i, \boldsymbol{\beta}) = \prod_{i=1}^n \pi_i^{y_i}(1-\pi_i)^{1-y_i} = \prod_{i=1}^n\left( \frac{\pi_i}{1-\pi_i}\right)^{y_i} (1 - \pi_i) \tag{1}$

π_{i} = invlogit (x_{i}^{⊺} β)

$\pi_i = \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )$

\begin{aligned} \log L (y; X, β) & = \sum_{i = 1}^{n} y_{i} \log (\frac{π_{i}}{1 - π_{i}}) + \log (1 - π_{i}) \\ = \sum_{i = 1}^{n} y_{i} logit (π_{i}) + \log (1 - π_{i}) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β + \log (1 - invlogit (x_{i}^{⊺} β)) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β + \log (invlogit (- x_{i}^{⊺} β)) \\ = \sum_{i = 1}^{n} y_{i} x_{i}^{⊺} β - \log (1 + \exp [x_{i}^{⊺} β])) \end{aligned}

$\begin{align*} \log L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) &= \sum_{i=1}^n y_i \log \left( \frac{\pi_i}{1-\pi_i}\right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \text{logit} \left( \pi_i \right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( 1 - \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( \text{invlogit}( - \mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} - \log( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] )) \end{align*}$

If you take the derivatives with respect to all of the coefficients you get

\begin{matrix} (2) & \nabla ℓ (β) = \sum_{i = 1}^{n} y_{i} x_{i} - \frac{\exp [x_{i}^{⊺} β]}{(1 + \exp [x_{i}^{⊺} β])} x_{i} . \end{matrix}

$\nabla \ell(\boldsymbol{\beta}) = \sum_{i=1}^n y_i \mathbf{x}_i - \frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }\mathbf{x}_i \tag{2}.$

Setting this expression equal to $\mathbf{0}$ and solving for $\boldsymbol{\beta}$ will give you your answer. Usually this can't be done analytically, which explains the popularity/necessity of using iterative algorithms to fit this model, but in the case of a saturated model, it is possible.

To find the saturated model, we give each row it's own coefficent. So $\boldsymbol{\beta} \in \mathbb{R}^n$ and the design matrix times the coefficient vector is

X β = [\begin{matrix} 1 & 0 & \dots & 0 \\ 0 & 1 & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & 1 \end{matrix}] [\begin{matrix} β_{1} \\ β_{2} \\ ⋮ \\ β_{n} \end{matrix}] .

$\mathbf{X}\boldsymbol{\beta} = \begin{bmatrix} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1\\ \end{bmatrix} \begin{bmatrix} \beta_1 \\ \beta_2 \\ \vdots \\ \beta_n \end{bmatrix}.$

Note that in particular, $\mathbf{x}_i^\intercal \boldsymbol{\beta} = \beta_i$ .

So taking the $j$ th row of equation (2) gives us

\sum_{i = 1}^{n} y_{i} x_{i, j} = \sum_{i = 1}^{n} \frac{\exp [x_{i}^{⊺} β]}{(1 + \exp [x_{i}^{⊺} β])} x_{i, j}

$\sum_{i=1}^n y_i x_{i,j} = \sum_{i=1}^n\frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }x_{i,j}$

which can only be true if for each observation $i$ :

y_{i} = invlogit (β_{i})

$y_i = \text{invlogit}(\beta_i )$ or in other words each

β_{i}

$\beta_i$ is plus or minus infinity (if

y_{i}

$y_i$ is

1

$1$ or

0

$0$ , respectively). We can plug these parameters back into (1) to get the maximized likelihood:

\prod_{i = 1}^{n} {\hat{π}}_{i}^{y_{i}} (1 - {\hat{π}}_{i})^{1 - y_{i}} = 1^{n} = 1.

$\prod_{i=1}^n \hat{\pi}_i^{y_i}(1-\hat{\pi}_i)^{1-y_i} = 1^n = 1.$ Clearly the log of this is

0

$0$ .

— Taylor
ソース

But this assumes ungrouped data. If you have groups with

n_{i} > 1

$n_i>1$ (and the same covariate values) (in R, forexample using the form glm( cbind(k, n-k) ~ x + ... ) then the saturated model do not have loglikelihood zero.

— kjetil b halvorsen

@kjetilbhalvorsen oh good point. I never tried that let me check

— Taylor

@Alex：はい、そうです。少なくとも離散分布の場合。連続分布の場合、密度を1に等しくすることになりますが、これは必ずしも意味がなく、したがって、試行して達成するのが賢明なことではありません。少し一般的には、飽和モデルの対数尤度は、基礎となる分布ファミリーの仮定に従うモデルのパフォーマンスの上限を提供します。言い換えれば、飽和二項モデルの対数尤度は、Yが二項であると仮定して、与えられたデータセット（X、Y）に対して「得る限り良好」です。モデルは応答分布の仮定によって本質的に制約されるため、glmモデルを、たとえば100％（または同様）とは対照的に、この上限と比較することは理にかなっています。

— bettmensch88
ソース