EMアルゴリズムを使用して、ゼロ膨張ポアソンモデルの潜在変数定式化のMLEをどのように計算しますか？

ゼロ膨張ポアソン回帰モデルは、サンプルに対してによって定義されそしてさらに、パラメーターおよび満たすと仮定します $(y_1,\ldots,y_n)$

Y_{i} = {\begin{cases} 0 & with probability p_{i} + (1 - p_{i}) e^{- λ_{i}} \\ k & with probability (1 - p_{i}) e^{- λ_{i}} λ_{i}^{k} / k! \end{cases}

$Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! \end{cases}$

λ = (λ_{1}, \dots, λ_{n})

$\mathbf{\lambda} = (\lambda_1, \dots, \lambda_n)$

p = (p_{1}, \dots, p_{n})

$\textbf{p} = (p_1, \dots, p_n)$

\begin{aligned} \log (λ) & = B β \\ logit (p) & = \log (p / (1 - p)) = G γ . \end{aligned}

$\eqalign{ \log(\mathbf{\lambda}) &= \textbf{B} \beta \\ \text{logit}(\textbf{p}) &= \log(\textbf{p}/(1-\textbf{p})) = \textbf{G} \mathbf{\gamma}. }$

ゼロインフレーションポアソン回帰モデルの対応する対数尤度は、

\begin{aligned} L (γ, β; y) & = \sum_{y_{i} = 0} \log (e^{G_{i} γ} + \exp (- e^{B_{i} β})) + \sum_{y_{i} > 0} (y_{i} B_{i} β - e^{B_{i} β}) \\ - \sum_{i = 1}^{n} \log (1 + e^{G_{i} γ}) - \sum_{y_{i} > 0} \log (y_{i}!) \end{aligned}

$\eqalign{ L(\gamma,\mathbf{\beta}; \mathbf{y}) &= \sum_{y_i=0} \log(e^{G_i \gamma}+\exp(-e^{\textbf{B}_i \mathbf{\beta}})) +\sum_{y_i >0} (y_i \textbf{B}_i \mathbf{\beta}-e^{\textbf{B}_i \mathbf{\beta}})\\ &\quad -\sum_{i=1}^{n} \log(1+e^{G_{i} \gamma})-\sum_{y_i >0} \log(y_{i}!)}$

ここで、とは計画行列です。これらの行列は、2つの生成プロセスで使用したい機能に応じて、同じにすることができます。ただし、行数は同じです。 $\mathrm{B}$ $\mathrm{G}$

が完全なゼロ状態からのものである場合に観測でき、がポアソン状態からのものである場合に観測できると仮定すると、対数尤度は次のようになります。 $Z_i = 1$ $Y_i$ $Z_i = 0$ $Y_i$

L (γ, β; y, z) = \sum_{i = 1}^{n} \log (f (z_{i} | γ)) + \sum_{i = 1}^{n} \log (f (y_{i} | z_{i}, β))

$L(\gamma,\mathbf{\beta}; \mathbf{y}, \mathbf{z}) = \sum_{i=1}^{n} \log(f(z_i|\mathbf{\gamma}))+\sum_{i=1}^{n} \log(f(y_i|z_i, \mathbf{\beta}))$

= \sum_{i = 1}^{n} z_{i} (G_{i} γ - \log (1 + e^{G_{i} γ})) + - \sum_{i = 1}^{n} (1 - z_{i}) \log (1 + e^{G_{i} γ}) + \sum_{i = 1}^{n} (1 - z_{i}) [y_{i} B_{i} β - e^{B_{i} β} - \log (y_{i}!)]

$= \sum_{i=1}^{n} z_{i} (\textbf{G}_i \gamma-\log(1+e^{G_{i} \gamma}))+ -\sum_{i=1}^{n} (1-z_{i})\log(1+e^{G_{i} \gamma})+ \sum_{i=1}^{n} (1-z_i)[y_{i} \textbf{B}_i \beta-e^{\textbf{B}_i \beta} - \log(y_{i}!)]$ 最初の2つの項は、を分離するロジスティック回帰の損失です

から。2番目の項は、ポアソンプロセスによって生成されたポイントへの回帰です。

z_{i} = 0

$z_i=0$

z_{i} = 1

$z_i=1$

しかし、潜在変数は観察できませんか？目的は、最初の対数尤度を最大化することです。しかし、潜在変数を導入し、新しい対数尤度を導出する必要があります。次に、EMアルゴリズムを使用して、2番目の対数尤度を最大化できます。しかし、これは、またはいずれかであることがわかっていると想定していますか？ $Z_i = 0$ $Z_i = 1$

— ダミアン
ソース

とは？また、この質問の大部分は、@ Robbyによる以前の別の質問から大幅にカットアンドペーストされているようです。あなたなの？

f

$f$

— マクロ

@マクロ：マクロはい、私です。が何かわからない。紙は決して言いませんでした。

f

$f$

— Damien

あなたが持っている難しさの根本は文にあります：

次に、EMアルゴリズムを使用して、2番目の対数尤度を最大化できます。

あなたが観察したように、あなたはできません。代わりに、最大化するのは2番目の対数尤度の期待値（「完全なデータ対数尤度」と呼ばれます）であり、期待値は超えて取得されます。 $z_i$

これは、反復手順につながります。ここで、回の反復で、回の反復からのパラメーター推定値を指定して、期待値を計算します（これは「Eステップとして知られています」 "、）次に、それらを完全なデータログ尤度に置き換え（この場合にこれを実行できる理由については、以下の編集を参照してください）、現在の反復（" Mステップ "）の推定値を取得するためにパラメーターに関して最大化します。。） $k^{th}$ $z_i$ $(k-1)^{th}$

最も単純な場合のゼロ膨張ポアソンの完全データ対数尤度-2つのパラメーター、たとえばとは、Mステップに関して大幅な簡略化を可能にし、これはフォームにある程度まで引き継がれます。それがどのように機能するかを、いくつかのRコードを介して簡単なケースで示しますので、その本質を見ることができます。あなたが問題を考えたときにそれが明瞭さの損失を引き起こすかもしれないので、私はできるだけ簡略化しません： $\lambda$ $p$

# Generate data
# Lambda = 1,  p(zero) = 0.1
x <- rpois(10000,1)
x[1:1000] <- 0

# Sufficient statistic for the ZIP
sum.x <- sum(x)

# (Poor) starting values for parameter estimates
phat <- 0.5
lhat <- 2.0

zhat <- rep(0,length(x))
for (i in 1:100) {
  # zhat[x>0] <- 0 always, so no need to make the assignment at every iteration
  zhat[x==0] <- phat/(phat +  (1-phat)*exp(-lhat))

  lhat <- sum.x/sum(1-zhat) # in effect, removing E(# zeroes due to z=1)
  phat <- mean(zhat)   

  cat("Iteration: ",i, "  lhat: ",lhat, "  phat: ", phat,"\n")
}

Iteration:  1   lhat:  1.443948   phat:  0.3792712 
Iteration:  2   lhat:  1.300164   phat:  0.3106252 
Iteration:  3   lhat:  1.225007   phat:  0.268331 
...
Iteration:  99   lhat:  0.9883329   phat:  0.09311933 
Iteration:  100   lhat:  0.9883194   phat:  0.09310694

あなたのケースでは、各ステップで重み付きポアソン回帰を実行します。重みは1-zhatの推定、したがって推定を取得し、次に最大化します。 $\beta$ $\lambda_i$

$\sum (\mathbb{E}z_i\log{p_i} + (1-\mathbb{E}z_i)\log{(1-p_i)})$

行列の係数ベクトルに関して、の推定値を取得します。期待値、各反復で再び計算されます。 $\mathbf{G}$ $p_i$ $\mathbb{E}z_i = p_i/(p_i+(1-p_i)\exp{(-\lambda_i)})$

アルゴリズムを理解するだけでなく、実際のデータに対してこれを実行する場合は、Rパッケージがすでに存在しています。これは、ライブラリを使用したhttp://www.ats.ucla.edu/stat/r/dae/zipoisson.htmの例psclです。

編集：私たちがしていることは、完全なデータログの可能性の期待値を最大化することであり、欠落しているデータ/潜在変数の期待値を接続して完全なデータログの可能性を最大化しないことを強調する必要があります。ここにあるように、完全なデータ対数尤度は欠落データで線形ですが、2つのアプローチは同じですが、それ以外の場合はそうではありません。

— jbowman
ソース

@Cokes、既存の回答を変更するのではなく、独自の補足回答としてこの情報を追加する必要があります。この編集は承認されるべきではありませんでした。

— ガン-モニカの回復