GLMのMLEを見つけるためのIRLSメソッドの簡単で直感的な説明を提供できますか？

バックグラウンド：

GLMのMLE推定に関するプリンストンのレビューをフォローしようとしています。

私はMLE推定の基礎を理解：likelihood、score、観察し、期待Fisher informationとFisher scoring技術。そして、私はMLE推定で単純な線形回帰を正当化する方法を知っています。

---

質問：

このメソッドの最初の行すら理解できません:(

次のように定義された作業変数の背後にある直観は何ですか？$z_i$

$$z_i = \hat\eta_i + (y_i -\hat\mu_i)\frac{d\eta_i}{d\mu_i}$$

なぜβを推定するために代わりに使用されるのですか？$y_i$$\beta$

そしてresponse/link function、とμの間の接続であるとの関係は何$\eta$$\mu$

誰もが簡単な説明をしているか、これについてより基本的なレベルのテキストに私を導くことができるならば、私は感謝するでしょう。

数年前、私はこのことについて学生向けに（スペイン語で）論文を書いたので、ここでそれらの説明を書き直すことができます。複雑さを増す一連の例を通して、IRLS（繰り返し重み付けされた最小二乗）を見ていきます。最初の例では、ロケーションスケールファミリの概念が必要です。ましょう、ある意味ではゼロを中心と密度関数です。f （x ）= f （x ; μ 、σ ）= 1を定義することにより、密度のファミリーを構築でき $f_0$ ここで、σ>0はスケールパラメーターで、μは位置パラメーターです。通常、誤差項が正規分布としてモデル化される測定誤差モデルでは、その正規分布の代わりに、上記で構築されたロケーションスケールファミリを使用できます。場合F0は標準正規分布であり、構成は上記与え

$$f(x)= f(x;\mu,\sigma)= \frac{1}{\sigma} f_0\left(\frac{x-\mu}{\sigma}\right)$$ $\sigma > 0$$\mu$$f_0$ファミリー。$\text{N}(\mu, \sigma)$

次に、いくつかの簡単な例でIRLSを使用します。最初に、モデルY 1のML（最尤）推定量を見つけます 。 密度を持つ

$$Y_1,Y_2,\ldots,Y_n \hspace{1em} \text{i.i.d}$$ コーシー分布位置ファミリー μ（これは場所ファミリーであるように）。しかし、最初にいくつかの表記法。加重最小二乗推定量 μは、によって与えられ、 μ * = Σ N iが= 1 wはI 、Y $$f(y)= \frac{1}{\pi} \frac{1}{1+(y-\mu)^2},\hspace{1em} y\in{\mathbb R},$$ $\mu$$\mu$ ここで、wiはいくつかの重みです。我々は、のML推定器ことがわかりますμを用いて、同一の形で表現することができるWI残差の一部機能は、 εiは=Y $$\mu^{\ast} = \frac{\sum_{i=1}^n w_i y_i} {\sum_{i=1}^n w_i}.$$ $w_i$$\mu$$w_i$ 尤度関数は L （y ; $$\epsilon_i = y_i-\hat{\mu}.$$ 及びログ尤度関数は次式で与えられ 、L（Y）=-Nログ（π）- N Σ iが=1つのログ（1+を（YI-μ）2）。 その誘導体μがある ∂ L （Y $$L(y;\mu)= \left(\frac{1}{\pi}\right)^n \prod_{i=1}^n \frac{1}{1+(y_i-\mu)^2}$$ $$l(y)= -n \log(\pi) - \sum_{i=1}^n \log\left(1+(y_i-\mu)^2\right).$$ $\mu$ εiは=YI-μを。書き込みf0（ϵ）= $$\begin{eqnarray} \frac{\partial l(y)}{\partial \mu}&=& 0-\sum \frac{\partial}{\partial \mu} \log\left(1+(y_i-\mu)^2\right) \nonumber \\ &=& -\sum \frac{2(y_i-\mu)}{1+(y_i-\mu)^2}\cdot (-1) \nonumber \\ &=& \sum \frac{2 \epsilon_i}{1+\epsilon_i^2} \nonumber \end{eqnarray}$$ $\epsilon_i=y_i-\mu$およびf ′ 0$f_0(\epsilon)= \frac{1}{\pi} \frac{1}{1+\epsilon^2}$、f ′ 0を得る $f_0'(\epsilon)=\frac{1}{\pi} \frac{-1\cdot 2 \epsilon}{(1+\epsilon^2)^2}$ 私たちを見つける ∂ L （Y $$\frac{f_0'(\epsilon)}{f_0(\epsilon)} = \frac{\frac{-1 \cdot2\epsilon}{(1+\epsilon^2)^2}} {\frac{1}{1+\epsilon^2}} = -\frac{2\epsilon}{1+\epsilon^2}.$$ 定義 wi= f ′ 0（ ϵ i $$\begin{eqnarray} \frac {\partial l(y)} {\partial \mu} & =& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \nonumber \\ &=& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) \cdot (-\epsilon_i) \nonumber \\ &=& \sum w_i \epsilon_i \nonumber \end{eqnarray}$$ $$w_i= \frac{f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{-2 \epsilon_i} {1+\epsilon_i^2} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{2}{1+\epsilon_i^2}.$$ Remembering that $\epsilon_i=y_i-\mu$ we obtain the equation $$\sum w_i y_i = \mu \sum w_i,$$ which is the estimating equation of IRLS. Note that

1. The weights $w_i$ are always positive.
2. If the residual is large, we give less weight to the corresponding observation.

To calculate the ML estimator in practice, we need a start value $\hat{\mu}^{(0)}$, we could use the median, for example. Using this value we calculate residuals

$$\epsilon_i^{(0)} = y_i - \hat{\mu}^{(0)}$$ and weights $$w_i^{(0)} = \frac{2}{1+\epsilon_i^{(0)} }.$$ The new value of $\hat{\mu}$ is given by $$\hat{\mu}^{(1)} = \frac{\sum w_i^{(0)} y_i} {\sum w_i^{(0)} }.$$ Continuing in this way we define $$\epsilon_i^{(j)} = y_i- \hat{\mu}^{(j)}$$ and $$w_i^{(j)} = \frac{2}{1+\epsilon_i^{(j)} }.$$ The estimated value at the pass $j+1$ of the algorithm becomes $$\hat{\mu}^{(j+1)} = \frac{\sum w_i^{(j)} y_i} {\sum w_i^{(j)} }.$$ Continuing until the sequence $$\hat{\mu}^{(0)}, \hat{\mu}^{(1)}, \ldots, \hat{\mu}^{(j)}, \ldots$$ converges.

Now we studies this process with a more general location and scale family, $f(y)= \frac{1}{\sigma} f_0(\frac{y-\mu}{\sigma})$, with less detail. Let $Y_1,Y_2,\ldots,Y_n$ be independent with the density above. Define also $\epsilon_i=\frac{y_i-\mu}{\sigma}$. The loglikelihood function is

$$l(y)= -\frac{n}{2}\log(\sigma^2) + \sum \log(f_0\left(\frac{y_i-\mu}{\sigma}\right)).$$ Writing $\nu=\sigma^2$, note that $$\frac{\partial \epsilon_i}{\partial \mu} = -\frac{1}{\sigma}$$ and $$\frac{\partial \epsilon_i}{\partial \nu} = (y_i-\mu)\left(\frac{1}{\sqrt{\nu}}\right)' = (y_i-\mu)\cdot \frac{-1}{2 \sigma^3}.$$ Calculating the loglikelihood derivative $$\frac{\partial l(y)}{\partial \mu} = \sum \frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial \mu} = \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot\left(-\frac{1}{\sigma}\right)= -\frac{1}{\sigma}\sum\frac{f_o'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right)(-\epsilon_i) = \frac{1}{\sigma}\sum w_i \epsilon_i$$ and equaling this to zero gives the same estimating equation as the first example. Then searching for an estimator for $\sigma^2$: $$\begin{eqnarray} \frac{\partial l(y)}{\partial \nu} &=& -\frac{n}{2}\frac{1}{\nu} + \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial\nu} \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)} \cdot \left(-\frac{(y_i-\mu)}{2\sigma^3}\right) \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu} - \frac{1}{2}\frac{1}{\sigma^2} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}-\frac{1}{2}\frac{1}{\nu} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right) (-\epsilon_i)\cdot\epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\frac{1}{2}\frac{1}{\nu}\sum w_i \epsilon_i^2 \stackrel{!}{=} 0. \nonumber \end{eqnarray}$$ 推定器につながる $$\hat{\sigma^2} = \frac{1}{n}\sum w_i (y_i-\hat{\mu})^2.$$ この場合にも、上記の反復アルゴリズムを使用できます。

以下では、Rを使用して、二重指数モデル（既知のスケール）およびdataを使用した数値例を示しますy <- c(-5,-1,0,1,5)。このデータの場合、ML推定量の真の値は0です。初期値はですmu <- 0.5。アルゴリズムの1つのパスは

  iterest <- function(y, mu) {
               w <- 1/abs(y-mu)
               weighted.mean(y,w)
               }

この関数を使用すると、「手作業」で反復を行うことができます。次に、反復アルゴリズムを次のように実行できます。

mu_0 <- 0.5
repeat {mu <- iterest(y,mu_0)
        if (abs(mu_0 - mu) < 0.000001) break
        mu_0 <- mu }

演習：モデルが $t_k$ スケールパラメーターを使用した分布 $\sigma$ 繰り返しが重みで与えられることを示す

$$w_i = \frac{k+1}{k+\epsilon_i^2}.$$ 演習：密度がロジスティックの場合、重みが $$w(\epsilon) = \frac{ 1-e^\epsilon}{1+e^\epsilon} \cdot - \frac{1}{\epsilon}.$$

とりあえずここに置いておきますが、この投稿を続けます。