GLMのMLEを見つけるためのIRLSメソッドの簡単で直感的な説明を提供できますか?


12

バックグラウンド:

GLMのMLE推定に関するプリンストンのレビューをフォローしようとしています。

私はMLE推定の基礎を理解:likelihoodscore、観察し、期待Fisher informationFisher scoring技術。そして、私はMLE推定で単純な線形回帰を正当化する方法を知っています。


質問:

このメソッドの最初の行すら理解できません:(

次のように定義された作業変数の背後にある直観は何ですか?z

zi=η^i+(yiμ^i)dηidμi

なぜβを推定するために代わりに使用されるのですか?yiβ

そしてresponse/link functionμの間の接続であるとの関係は何ですかημ

誰もが簡単な説明をしているか、これについてより基本的なレベルのテキストに私を導くことができるならば、私は感謝するでしょう。


1
補足として、私にとっては、「GLM」フレームワーク全体について聞く前に、堅牢な(M-)推定のコンテキストでIRLSについて学びました(まだ完全には理解しいません)。このアプローチの実用的な観点から、最小二乗法の単純な一般化として、私は最初に出会ったソースをお勧めします:Richard SzeliskiのComputer Vision(無料E-)本の付録B (最初の4ページ、実際、これらはまた、いくつかの素晴らしい例)。
GeoMatt22

回答:


15

数年前、私はこのことについて学生向けに(スペイン語で)論文を書いたので、ここでそれらの説明を書き直すことができます。複雑さを増す一連の例を通して、IRLS(繰り返し重み付けされた最小二乗)を見ていきます。最初の例では、ロケーションスケールファミリの概念が必要です。ましょう、ある意味ではゼロを中心と密度関数です。f x = f x ; μ σ = 1を定義することにより、密度のファミリーを構築でき ます。f0 ここで、σ>0はスケールパラメーターで、μは位置パラメーターです。通常、誤差項が正規分布としてモデル化される測定誤差モデルでは、その正規分布の代わりに、上記で構築されたロケーションスケールファミリを使用できます。場合F0は標準正規分布であり、構成は上記与え

f(x)=f(x;μ,σ)=1σf0(xμσ)
σ>0μf0ファミリー。N(μ,σ)

次に、いくつかの簡単な例でIRLSを使用します。最初に、モデルY 1のML(最尤)推定量を見つけます 密度を持つ iid

Y1,Y2,,Yni.i.d
コーシー分布位置ファミリー μ(これは場所ファミリーであるように)。しかし、最初にいくつかの表記法。加重最小二乗推定量 μは、によって与えられ、 μ * = Σ N iが= 1 wはI 、Y I
f(y)=1π11+(yμ)2,yR,
μμ ここで、wiはいくつかの重みです。我々は、のML推定器ことがわかりますμを用いて、同一の形で表現することができるWI残差の一部機能は、 εiは=YIを
μ=i=1nwy=1nw
wiμwi 尤度関数は L y ; μ
ϵi=yiμ^.
及びログ尤度関数は次式で与えられ 、LY=-Nログπ- N Σ iが=1つのログ1+をYI-μ2 その誘導体μがある L Y
L(y;μ)=(1π)ni=1n11+(yiμ)2
l(y)=nlog(π)i=1nlog(1+(yiμ)2).
μ εiは=YI-μを。書き込みf0ϵ=1
l(y)μ=0μlog(1+(yiμ)2)=2(yiμ)1+(yiμ)2(1)=2ϵi1+ϵi2
ϵi=yiμおよびf0f0(ϵ)=1π11+ϵ2f0を得る f0(ϵ)=1π12ϵ(1+ϵ2)2 私たちを見つける L Y
f0(ϵ)f0(ϵ)=12ϵ(1+ϵ2)211+ϵ2=2ϵ1+ϵ2.
定義 wi= f 0 ϵ i)を使用した場合
l(y)μ=f0(ϵi)f0(ϵi)=f0(ϵi)f0(ϵi)(1ϵi)(ϵi)=wiϵi
wi=f0(ϵi)f0(ϵi)(1ϵi)=2ϵi1+ϵi2(1ϵi)=21+ϵi2.
Remembering that ϵi=yiμ we obtain the equation
wiyi=μwi,
which is the estimating equation of IRLS. Note that
  1. The weights wi are always positive.
  2. If the residual is large, we give less weight to the corresponding observation.

To calculate the ML estimator in practice, we need a start value μ^(0), we could use the median, for example. Using this value we calculate residuals

ϵi(0)=yiμ^(0)
and weights
wi(0)=21+ϵi(0).
The new value of μ^ is given by
μ^(1)=wi(0)yiwi(0).
Continuing in this way we define
ϵi(j)=yiμ^(j)
and
wi(j)=21+ϵi(j).
The estimated value at the pass j+1 of the algorithm becomes
μ^(j+1)=wi(j)yiwi(j).
Continuing until the sequence
μ^(0),μ^(1),,μ^(j),
converges.

Now we studies this process with a more general location and scale family, f(y)=1σf0(yμσ), with less detail. Let Y1,Y2,,Yn be independent with the density above. Define also ϵi=yiμσ. The loglikelihood function is

l(y)=n2log(σ2)+log(f0(yiμσ)).
Writing ν=σ2, note that
ϵiμ=1σ
and
ϵiν=(yiμ)(1ν)=(yiμ)12σ3.
Calculating the loglikelihood derivative
l(y)μ=f0(ϵi)f0(ϵi)ϵiμ=f0(ϵi)f0(ϵi)(1σ)=1σfo(ϵi)f0(ϵi)(1ϵi)(ϵi)=1σwiϵi
and equaling this to zero gives the same estimating equation as the first example. Then searching for an estimator for σ2:
lyν=n21ν+f0ϵf0ϵϵν=n21ν+f0ϵf0ϵyμ2σ3=n21ν121σ2f0ϵf0ϵϵ=n21ν121νf0ϵf0ϵ1ϵϵϵ=n21ν+121νwϵ2=0。
推定器につながる
σ2^=1nwyμ^2
この場合にも、上記の反復アルゴリズムを使用できます。

以下では、Rを使用して、二重指数モデル(既知のスケール)およびdataを使用した数値例を示しますy <- c(-5,-1,0,1,5)。このデータの場合、ML推定量の真の値は0です。初期値はですmu <- 0.5。アルゴリズムの1つのパスは

  iterest <- function(y, mu) {
               w <- 1/abs(y-mu)
               weighted.mean(y,w)
               }

この関数を使用すると、「手作業」で反復を行うことができます。次に、反復アルゴリズムを次のように実行できます。

mu_0 <- 0.5
repeat {mu <- iterest(y,mu_0)
        if (abs(mu_0 - mu) < 0.000001) break
        mu_0 <- mu }

演習:モデルが tk スケールパラメーターを使用した分布 σ 繰り返しが重みで与えられることを示す

w=k+1k+ϵ2
演習:密度がロジスティックの場合、重みが
wϵ=1eϵ1+eϵ1ϵ

とりあえずここに置いておきますが、この投稿を続けます。


うわー、素晴らしい優しい紹介!しかし、あなたは常に単一のパラメータを参照していますあなたは 私が引用したすべてのインスタンスとソースについては、別の あなたはインスタンスごと。これは簡単な変更ですか?
ihadanny

1
これからさらに時間をかけて追加します!アイデアは同じままですが、詳細はより複雑になります。
kjetil bハルヴォルセン16

2
それに来ます!
kjetil bハルヴォルセン16

1
そして、ロジスティック密度の重みを示す演習に感謝します。それをやり、プロセスを通じて多くのことを学びました。わからないtk配布、それについて何も見つかりませんでした
...-ihadanny

2
この説明を続けるどこかでブログ記事を書いてもいいですか?私にとって本当に便利だし、他の人にとってもきっと役立つだろう…
-ihadanny
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.