ワイブル分布のEM最尤推定

24

注： 私は、技術的な理由で自分で投稿できない元学生の質問を投稿しています。

pdfを持つワイブル分布からの iidサンプル与えられた場合、は有用な欠損変数表現、したがって、直接的な方法を使用する代わりにのMLEを見つけるために使用できる関連EM（期待値最大化）アルゴリズム数値最適化？ $x_1,\ldots,x_n$

f_{k} （ バツ ） = k {バツ}^{k - 1} e^{- {バツ}^{k}} バツ > 0

$f_k(x) = k x^{k-1} e^{-x^k} \quad x>0$

f_{k} （ バツ ） = \int_{Z} g_{k} （ バツ 、 z ） d z

$f_k(x) = \int_\mathcal{Z} g_k(x,z)\,\text{d}z$

k

$k$

— 西安
ソース

2

検閲はありますか？

— ocram

2

ニュートンラプソンの何が問題になっていますか？

— 確率の

2

@probabilityislogic：何も悪いことはありません！私の学生は、EMバージョンがあるかどうかを知りたいのですが、それだけです

— 西安

1

たとえば、ガウス分布または一様確率変数の観測など、異なる単純なコンテキストで探しているものの例を教えてください。すべてのデータが観察されたとき、私（およびコメントに基づいて他のポスターのいくつか）は、EMがあなたの質問にどのように関連しているかを見ません。

— ahfoss

1

@probabilityislogic「ああ、あなたはニュートン・ラフソンを使いたいのですか？」と言ったほうがいいと思います。ワイブルは通常の家族です... MLソリューションはユニークだと思います。したがって、EMは「E」以上のことは何もしないので、あなたはただ「M」しているだけです...そしてスコア方程式の根を見つけることがそれを行う最良の方法です！

— AdamO 14

7

質問を正しく理解していれば、答えはイエスだと思います。

書きます。次に、たとえばで始まるEMアルゴリズムタイプの反復は、 $z_i = x_i^k$ $\hat k = 1$

Eステップ： ${\hat z}_i = x_i^{\hat k}$
Mステップ： $\hat k = \frac{n}{\left[\sum({\hat z}_i - 1)\log x_i\right]}$

これは、エイトキンとクレイトン（1980）によるワイブル比例ハザードモデルに対して提案された反復の特別なケース（打ち切りも共変量もないケース）です。また、Aitkin et al（1989）のセクション6.11にも記載されています。

Aitkin、M.およびClayton、D.、1980。GLIMを使用した複雑な打ち切り生存データへの指数分布、ワイブル分布および極値分布のフィッティング。応用統計、pp.156-163。
Aitkin、M.、Anderson、D.、Francis、B.、Hinde、J.、1989。GLIMの統計モデリング。オックスフォード大学出版局。ニューヨーク。

— デビッドF
ソース

デイビッド、どうもありがとう！を欠落している変量として扱うことは、私の心を決して横切ることはありませんでした...！

x_{i}^{k}

$x_i^k$

— 西安

7

ワイブルMLEは唯一の数値的に解けるです。

ましょう with。

f_{λ, β} (x) = {\begin{cases} \frac{β}{λ} {(\frac{x}{λ})}^{β - 1} e^{- {(\frac{x}{λ})}^{β}} & , x \geq 0 \\ 0 & , x < 0 \end{cases}

$f_{\lambda,\beta}(x) = \begin{cases} \frac{\beta}{\lambda}\left(\frac{x}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x}{\lambda}\right)^{\beta}} & ,\,x\geq0 \\ 0 &,\, x<0 \end{cases}$

β, λ > 0

$\beta,\,\lambda>0$

1）尤度関数：

L_{\hat{バツ}} （ λ 、 β ） = \prod_{私 = 1}^{N} f_{λ 、 β} （ {バツ}_{私} ） = \prod_{私 = 1}^{N} \frac{β}{λ} {（ \frac{{バツ}_{私}}{λ} ）}^{β - 1} e^{- {（ \frac{{バツ}_{私}}{λ} ）}^{β}} = \frac{β^{N}}{λ^{N β}} e^{- \sum_{私 = 1}^{N} {（ \frac{{バツ}_{私}}{λ} ）}^{β}} \prod_{私 = 1}^{N} {バツ}_{私}^{β - 1}

$\mathcal{L}_{\hat{x}}(\lambda, \beta) =\prod_{i=1}^N f_{\lambda,\beta}(x_i) =\prod_{i=1}^N \frac{\beta}{\lambda}\left(\frac{x_i}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x_i}{\lambda}\right)^{\beta}} = \frac{\beta^N}{\lambda^{N \beta}} e^{-\sum_{i=1}^N\left(\frac{x_i}{\lambda}\right)^{\beta}} \prod_{i=1}^N x_i^{\beta-1}$

対数尤度関数：

ℓ_{\hat{バツ}} （ λ 、 β ） ：= \ln L_{\hat{バツ}} （ λ 、 β ） = N \ln β - N β \ln λ - \sum_{私 = 1}^{N} {（ \frac{{バツ}_{私}}{λ} ）}^{β} + （ β - 1 ） \sum_{私 = 1}^{N} \ln {バツ}_{私}

$\ell_{\hat{x}}(\lambda, \beta):= \ln \mathcal{L}_{\hat{x}}(\lambda, \beta)=N\ln \beta-N\beta\ln \lambda-\sum_{i=1}^N \left(\frac{x_i}{\lambda}\right)^\beta+(\beta-1)\sum_{i=1}^N \ln x_i$

2）MLE-問題： 3）による最大化 - 勾配：次のとおりです。

\begin{aligned} \underset{（ λ 、 β ） \in R^{2}}{最大} & ℓ_{\hat{バツ}} （ λ 、 β ） \\ 聖 λ > 0 \\ β > 0 \end{aligned}

$\begin{equation*} \begin{aligned} & & \underset{(\lambda,\beta) \in \mathbb{R}^2}{\text{max}}\,\,\,\,\,\, & \ell_{\hat{x}}(\lambda, \beta) \\ & & \text{s.t.} \,\,\, \lambda>0\\ & & \beta > 0 \end{aligned} \end{equation*}$

0

$0$

\begin{aligned} \frac{\partial l}{\partial λ} & = - N β \frac{1}{λ} + β \sum_{私 = 1}^{N} {バツ}_{私}^{β} \frac{1}{λ^{β + 1}} & \overset{！}{=} 0 \\ \frac{\partial l}{\partial β} & = \frac{N}{β} - N \ln λ - \sum_{私 = 1}^{N} \ln （ \frac{{バツ}_{私}}{λ} ） e^{β \ln （ \frac{{バツ}_{私}}{λ} ）} + \sum_{私 = 1}^{N} \ln {バツ}_{私} & \overset{！}{=} 0 \end{aligned}

$\begin{align*} \frac{\partial l}{\partial \lambda}&=-N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}}&\stackrel{!}{=} 0\\ \frac{\partial l}{\partial \beta}&=\frac{N}{\beta}-N\ln\lambda-\sum_{i=1}^N \ln\left(\frac{x_i}{\lambda}\right)e^{\beta \ln\left(\frac{x_i}{\lambda}\right)}+\sum_{i=1}^N \ln x_i&\stackrel{!}{=}0 \end{align*}$

\begin{aligned} - N β \frac{1}{λ} + β \sum_{私 = 1}^{N} {バツ}_{私}^{β} \frac{1}{λ^{β + 1}} & = 0 \\ - β \frac{1}{λ} N + β \frac{1}{λ} \sum_{私 = 1}^{N} {バツ}_{私}^{β} \frac{1}{λ^{β}} & = 0 \\ - 1 + \frac{1}{N} \sum_{私 = 1}^{N} {バツ}_{私}^{β} \frac{1}{λ^{β}} & = 0 \\ \frac{1}{N} \sum_{私 = 1}^{N} {バツ}_{私}^{β} & = λ^{β} \end{aligned}

$\begin{align*} -N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}} &= 0\\\\ -\beta\frac{1}{\lambda}N +\beta\frac{1}{\lambda}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}} &= 0\\\\ -1+\frac{1}{N}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}}&=0\\\\ \frac{1}{N}\sum_{i=1}^N x_i^\beta&=\lambda^\beta \end{align*}$

\Rightarrow λ^{*} = {（ \frac{1}{N} \sum_{私 = 1}^{N} {バツ}_{私}^{β^{*}} ）}^{\frac{1}{β^{*}}}

$\Rightarrow\lambda^*=\left(\frac{1}{N}\sum_{i=1}^N x_i^{\beta^*}\right)^\frac{1}{\beta^*}$

2番目の0勾配条件にを差し込む： $\lambda^*$

\begin{aligned} \Rightarrow β^{*} = {[\frac{\sum_{私 = 1}^{N} {バツ}_{私}^{β^{*}} \ln {バツ}_{私}}{\sum_{私 = 1}^{N} {バツ}_{私}^{β^{*}}} - \bar{\ln バツ}]}^{- 1} \end{aligned}

$\begin{align*} \Rightarrow \beta^*=\left[\frac{\sum_{i=1}^N x_i^{\beta^*}\ln x_i}{\sum_{i=1}^N x_i^{\beta^*}}-\overline{\ln x}\right]^{-1} \end{align*}$

この方程式は、数値的にのみ解くことができます（例：ニュートンラプソンアルゴリズム）。その後、をに配置して、ワイブル分布のML推定量を完成させることができます。 $\hat{\beta}^*$ $\lambda^*$

— em護
ソース

11

残念ながら、これは識別可能な方法で質問に答えているようには見えません。OPは、ニュートンラプソンおよび関連するアプローチを非常に明確に認識しています。NRの実現可能性は、欠損変数表現または関連するEMアルゴリズムの存在を決して妨げるものではありません。私の推定では、この質問は数値解法にはまったく関わっておらず、興味深い欠損変数アプローチが実証された場合に明らかになるかもしれない洞察を探っています。

— 枢機

@cardinalする一つのことであると言うだけで数値解があった、ために別のものである示した唯一の数値解があります。

— emcor 14

5

@emcor様、質問の内容を誤解していると思います。おそらく、他の回答と関連するコメントストリームを確認すると役立つでしょう。乾杯。

— 枢機卿

@cardinal私はそれが直接的な答えではないことに同意しますが、それはEMを検証するために使用できるMLEの正確な表現です。

— emcor 14

4

これは古い質問ですが、http：//home.iitk.ac.in/~kundu/interval-censoring-REVISED-2.pdfで公開されている論文に回答があるようです。

この作業では、基礎となる寿命分布としてワイブル分布を使用して、区間打ち切りデータの分析が検討されました。検閲メカニズムは独立しており、情報価値がないと想定されています。予想どおり、最尤推定量は閉じた形では取得できません。シミュレーション実験では、Newton-Raphson法は何回も収束しない可能性があります。最尤推定量を計算するための期待値最大化アルゴリズムが提案されており、ほぼ常に収束します。

— user3204720
ソース

1

リンクに論文の完全な引用を投稿できますか？

— GUNG -復活モニカ

1

これは、EMアルゴリズムが、私はOPが望んでいると信じて何をしません。むしろ、E-ステップは打ち切りデータを補完し、その後、M-ステップは完全なデータセットで固定小数点アルゴリズムを使用します。したがって、Mステップは閉じた形式ではありません（OPが探しているものだと思います）。

— クリフAB

1

@CliffAB：リンク（+1）に感謝しますが、実際、この論文では検閲部分によってEMが自然に誘導されます。私の元学生は、EMを介した単純な無修正iidワイブル尤度最適化を探していました。

— 西安

-1

この場合、MLE推定器は実際にはEM推定器の特殊なケースに過ぎないため、MLE推定器とEM推定器は同等です。（私は答えで頻繁なフレームワークを想定しています;これは、私たちがMAPについて話しているベイジアンコンテキストのEMには当てはまりません）。欠損データ（未知のパラメーター）がないため、Eステップは、選択に関係なく、対数尤度を単に返します。Mステップは、対数尤度を最大化し、MLEを生成します。 $k^{(t)}$

たとえば、パラメーターとの2つのワイブル分布の混合からデータを観測した場合、EMは適用可能ですが、各観測がこれらの2つの分布のどちらから来たかはわかりませんでした。 $k_1$ $k_2$

— アフォス
ソース

6

質問のポイントを誤って解釈した可能性があると思います：特定のワイブル尤度を取得する（およびEMに似たアルゴリズムを適用できる）欠損変数の解釈はありますか？

— 枢機

4

@ Xi'anの投稿の質問文は非常に明確です。答えが得られなかった理由は、どんな答えも自明でない可能性が高いためだと思います。（興味深いので、もっと時間をかけて考えてほしい。）とにかく、あなたのコメントはEMアルゴリズムの誤解を裏切っているようだ。おそらく、以下の解毒剤として使用されます：

— カーディナル

6

ましょうここで標準正規密度関数です。LET。かかり、標準的な均一化をIID。次に、は混合ガウスモデルのサンプルです。（総当たり）最尤法によってパラメーターを推定できます。データ生成プロセスに欠落データはありますか？いいえ。EMアルゴリズムの使用を可能にする潜在変数表現を持っていますか？はい、絶対に。

f (x) = π φ (x - μ_{1}) + (1 - π) φ (x - μ_{2})

$f(x) = \pi \varphi(x-\mu_1) + (1-\pi) \varphi(x-\mu_2)$

φ

$\varphi$

F (x) = \int_{- \infty}^{x} f (u) d u

$F(x) = \int_{-\infty}^x f(u)\,\mathrm{d}u$

U_{1}, \dots, U_{n}

$U_1,\ldots,U_n$

X_{i} = F^{- 1} (U_{i})

$X_i = F^{-1}(U_i)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— 枢機

4

謝罪@cardinal; 私はあなたの最新の投稿について2つのことを誤解していると思います。はい、GMM問題では、ブルートフォースMLアプローチでを検索できます。また、元の問題は、与えられた密度パラメーターを推定するためのEMアプローチを可能にする潜在変数の導入を伴う解決策を探すことがわかりました。興味深い問題。このような単純なコンテキストでこのようなEMを使用する例はありますか？私のEMへの露出のほとんどは、混合問題とデータ補完のコンテキストにあります。

R^{2} \times [0, 1]

$\mathbb{R}^2 \times [0,1]$

k

$k$

k x^{k - 1} e^{- x^{k}}

$k x^{k-1}e^{-x^k}$

— ahfoss

3

@ahfoss：（+1）あなたの最新のコメント。はい！わかった。例としては：（I）が（iii）のプロビットモデル（例えば、のような単純な閾値モデルは潜在観察想像し、隠れマルコフモデルなど（ii）の古典的なアプリケーション、打ち切りデータの問題に表示代わりにベルヌーイ）、（iv）一方向ランダム効果モデル（およびより複雑な混合モデル）の分散成分の推定、および（v）ベイジアン階層モデルの事後モードの検出。最も簡単なのは、おそらく（i）に続いて（iii）です。

Z_{i}

$Z_i$

X_{i} = 1_{(Z_{i} > μ)}

$X_i = \mathbf{1}_{(Z_i > \mu)}$

— 枢機