EMを使用してこのモデルのパラメーターを推定する方法に関する質問

私はEMを理解し、この手法を使用してこのモデルのパラメーターを推測しようとしていますが、開始方法を理解するのに問題があります。

したがって、観測値と対応する観測値がある次のような重み付き線形回帰モデルがあります。と関係のモデルは加重線形回帰モデルであり、分布の仮定は次のとおりです。 $X = (x_i, x_2....x_n)$ $Y = (y_1, y_2....y_n)$ $X$ $Y$

y_{i} \sim N (β^{T} x_{i}, \frac{σ^{2}}{w_{i}})

$y_i \sim \mathcal{N}(\beta^Tx_i, \frac{\sigma^2}{w_i})$

β \sim N (0, Σ_{β})

$\beta \sim \mathcal{N}(0, \Sigma_\beta)$

w_{i} \sim G (a, b)

$w_i \sim \mathcal{G}(a, b)$

ここでは回帰パラメーターであり、モデルは応答変数に分散に個別の重みを持たせることにより、不均一な分散を可能にします。私の目標は、パラメータによって与えられる最も可能性の高い線形関係を見つけることです。 $\beta$ $\beta$

したがって、次のようにlog-posteriorを書き込むことができます。

\log P (Y, β, w | X) = \sum_{i = 1}^{n} (\log P (y_{i} | x_{i}, β, w_{i}) + \log P (w_{i})) + l o g P (β)

$\log P(Y, \beta, w|X) = \sum_{i=1}^n \big(\log P(y_i|x_i, \beta, w_i) + \log P(w_i)\big) + log P(\beta)$

今、私はEMを理解しようとしましたが、私の理解がまだ完全であるかどうかはわかりませんが、理解しているように、パラメーターの推定を開始するために、対数事後分布潜在/非表示パラメーター（私の場合はと。したがって、この必要な期待値は次のようになります。 $\log P(Y, \beta, w|X)$ $\beta$ $w$

\int \int P (β, w | X) * \log P (Y, β, w | X) d w d β

$\int\int P(\beta, w | X) * \log P(Y, \beta, w | X) dw \;d\beta$

ただし、この期待値を計算するために、ここから先に進む方法がわかりません。次のステップがどうあるべきかについての提案をいただければ幸いです。私は必要なものすべてを私に導き出す人を探しているのではなく、次のステップで何を解決しようとしているのかについて正しい方向に微調整するだけです。

bayesian expectation-maximization

— ルカ
ソース

Expectation-MaximizationのようなEMが問題に適用されますか？

— 西安

私はそう思う。私は論文を理解しようとしていますが、彼らはこの加重ベイズ線形回帰問題を解くためにEMを使用しています。

— ルカ、

潜在変数をおよびすることはできません。に関心がある場合、潜在変数はおそらくです。その場合、Eステップの予想される完全な対数尤度関数をて、Mステップので最適化する必要があります。

β

$\beta$

w_{i}

$w_i$

β

$\beta$

w_{i}

$w_i$

Q (β | β_{0})

$Q(\beta|\beta_0)$

β

$\beta$

— 西安

ご意見ありがとうございます。私が試して明確にすることができる場合、このペーパーでは、不完全な対数尤度を最大化することに関心があることを述べていますが、次の式によって与えられる完全なデータ尤度で作業し：、これはこのセットアップでは事後分布のように見えました。したがって、この設定ではが非表示のbvariableとして扱われていると想定しました。

\log p (Y | X)

$\log p(Y|X)$

\log P (y, w, β | X)

$\log P(y, w, \beta|X)$

β

$\beta$

— Luca

EMアルゴリズムについてすでにどれだけ知っていますか？それについてどの本や紙を勉強しましたか？このようなフォーラムをゼロから始めるのは悪い考えのように思えます。

— 西安

まず、EMアルゴリズムの基本を思い出してみましょう。フォームの尤度の最大尤度推定値を探すときで最大化をもたらす（E）完全対数尤度期待反復最大化アルゴリズム進む（M）、（）反復で関数

\int f (x, z | β) d z,

$\int f(x,z|\beta)\text{d}z,$

β

$\beta$

t

$t$

、アルゴリズムは、したがって、潜在変数を識別することによって開始しなければならない

とその条件付き分布を。

Q (β | β_{i}) = \int \log f (x, z | β) f (z | x, β_{t}) d z

$Q(\beta|\beta_i)=\int \log f(x,z|\beta) f(z|x,\beta_t)\text{d}z$

z

$z$

あなたのケースでは、潜在変数がされているようだで作られたの関心のパラメータがありながらの。あなたは、両方の処理する場合と潜在変数として最適化するために、残されたパラメータがありません。ただし、これは、の事前値が使用されないことも意味します。 $\varpi$ $w_i$ $\beta$ $\beta$ $\varpi$ $\beta$

$w_i$

f (w_{i} | x_{i}, y_{i}, β) \propto \sqrt{w_{i}} \exp {- w_{i} (y_{i} - β^{T} x_{i})^{2} / 2 σ^{2}} \times w_{i}^{a - 1} \exp {- b w_{i}}

$f(w_i|x_i,y_i,\beta)\propto\sqrt{w_i}\exp\left\{-w_i(y_i-\beta^Tx_i)^2/2\sigma^2\right\}\times w_i^{a-1}\exp\{-bw_i\}$

G (a + 1 / 2, b + (y_{i} - β^{T} x_{i})^{2} / 2 σ^{2})

$\mathcal{G}\left(a+1/2,b+(y_i-\beta^Tx_i)^2/2\sigma^2\right)$

\sum_{i} \frac{1}{2} {\log (w_{i}) - w_{i} (y_{i} - β^{T} x_{i})^{2} / σ^{2}}

$\sum_i \frac{1}{2}\left\{\log(w_i)- w_i(y_i-\beta^Tx_i)^2/\sigma^2\right\}$

β

$\beta$

- \sum_{i} w_{i} (y_{i} - β^{T} x_{i})^{2} / 2 σ^{2}

$-\sum_iw_i(y_i-\beta^Tx_i)^2/2\sigma^2$

- Q (β | β_{t})

$-Q(\beta|\beta_t)$

\begin{aligned} E [\sum_{i} w_{i} (y_{i} - β^{T} x_{i})^{2} | X, Y, β_{t}] & = \sum_{i} E [w_{i} | X, Y, β_{t}] (y_{i} - β^{T} x_{i})^{2} \\ = \sum_{i} \frac{a + 1 / 2}{b + (y_{i} - β_{t}^{T} x_{i})^{2} / 2 σ^{2}} (y_{i} - β^{T} x_{i})^{2} \end{aligned}

$\begin{align*}\mathbb{E}\left[\sum_iw_i(y_i-\beta^Tx_i)^2\Big|X,Y,\beta_t\right]&=\sum_i\mathbb{E}[w_i|X,Y,\beta_t](y_i-\beta^Tx_i)^2\\&=\sum_i\frac{a+1/2}{b+(y_i-\beta_t^Tx_i)^2/2\sigma^2}(y_i-\beta^Tx_i)^2\end{align*}$

β

$\beta$

\frac{a + 1 / 2}{b + (y_{i} - β_{t}^{T} x_{i})^{2} / 2 σ^{2}}

$\frac{a+1/2}{b+(y_i-\beta_t^Tx_i)^2/2\sigma^2}$

— 西安
ソース

β

$\beta$

Q (β, w)

$Q(\beta, w)$

Q (w) Q (β)

$Q(w)Q(\beta)$

β

$\beta$

w

$w$

β

$\beta$

l o g (\sqrt{w_{i}})

$log(\sqrt{w_i})$

1 / 2

$1/2$