紙からの期待の最大化に役立つ：事前配布を含める方法？

9

質問は、「放射輸送-拡散結合モデルを使用した拡散光トモグラフィーにおける画像再構成」というタイトルの論文に基づいています。

著者は、未知のベクトルスパース正則化を使用してEMアルゴリズムを適用し、画像のピクセルを推定します。モデルは、 $l_1$ $\mu$

\begin{matrix} (1) & y = A μ + e \end{matrix}

$y=A\mu + e \tag{1}$ 推定はEq（8）で次のように与えられます

\begin{matrix} (2) & \hat{μ} = \arg m a x \ln p (y | μ) + γ \ln p (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

私の場合、私はを長さフィルターと見なし、はフィルターを表すベクトルです。そう、 $\mu$ $L$ $\mathbf{\mu}$ $L \times 1$

モデルはように書き直すことができます

\begin{matrix} (3) & y (n) = μ^{T} a (n) + v (n) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

質問：問題の定式化：（n by 1）は観測されていない入力であり、は未知の分散付加ノイズを伴うゼロ平均です。MLEソリューションは期待値最大化（EM）に基づいています。 ${\mu(n)}$ $\{e(n)\}$ $\sigma^2_e$

論文ではEq（19）は関数です-完全な対数尤度ですが、私の場合、完全な対数尤度式に分布を含める方法を理解できません。 $A$ $A, \mu$

以前の分布を含め、 EMを使用した完全な対数尤度はどうなりますか？ $y$

— SKM
ソース

実際に対数尤度が必要ですか、それとも対数事後が必要ですか？後者だけが前のラプラシアンを含みます。前者は、すでに書き出したように思われる可能性のログを取得することで取得できます

必要な式は2つあります。（1）フィッシャー情報マトリックスを見つけるために使用される式と、（2）もう1つは、非表示の変数とジョイントである観測を含む完全なデータセットのpdfです。パラメータ関数としての観測データの確率密度。私が書いたpdfは、ブラインド推定のMAモデルに適用できます。しかし、対数尤度の偏導関数からのフィッシャー情報マトリックスを見つけることができるように、スパース制約=ラプラシアン事前分布ではどのように異なるでしょうか。

Z

$Z$

θ

$\theta$

θ

$\theta$

— SKM 2016年

@ Xi'an：対数尤度の定式化で事前を含む3つのPDFを接続する方法がわかりません。偏導関数を取り、ゼロに等しい最大化を計算できます。尤度式を明記してお答えください。これは本当に役立ちます

— SKM

3

ターゲットを EMに基づいた表現は、任意の場合、分解またはこれは、任意の値に対して機能します（lhsには何もないため））したがって、すべての期待値でも機能します：

\arg max_{θ} L (θ | x) π (θ) = \arg max_{θ} \log L (θ | x) + \log π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$

\log L (θ | x) = E [\log L (θ | x, Z) | x, θ ⁰] - E [\log q (Z | x, θ) | x, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

\log g (x | θ) = \log f (x, z | θ) - \log q (z | x, θ) = E [\log f (x, Z | θ) - \log q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$ 与えられた条件付き分布の場合、たとえば。したがって、もし我々の最大化で溶液で我々は while EMの標準的な引数でします。したがって、

Z

$Z$

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$

θ

$\theta$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log q (Z | x, θ ⁰) | x, θ ⁰] \geq E [\log q (Z | x, θ^{1}) | x, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$ Eステップとしてターゲットを使用すると、各Mで事後が増加しますステップ、つまり変更されたEMアルゴリズムはローカルMAPに収束します。

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

— 西安
ソース

お返事ありがとうございます。んのPDFを表す？2行目にある方程式でが差し引かれる2つの期待値がある理由を教えてください。

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

— SKM 2016年

いくつかの説明を追加しましたが、これは標準的な資料であるため、EMアルゴリズムの派生をテキストで確認する必要があります。

— 西安

1

MAP推定（またはMLE）の定常点への収束を示すには、単調増加する対数事後（またはMLEの対数尤度）を示すだけでは十分ではないと思います。たとえば、増分は任意に小さくなります。Wu 1983による有名な論文では、EMの定常点に収束するための十分な条件は、下限関数の両方の引数の微分可能性です。

— ジムZ
ソース