画像内のピクセルを分類するための基本的なマルコフ確率場のトレーニング

マルコフ確率場を使用して画像内の領域を分割する方法を学習しようとしています。MRFのパラメーターの一部、または実行した期待値の最大化がソリューションに収束しないことがある理由を理解できません。

ベイズの定理から始めて、。ここで、yはピクセルのグレースケール値、xはクラスラベルです。私はガウス分布を使用することを選択したP （Y | Xを）しながら、P （xは） MRFを使用してモデル化されます。$p(x|y) = p(y|x) p(x) / p(y)$$y$$x$$p(y|x)$$p(x)$

ペアワイズクリークポテンシャルと分類されるピクセルのクラスラベルのポテンシャル値の両方を持つMRFのポテンシャル関数を使用します。単一ピクセルのポテンシャル値は、クラスラベルxに依存する定数です。ペアワイズ電位関数は、4連結近傍について評価し、プラスのリターンさβを隣接この画素と同じクラスラベルを持つ場合- βラベルが異なる場合。$\alpha$$x$$\beta$$-\beta$

対数尤度の期待値を最大化するおよびβの値を見つけなければならない期待値最大化の時点で、数値最適化手法（試行された共役勾配、BFGS、パウエル法）を使用しましたが、値ことが判明βが負になる、α sが劇的に増加し、反復又は二以降の全体像は、一つのラベルのみ（バックグラウンド：MRFパラメータはICMを使用して行われた所定のクラスラベルを割り当てる）に割り当てられます。アルファを削除した場合、つまりペアワイズクリークポテンシャルのみを使用した場合、期待値の最大化はうまく機能します。$\alpha(x)$$\beta$$\beta$$\alpha$

各クラスのアルファの目的は何ですか？それらは画像に存在するそのクラスの量に関係すると思いましたが、そうではないようです。MRFがペアワイズポテンシャルのみで機能するようになったら、単純なガウス混合モデルと比較して、ほぼ同じ結果が得られることを確認しました。ペアワイズの可能性がクラスを少しスムーズにすることを期待していましたが、それは起こりませんでした。私がどこを間違えたか教えてください。

診断

これは初期化の問題のように聞こえます。

使用しているMRFモデルは非凸であるため、複数の極小値があります。私の知る限り、既存の最適化手法はすべて初期化の影響を受けやすいため、最適化手順を開始する場所によって最終的なソリューションの品質が大きく影響を受けます。

推奨される解決策

モデルを初期化するためにさまざまな戦略を試すことをお勧めします。たとえば、私の頭に浮かぶ戦略の1つは次のとおりです。

1. 最初にモデルを訓練し、今のところ前項を無視します。即ちフィックス設定することにより、例えば、均一にと固定して保ちます。もっと面倒になりたい場合は、を修正して、トレーニングセットのラベルの相対頻度を表す多項分布にすることができます。これを行うには、値を適切に設定します。p （x ）α = β = 0 p （x ）$p(y | x)$ $p(x)$$\alpha = \beta = 0$ $p(x)$$\alpha$

2. MRFモデルの単項項とペアワイズ項の固定を解除します。つまり、オプティマイザーにおよび値を変更させます。$\alpha$$\beta$

推奨される初期化は、最適化を初期化する最良の方法ではなく、可能な選択肢の1つにすぎません。

最後に、Roman Shapovalovが示唆したように、以前のパラメーターを正規化することを検討できます。たとえば、それらに前にガウスを置くことによって：ここで、およびはハイパーパラメーターです。これは、ガウス事前分布の分散として解釈できます。λ α λ $\lambda_\alpha ||\alpha||^2 + \lambda_\beta ||\beta||^2$$\lambda_\alpha$$\lambda_\beta$