MAPを使用してパラメーターを推定するときにMCMCが必要な理由


11

パラメータのMAP推定の式を考える MAPパラメーター推定 と、MCMC(または同様の)アプローチが必要なのはなぜ、導関数を取得し、それをゼロに設定してからパラメータを解くことができないのでしょうか。


すばらしい質問です。

回答:


4

あなたの事後がどの家族からのものであるかを知っていて、その分布の導関数を見つけることが分析的に実行可能であれば、それは正しいです。

ただし、MCMCを使用すると、そのような状況になることはおそらくありません。MCMCは、後部がどのように見えるかについて明確な分析的概念がない状況向けに作成されています。


3
これは少し誤解を招くと思います。MCMC は通常、(MCEMアルゴリズムのような特別な場合を除いて)MAP推定量を見つけるために使用されません
Cliff AB

1
私は原則的にあなたに反対しません。ただし、MCMCは事後分布のシミュレーションに使用できます。そして、それを行ったら、その配布のモード、別名MAPを確実に見つけることができます。これは、OPが意図していたことだと私は考えているので、なぜ私の答えが誤解を招くのかはよくわかりません。
Christoph Hanck、2015

はい、しかし、パラメータを最適化する分析的な方法がない場合、MAPMCを処理するとき、MCMCが最適な方法ですか?
ダヌ

3
単純なMCMCを使用して事後分布のモードを見つけることは聞いたことがありません(技術的には可能ですが、これは非常に非効率的です)。通常、事後分布に比例する関数を評価できるため、これを最大化することは事後分布を最大化することと同じです。すぐに使えるオプティマイザは、あらゆる頻出確率の問題と同様に機能します(つまり、場合によってはそれらを特殊化する必要があります)。
Cliff AB

@Dänuマキシマを見つけるためにMCMC(知識を深める、マルコフ連鎖)を使用することはおそらく望まないでしょう。最適化アルゴリズムはよりよく機能するはずです。
jtobin 2015

10

ほとんどの事後研究者は、分析的に最適化するのが難しいことを証明し(つまり、勾配を取り、それをゼロに設定することにより)、MAPを実行するには、いくつかの数値最適化アルゴリズムに頼る必要があります。

余談ですが、MCMCはMAPとは無関係です。

MAP- 事後確率の最大値 -事後密度に比例する何かの極大値を見つけ、対応するパラメーター値を推定値として使用することを指します。次のように定義されます

θ^MAP=argmaxθp(θ|D)

MCMCは通常、確率密度に比例するものの期待値概算するために使用されます。事後の場合、それは

θ^MCMC=n1i=1nθi0Θθp(θ|D)dθ

ここで、は、適切なマルコフチェーンによってアクセスされるパラメーター空間の位置のコレクションです。一般的に、は意味のある意味で使用します。θ M A Pθ M C M C{θi0}i=1nθ^MAPθ^MCMC

重要なのは、MCMCがサンプリングをベースにしているのに対して、MAPは最適化を必要とするということです。


あなたは、後任者が分析的に最適化するのは難しいことが判明したと述べていますが、これはMAPの場合です。それで、事後を分析的に最適化でき、かつ(たとえば)MCMCアプローチに頼らなければならない場合にのみ、MAPは可能ですか?
ダヌ

2
いいえ、解析解を用意する代わりに、反復アルゴリズムを使用して解を出すことができます(つまり、対数後部が凹型の場合、ニュートン法などを使用できます)。
Cliff AB

2
MAPは、(局所的に)事後を最大化するパラメーター値を見つけることを指します。これらのパラメーター値をどのように取得するかは問題ではありません。最大値を解析的に解く、数値ルーチンを使用する、自動微分など
jtobin
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.