最大事後推定の例

私は最尤推定と最大事後推定について読んでいますが、これまでは、最尤推定でのみ具体的な例に出会いました。私は最大の事後推定のいくつかの抽象的な例を見つけましたが、それに数値を付けた具体的なものはまだありません：S

それは非常に圧倒的で、抽象的な変数と関数でのみ機能し、この抽象性に溺れないようにするために、物事を時々現実の世界に関連付けるのは素晴らしいことです。しかし、もちろん、これは私の（そして他の人々の）観察にすぎません:)

したがって、数字が記載された最大の事後推定の簡単で具体的な例を誰かに教えてもらえますか？それはとても役に立ちます:)

ありがとうございました！

私は最初にこの質問をMSEに投稿しましたが、そこで回答を得ることができませんでした：

/math/449386/example-of-maximum-a-posteriori-estimation

私はここにクロスポストで与えられた指示に従いました：

http://meta.math.stackexchange.com/questions/5028/how-do-i-move-a-post-to-another-forum-like-cv-stats

最初の例

典型的なケースは、自然言語処理のコンテキストでのタグ付けです。詳細はこちらをご覧ください。基本的には、文中の単語の語彙カテゴリ（名詞、形容詞など）を判別できるようにすることです。基本的な考え方は、隠れマルコフモデル（HMM）で構成される言語のモデルがあるということです。このモデルでは、隠された状態は語彙のカテゴリに対応し、観察された状態は実際の単語に対応します。

それぞれのグラフィカルモデルには次のような形式があります。

ここで、は文中の単語のシーケンスであり、はシーケンスですタグの。$\mathbf{y} = (y1,...,y_{N})$$\mathbf{x} = (x1,...,x_{N})$

トレーニングが完了すると、目的は、指定された入力文に対応する語彙カテゴリの正しいシーケンスを見つけることです。これは、言語モデルによって生成された可能性が最も高い/最も互換性のあるタグのシーケンスを見つけることとして定式化されます。

$$f(y) = \mathbf{argmax}_{\mathbf{x} \in Y}p(\mathbf{x})p(\mathbf{y}|\mathbf{x})$$

2番目の例

実際、より良い例は回帰です。理解が容易になるだけでなく、最尤（ML）と最大事後（MAP）の違いが明確になるためです。

基本的に、問題は、サンプルによって与えられたいくつかの関数を基底関数のセットの線形結合 で近似すること ここで、は基底関数であり、は重みです。通常、サンプルはガウスノイズによって破損していると想定されます。したがって、ターゲット関数がそのような線形結合として正確に記述できると仮定すると、次のようになります。$t$

$$y(\mathbf{x};\mathbf{w}) = \sum_{i}w_{i}\phi_{i}(\mathbf{x})$$ $\phi(\mathbf{x})$$\mathbf{w}$

$$t = y(\mathbf{x};\mathbf{w}) + \epsilon$$

我々は持っているので この問題のML解は最小化と等価です、$p(t|\mathbf{w}) = \mathcal{N}(t|y(\mathbf{x};\mathbf{w}))$

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2}$$

これは、よく知られている最小二乗誤差解をもたらします。現在、MLはノイズに敏感であり、特定の状況下では安定していません。MAPを使用すると、重みに制約を課すことで、より優れたソリューションを選択できます。たとえば、典型的なケースはリッジ回帰であり、重みをできるだけ小さくするように要求します。

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2} + \lambda \sum_{k}w_{k}^{2}$$

これは、重み事前ガウスを設定することと同じです。概して、推定される重みは$\mathcal{N}(\mathbf{w}|\mathbf{0},\lambda^{-1}\mathbf{I})$

$$\mathbf{w} = \mathbf{argmin}_{w}p(\mathbf{w};\lambda)p(t|\mathbf{w};\phi)$$

MAPでは、重みはMLのようなパラメーターではなく、確率変数であることに注意してください。それでも、MLとMAPはどちらも点推定器です（最適な重みの分布ではなく、最適な重みのセットを返します）。