ベイズの定理に正規化因子が必要な理由

20

ベイズの定理

P (model | data) = \frac{P (model) \times P (data | model)}{P (data)}

$P(\textrm{model}|\textrm{data}) = \frac{P(\textrm{model}) \times P(\textrm{data}|\textrm{model})}{P(\textrm{data})}$

これはすべて大丈夫です。しかし、私はどこかで読んだことがあります：

基本的に、P（data）は正規化定数、つまり事後密度を1に統合する定数に他なりません。

およびことがわかります。 $0 \leq P(\textrm{model}) \leq 1$ $0 \leq P(\textrm{data}|\textrm{model}) \leq 1$

したがって、も0から1の間でなければなりません。このような場合、後部を1つに統合するために正規化定数が必要なのはなぜですか？ $P(\textrm{model}) \times P(\textrm{data}|\textrm{model})$

— スリージス・ラマクリシュナン
ソース

4

この投稿で説明したように、確率密度を使用している場合、これらのいずれか（または両方も！）が超える（さらには無限である）可能性があるため、結論0 <= P(model) <= 1もすることもできません。stats.stackexchange.com/questions/4220を参照してください。0 <= P(data/model) <= 1

1

$1$

— whuber

1

その場合ではない、この曖昧な表記は、データではなく確率の統合された可能性を表すからです。

P (data | model) \leq 1

$P(\textrm{data}|\textrm{model})\le 1$

— 西安14

15

まず、「尤度x事前」の積分は必ずしも1ではありません。

次の場合には当てはまりません。

と $0 \leq P(\textrm{model}) \leq 1$ $0 \leq P(\textrm{data}|\textrm{model}) \leq 1$

モデルに対する（このモデルのパラメーターに対する）この製品の積分は1です。

デモンストレーション。：2つの別個の密度想像

P (model) = [0.5, 0.5] (this is called "prior") P (data | model) = [0.80, 0.2] (this is called "likelihood")

$P(\textrm{model}) = [0.5, 0.5] \text{ (this is called "prior")}\\ P(\textrm{data | model}) = [0.80, 0.2] \text{ (this is called "likelihood")}\\$

あなたの乗算両方もし、あなたが得る：それは一つに統合されませんので、有効な密度ではありません。

[0.40, 0.25]

$[0.40, 0.25]$

0.40 + 0.25 = 0.65

$0.40 + 0.25 = 0.65$

それでは、積分を1に強制するにはどうすればよいでしょうか？次の正規化係数を使用します：

\sum_{model_params} P (model) P (data | model) = \sum_{model_params} P (model, data) = P (data) = 0.65

$\sum_{\text{model_params}} P(\text{model}) P(\text{data | model}) = \sum_\text{model_params} P(\text{model, data}) = P(\text{data}) = 0.65$

（残念な記法についてはごめんなさい。文献ですべて見られるかもしれないので、私は同じことについて3つの異なる表現を書きました）

第二に、「尤度」は何でもかまいませんし、たとえそれが密度であっても、1より大きい値を持つことができます。

@whuberが言ったように、この要素は0から1の間である必要はありません。彼らはそれらの積分（または合計）が1である必要があります。

第三に、「共役体」は、正規化定数を見つけるのに役立つ友人です。

あなたは、多くの場合、表示されます。行方不明分母は簡単にこの製品を統合することによって得ることができますので。事前確率と尤度が共役である場合、この統合には1つの既知の結果があることに注意してください。

P (model | data) \propto P (data | model) P (model)

$P(\textrm{model}|\textrm{data}) \propto P(\textrm{data}|\textrm{model}) P(\text{model})$

— アルベルト
ソース

+1。これは、事後を1つに統合するために正規化定数がなぜ必要であるかという元の質問に実際に対処する唯一の答えです。事後処理で行うこと（MCMC推論や絶対確率の計算など）は別の問題です。

— ペドロメディアノ

P (m o d e l) = [0.5, 0.5]

$P(model)=[0.5,0.5]$

σ^{2} = 1

$\sigma^2=1$

μ

$\mu$

P (μ) = [0.5, 0.5]

$P(\mu) = [0.5, 0.5]$

μ

$\mu$

12

あなたの質問に対する簡単な答えは、分母がなければ、右側の式は単なる尤度であり、確率ではなく、0から1の範囲にしかならないということです。「正規化定数」により、別のイベントと比較したイベントの相対的な可能性ではなく、イベントの発生。

— ヘロパップ
ソース

8

すでに2つの有効な回答がありますが、2セントを加算します。

ベイズの定理はしばしば次のように定義されます：

P (model | data) \propto P (model) \times P (data | model)

$P(\text{model}~ | ~\text{data}) \propto P(\text{model}) \times P(\text{data}~|~\text{model})$

定数が必要な唯一の理由は、定数を1に統合するためであるためです（他の人の回答を参照）。これは、ベイジアン解析へのほとんどのMCMCシミュレーションアプローチでは必要ないため、定数は方程式から削除されます。そのため、ほとんどのシミュレーションでは必要ありません。

私は愛によって説明Kruschkeを：彼は式には何の関係もありませんので、最後の子犬（定数）は眠いです。

enter image description here

また、Andrew Gelmanのような一部の人は、定数を「過大評価された」とみなし、「人々がフラットな優先順位を使用する場合、基本的には意味がない」と考えています（ここの議論を確認してください）。

— ティム
ソース

9

子犬の紹介に+1。「この回答の執筆で動物に害はありませんでした」:)

— アルベルト14