ベイズの定理をの形式で使用しないのはなぜですか？

連続的な場合のベイズの公式のいくつかのあいまいさについては（このように）多くの質問があります。

p (θ | x) = \frac{p (x | θ) \cdot p (θ)}{p (x)}

$p(\theta | x) = \frac{p(x | \theta) \cdot p(\theta)}{p(x)}$

多くの場合、条件付き分布定義は、が指定された固定の関数であると説明されているという事実から混乱が生じ。 $f(variable | parameter)$ $f$ $variable$ $parameter$

それに加えて、尤度は次のように記述できることを示す等価原理があります

L (θ | x) = p (x | θ)

$L(\theta | x) = p(x | \theta)$

それでは、なぜ次の形式の分布にベイズ規則を使用しないのですか？

p (θ | x) = \frac{L (θ | x) \cdot p (θ)}{p (x)}

$p(\theta | x) = \frac{L(\theta | x) \cdot p(\theta)}{p(x)}$

観測データ与えられた関数を 扱っていること、およびそれぞれの項が尤度（少なくともで始まる）であることを強調するには？ $\theta$ $x$ $L$

これは伝統の問題ですか、それともこの実践にはもっと根本的なものがありますか？

— IoT
ソース

の意味は何ですか？私はこれを確率として知っています。しかし、継続的なケースでは、あなたが話している確率はわかりません。

p (\cdot)

$p(\cdot)$

— Sextus Empiricus

@MartijnWeterings、関数は、形式「可能性」である場合を除いて、すべての場合に有効な確率分布でなければなりません。何か不足していますか？

p (\cdot)

$p(\cdot)$

p (x | θ)

$p(x|\theta)$

— iot

確率分布とはどういう意味ですか？累積、密度など？

— Sextus Empiricus

少なくともこの用語を使用する場合、ベイズの定理に「変数」がないことを理解して理解するのに役立つ場合があります。データポイントとモデルパラメータがあります。この意味で、です。事後のような生き物を呼び出し、それを尤度と呼びます。しかし、そうではありません。だから、これでどこへ行くのかわからない。また、一般には、および場合には無意味なをとは同じサポートさえもしていません。

P (m o d e l | d a t a) P (d a t a) = P (d a t a, m o d e l) = P (d a t a | m o d e l) P (m o d e l)

$P(model|data)P(data) = P(data,model)=P(data|model)P(model)$

P (m o d e l | d a t a)

$P(model|data)$

p (x | y) = p (y | x) ⟹ p (x) = p (y)

$p(x|y) = p(y|x) \implies p(x)=p(y)$

x = d a t a

$x=data$

y = m o d e l .

$y=model.$

x

$x$

y

$y$

— Peter Leopold

stats.stackexchange.com/a/224299/35989を

— Tim

回答:

ベイズの定理で機能している確率からの2つの基本的な結果があります。1つは、結合確率密度関数を書き換える方法です。

p (x, y) = p (x | y) p (y) .

$p(x,\,y)=p(x\,|\,y)p(y).$

もう1つは、条件付き確率密度関数を計算する式です。

p (y | x) = \frac{p (x, y)}{p (x)} .

$p(y\,|\,x)=\frac{p(x,\,y)}{p(x)}.$

ベイズの定理は、これら2つをつなぎ合わせるだけです。

p (θ | x) = \frac{p (x, θ)}{p (x)} = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta\,|\,x)=\frac{p(x,\,\theta)}{p(x)}=\frac{p(x\,|\,\theta)p(\theta)}{p(x)}$

したがって、データとパラメータ両方が確率密度関数であり、結合確率密度関数 $x$ $\theta$

p (x, θ) = p (x | θ) p (θ),

$p(x,\,\theta)=p(x\,|\,\theta)p(\theta),$

それがベイズの定理の分子に現れるものです。したがって、パラメーターの関数としてではなく条件付き確率密度として尤度を記述することで、基本的な確率が明らかになります。

L

$L$

つまり、ここやここのように、人々がどちらかを使用することがわかります。

— jcz
ソース

@iot古典的な統計では、を関数として最大化するを見つけること

θ

$\theta$

p (x | θ)

$p(x\,|\,\theta)$

θ

$\theta$ により、パラメーターを推定します。したがって、人々はを記述してを計算しようとします。この場合、の "status"は条件付きpdf である必要はありません。あなたは、の実数値関数としての地位を気あなたがに関して最大化することを。したがって、スタイルの表記は、その設定からの引き継ぎです。

L (θ) = p (x | θ)

$L(\theta)=p(x\,|\,\theta)$

{\hat{θ}}_{M L E} = \arg max L (θ)

$\hat{\theta}_{MLE}={\arg\max}\,L(\theta)$

p (x | θ)

$p(x\,|\,\theta)$

x

$x$

θ

$\theta$

θ

$\theta$

L (\cdot)

$L(\cdot)$

— jcz

尤度関数は、一定のがあるという意味で、単にサンプリング密度に比例します（ただし、尤度は関数であることに注意してください）パラメータではなく、データ）。これをベイズの定理の式で使用する場合は、分母に同じスケーリング定数を含める必要があります。 $L_x(\theta) = k \cdot p(x|\theta)$ $k > 0$

p （ θ | バツ ） = \frac{L_{バツ} （ θ ） \cdot p （ θ ）}{k \cdot p （ バツ ）} = \frac{L_{バツ} （ θ ） \cdot p （ θ ）}{\int L_{バツ} （ θ ） \cdot p （ θ ） d θ} α L_{バツ} （ θ ） \cdot p （ θ ） 。

$p(\theta|x) = \frac{L_x(\theta) \cdot p(\theta)}{k \cdot p(x)} = \frac{L_x(\theta) \cdot p(\theta)}{\int L_x(\theta) \cdot p(\theta) \ d \theta} \propto L_x(\theta) \cdot p(\theta).$

代わりに、提案した式を使用すると、事後密度のカーネルになりますが、1に統合されない可能性があります（したがって、通常は密度ではありません）。

— ベン-モニカの復活
ソース

Iあなたの答えのような、しかし、元の式でと固定されている（ベイズコンテキスト）もない有効な確率分布、およびまた、スケーリング係数は1です。だから、等しくない、なぜあなたの説明ではは単一ではないと思いますか？

p (x | θ)

$p(x|\theta)$

x

$x$

p (x)

$p(x)$

k

$k$

— garej

多くの場合、対象のパラメーターに依存しない乗法部分を削除することにより、尤度関数を定式化します。これは、一定の統合を追跡する必要をなくすことにより、分析をより簡単にするために行います。たとえば、場合、、二項分布の二項係数を削除します。この場合、、これは通常1とは異なります。

p (x | θ) = Bin (x | n, θ)

$p(x|\theta) = \text{Bin}(x|n,\theta)$

L_{x} (θ) = θ^{x} (1 - θ)^{n - x}

$L_x(\theta) = \theta^x (1-\theta)^{n-x}$

k = (\binom{n}{x})

$k = {n \choose x}$

— ベン-モニカを

だからあなたのポイントは、可能性は通常不必要な定数から自由であるという慣習があり、それゆえIoTのバージョンは統計学者にとってやや誤解を招く可能性があるということです？

— garej

それは確かに尤度を設定する従来の方法ですが、ここでのポイントは、尤度関数は一般に比例までしか定義されないため、上記の作業でになる保証はありません。

k = 1

$k=1$

— ベン-モニカを

可能性が密度に比例することを読んだのは初めてです。私には、これはほんの一部であり、おそらく間違っています。問題は重複する用語にあります。ベイズの法則では、密度を可能性と呼ぶべきではありませんが、それを続けています。

— nbro