可能性と確率

私はと困難持っている尤度を。ベイズの定理を理解しています

p (A | B, H) = \frac{p (B | A, H) p (A | H)}{p (B | H)}

$p(A|B, \mathcal{H}) = \frac{p(B|A, \mathcal{H}) p(A|\mathcal{H})}{p(B|\mathcal{H})}$

これは、直接適用することから推定することができる $p(A,B) = p(B) \cdot p(A|B) = p (A) p(B|A) = p(B,A)$ 。したがって、私の解釈では、 $p(\cdot)$ ベイズの定理の関数は、どういうわけか限界または条件付きのすべての確率です。だから私は実際には、可能性を概念としての方が逆確率のより頻繁な見方だと思っていました。

しかし、私は今、可能性は確率分布ではないというベイズ主義者の本の発言を繰り返し見ました。昨日マッケイの本を読んで、私は次の声明につまずいた

「[...]尤度と確率という用語は同義語ではないことに注意することが重要です。数量 $P(n_b|u,N)$ は、 $n_B$ と両方の関数 $u$ です。固定 $u$ 場合、 $P(n_b|u,N)$ は、超える確率を定義します。 $n_B$ 固定された $n_B$ 場合、 $P(n_B|u,N)$ はの尤度を定義し $u$ ます。

次のように私はこれを理解する： $p(A|B)$ の確率で $A$ 所与下 $B$ 従って、機能 $\text{probability} : \mathcal{A}\to [0,1]$ 。しかし、与えられた値を考慮し、評価 'は異なる上の依存 '私たちは実際には異なる機能を使用しているよ $a \in A$ $p(A=a|B)$ $b\in\mathcal{B}$ $L : \mathcal{B}\to[0,1]$ 。
この解釈は正しいですか？
最尤法は、事前分布が一定になるように選択されているベイズの定理によって動機付けられると言えるでしょうか。

probability likelihood

— ウィルベル
ソース

回答の要素として、mathoverflow.net / questions / 10971 /…のStephane Laurentのリンクを使用して回答をアドバイスします。それが役に立てば幸い。

— peuhp 14

可能性の概念を説明する最良の方法は、具体的な例を検討することでしょう。私は成功の未知の確率でベルヌーイ分布から引き出さIID観測のサンプルがあると仮定し：、、従ってジョイント確率質量関数サンプルのこの式は、の可能性も特徴付けます。 $p$ $X_i \sim {\rm Bernoulli}(p)$ $i = 1, \ldots, n$

Pr [X = x ∣ p] = \prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}} .

$\Pr[{\boldsymbol X} = \boldsymbol x \mid p] = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}.$

p

$p$ 、観測サンプル：しかし、を確率変数と考える場合、この可能性は密度ではありません：ただし、これは比例します確率密度。これは、サンプルで与えられたが特定の値である可能性であると言う理由です。これは、ある意味で、が私たちが行った観測値のいくつかの値である相対的妥当性を表します。

x = (x_{1}, \dots, x_{n})

$\boldsymbol x = (x_1, \ldots, x_n)$

L (p ∣ x) = \prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}} .

$L(p \mid \boldsymbol x) = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}.$

p

$p$

\int_{p = 0}^{1} L (p ∣ x) d p \neq 1.

$\int_{p=0}^1 L(p \mid \boldsymbol x) \, dp \ne 1.$

p

$p$

p

$p$

たとえば、で、サンプルがます。直観的に、はよりもに近い可能性が高いと結論付けます。実際、この関数をにプロットすると、尤度が直感を確認する方法がわかります。もちろん、の真の値はわかりませんではなくだったかもしれませんが、尤度関数は前者が後者よりもはるかに可能性が低いことを示しています。しかし、確率を決定したい場合 $n = 5$ $\boldsymbol x = (1, 1, 0, 1, 1)$ $p$ $1$ $0$

L (p ∣ x) = p^{4} (1 - p) .

$L(p \mid \boldsymbol x) = p^4 (1 - p).$

p \in [0, 1]

$p \in [0,1]$

p

$p$

p = 0.25

$p = 0.25$

p = 0.8

$p = 0.8$ そのが特定の間隔にあるため、尤度を正規化する必要があります。、次のようになります。取得するために事後密度のため、我々はを掛けなければならない：実際、この事後は、パラメーターベータ分布です。これで密度の下の領域が確率に対応します。

p

$p$

\int_{p = 0}^{1} p^{4} (1 - p) d p = \frac{1}{30}

$\int_{p=0}^1 p^4(1-p) \, dp = \frac{1}{30}$

p

$p$

30

$30$

f_{p} (p ∣ x) = 30 p^{4} (1 - p) .

$f_p(p \mid \boldsymbol x) = 30p^4(1-p).$

a = 5, b = 2

$a = 5, b = 2$

したがって、ここで基本的に行ったことはベイズの規則が適用されます：ここで、はパラメーターの事前分布で、分子は尤度の共同配布でもあります

f_{Θ} (θ ∣ x) = \frac{f_{X} (x ∣ θ) f_{Θ} (θ)}{f_{X} (x)} .

$f_{\boldsymbol \Theta}(\boldsymbol \theta \mid \boldsymbol x) = \frac{f_{\boldsymbol X}(\boldsymbol x \mid \boldsymbol \theta) f_{\boldsymbol \Theta}(\boldsymbol \theta)}{f_{\boldsymbol X}(\boldsymbol x)}.$

f_{Θ} (θ)

$f_{\boldsymbol \Theta}(\boldsymbol \theta)$

θ

$\boldsymbol \theta$

L (θ ∣ x) = f_{X} (x ∣ θ) f_{Θ} (θ) = f_{X, Θ} (x, θ)

$L(\boldsymbol \theta \mid \boldsymbol x) = f_{\boldsymbol X}(\boldsymbol x \mid \boldsymbol \theta) f_{\boldsymbol \Theta}(\boldsymbol \theta) = f_{\boldsymbol X, \boldsymbol \Theta}(\boldsymbol x, \boldsymbol \theta)$

X, Θ

$\boldsymbol X, \boldsymbol \Theta$ 、分母はの限界（無条件）密度であり、に関する共同分布を積分して、確率密度を確率密度とする正規化定数を見つけて得られます。パラメータに関して。この数値例では、が均一になるように事前計算を暗黙的に行いました。ベルヌーイサンプルの場合、事前分布が場合、の事後もベータですが、パラメーター、

X

$\boldsymbol X$

θ

$\boldsymbol \theta$

f_{Θ}

$f_{\boldsymbol \Theta}$

[0, 1]

$[0,1]$

B e t a (a, b)

${\rm Beta}(a,b)$

f_{Θ}

$f_{\boldsymbol \Theta}$

a^{*} = a + \sum x_{i}

$a^* = a+\sum x_i$

b^{*} = b + n - \sum x_{i}

$b^* = b + n - \sum x_i$ 。このような事前共役を呼び出します（これをベルヌーイベータ共役ペアと呼びます）。

— ヘロップ
ソース