連続事前分布でベイズの定理をどのように使用しますか？

事前確率が連続確率分布としてモデル化されている場合、たとえば、特定のモデルへのバイアスを反映するためにベータ分布が歪んでいる場合、事後確率を計算するにはどうすればよいですか？

連続分布では間隔の推定値しか得られないため、私にとっての課題は、特定のモデルの確率を計算することです。

質問の素朴さを許してください、私は最近ベイズ統計学を勉強し始めたばかりです。

bayesian prior

— ラファ
ソース

正しい質問は「データサンプルを与えられたモデルの確率をどのように計算できるでしょうか？」モデルを指定してデータの確率を簡単に計算できますが、モデルの確率を推定する方法がわかりません。はい、モデルの比較に興味があります。

— Rafa

モデルを比較するには、およびベイジアンの古典的な答えは（Jeffreys、1939）であり、ベイズ係数場合はより大きく、データはモデル支持します。場合より小さい、データは、モデル有利。

M_{1} = {f_{1} （ \cdot | θ_{1} ）; θ_{1} \in Θ_{1}}

$\mathfrak{M}_1=\{f_1(\cdot|\theta_1);\ \theta_1\in\Theta_1\}$

M_{2} = {f_{2} （ \cdot | θ_{2} ）; θ_{2} \in Θ_{2}}

$\mathfrak{M}_2=\{f_2(\cdot|\theta_2);\ \theta_2\in\Theta_2\}$

B_{12} （ バツ ） = \frac{\int_{Θ_{1}} f_{1} （ バツ | θ_{1} ） π_{1} （ d θ_{1} ）}{\int_{Θ_{2}} f_{2} （ バツ | θ_{2} ） π_{2} （ d θ_{2} ）}

$\mathfrak{B}_{12}(x)=\frac{\int_{\Theta_1} f_1(x|\theta_1)\pi_1(\text{d}\theta_1)}{\int_{\Theta_2} f_2(x|\theta_2)\pi_2(\text{d}\theta_2)}$

B_{12} (x)

$\mathfrak{B}_{12}(x)$

1

$1$

M_{1}

$\mathfrak{M}_1$

B_{12} (x)

$\mathfrak{B}_{12}(x)$

1

$1$

M_{2}

$\mathfrak{M}_2$

— 西安
ソース

ベイズの定理は次のとおりです

P （ あ | B ） = \frac{P （ B | あ ） P （ あ ）}{P （ B ）}

$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$

データとパラメーターがある場合、パラメーター（またはパラメーターベクトル）にを使用し、データにを使用するのが一般的です。 $\theta$ $x$

、に事前分布を配置すると、モデルが与えられたデータの確率を与えるモデルができます。次に、ベイズのルール/定理を使用してこれを「反転」し、を取得できます。 $\theta$ $p(\theta)$ $p(x|\theta)$ $p(\theta|x)$

比較的少数の例でのみ、閉じた形の解を得ることができます。任意のケースでは、多くの場合、ベイジアン統計のいくつかの標準的な方法を使用して事後分布を概算します。たとえば、2つの最も一般的な広範なアプローチは、マルコフ連鎖モンテカルロまたは変分ベイズです。 $p(\theta|x)$

閉じた形の事後が存在する単純なケースに興味があるとします。場合、この例のようになり（単位分散とゼロ平均のガウス）標準正常であり、の平均値と正常で及び単位分散。 $p(\theta)$ $p(x|\theta)$ $\theta$

便宜上、正規化係数は省略します。ベイズ規則の分母は、単純に正規化する傾向があることにも注意してください：指数を組み合わせて正方形を完成させましょうここではxが固定されていることを思い出してください。xは観測されており、私たちの答えはそれに関してであると期待しています。正方形を完成させ、指数がであることを確認します。他の項はxに依存します。したがって：

p （ θ | バツ ） α e^{- （ バツ - θ ）^{2} / 2} e^{- θ^{2} / 2}

$p(\theta|x) \propto e^{-(x-\theta)^2/2} e^{-\theta^2/2}\\$

- （ バツ - θ ）^{2} / 2 - θ^{2} / 2 α - （ {バツ}^{2} - 2 θ バツ + θ^{2} ） - θ^{2}

$-(x-\theta)^2/2 - \theta^2/2 \propto - (x^2 - 2\theta x + \theta^2) - \theta^2$

\propto - (θ - x / 2)^{2}

$\propto -(\theta - x/2)^2$

p （ θ | バツ ） α e^{- a （ θ - バツ / 2 ）^{2}}

$p(\theta|x) \propto e^{-a(\theta - x/2)^2}$
ここで、「a」は簿記によって取得できる要素です。事後は、平均値x / 2の正規分布であることに注意してください。自分で分散を計算してみてください。

私たちの答えは直感的に理にかなっていることを注意...前のことを言ったゼロであり、我々はサンプル観察の値が予想してい。事前分散と分布大きさが等しいため、それらを等しく信頼します。したがって、私たちの事後は、と0の平均であり、最初のまたはよりも分散が小さい分布を持つ分布です（ここには示されていません）。 $\theta$ $x$ $\theta$ $p(x|\theta)$ $x$ $p(x|\theta)$ $p(x)$

モデルの比較のために、比率を見ることができます：

\frac{p （ バツ | θ_{1} ）}{p （ バツ | θ_{2} ）}

$\frac{p(x|\theta_1)}{p(x|\theta_2)}$

これは尤度比と呼ばれます（ウィキペディアまたは他の場所を参照）。ここでは、事後は必要ありません。単に、データ（または観測）に、観測を生成したモデルのパラメーターであるまたはがどのように（比較的）与えられるかを単に見ているだけです。 $\theta_1$ $\theta_2$

お役に立てれば。

— ジョシュ
ソース

回答が正しくありません。ベイズ因子はこのように定義されていません！

— 西安

モデルの比較のために、尤度比について説明しました。最初、私は誤ってベイズ因子という用語を使用しました。

— Josh

θ_{1}

$\theta_1$

θ_{2}

$\theta_2$

モデルパラメータの2つの仮説的な値があり、それらからデータがどれだけよく続くかを比較したいという単純なケースを説明するためだけのものです。2つのモデルフォームがあり、特定のパラメーターを知らなくてもそれらを比較したい場合、あなたの答えは正しいアプローチを提供することに同意します。

— Josh、