事後分布をすでに知っているのに、なぜ事後分布からサンプリングする必要があるのですか？

私の理解では、ベイズのアプローチを使用してパラメータ値を推定するときは次のとおりです。

事後分布は、事前分布と尤度分布の組み合わせです。
事後分布からサンプルを生成することでこれをシミュレートします（たとえば、Metropolis-Hastingアルゴリズムを使用して値を生成し、それらが事後分布に属する確率の特定のしきい値を超える場合は受け入れます）。
このサンプルを生成したら、それを使用して事後分布とその平均などを近似します。

しかし、私は何かを誤解しているに違いないと感じています。事後分布があり、そこからサンプリングし、そのサンプルを事後分布の近似値として使用しているように聞こえます。しかし、なぜ事後分布があるのかというと、なぜそこからサンプリングして近似する必要があるのでしょうか？

— デイブ
ソース

回答:

この質問は、おそらくこのフォーラムですでに検討されている可能性があります。

「事後分布がある」と述べるとき、正確にはどういう意味ですか？私が知っている関数を事後に比例させること、つまりは完全に人工的なターゲット何であるかを教えてくれません $\theta$

π (θ | x) \propto π (θ) \times f (x | θ)

$\pi(\theta|x) \propto \pi(\theta) \times f(x|\theta)$

π (θ | x) \propto exp {- | | θ - x | | 2 - | | θ + x | | 4 - | | θ - 2 x | | 6}, x, θ \in R 18,

$\pi(\theta|x)\propto\exp\{-||\theta-x||^2-||\theta+x||^4-||\theta-2x||^6\},\ \ x,\theta\in\mathbb{R}^{18},$

関数の事後期待値、たとえば、標準損失の下でベイズ推定量として動作する事後平均です。 $\theta$ $\mathbb{E}[\mathfrak{h}(\theta)|x]$
任意の効用関数の下での最適な決定、予想される事後損失を最小化する決定。
パラメーターの不確実性の90％または95％の範囲、パラメーターのサブベクトル、またはパラメーターの関数、別名HPD領域 $\{h=\mathfrak{h}(\theta);\ \pi^\mathfrak{h}(h)\ge \underline{h}\}$
パラメーターの一部のコンポーネントを特定の値に設定するか、未知の（およびランダムな）状態に保つかを選択する最も可能性の高いモデル。

これらは、事後分布の多くの使用例にすぎません。最も単純なものを除くすべての場合において、事後分布密度を見つめて答えを出すことはできず、モンテカルロ法やマルコフ連鎖モンテカルロ法などの数値解法を進める必要があります。

— 西安
ソース

西安の回答ありがとうございます。これは私の質問に答えるものと確信していますが、それを把握するのはまだ少し困難です。事後確率に対応する確率密度関数があると思いますか（つまり、事前確率と尤度を組み合わせて）。サンプリングされた事後分布からではなく、これから直接95％CIを見つけることができないのはなぜですか？

— デイブ

@Daveここで重要なのは、「持っている」という意味です。一般に、閉じた形式のソリューションはないため、有用な意味で関数を「使用」することはありません。

— 修道士

@monk返信ありがとう！閉じられていないフォームソリューションを構成するものについて詳しく説明してもいいですか？

— デイブ

事前確率がBeta（a、b）であり、可能性がBinomial（n、p）であるとします。後部の期待値をどのように計算しますか？ペンと紙でその製品の不可欠な部分を試してみてください。一般に、このような積分は、コンピューターが正確な値を取得する必要があるものです。あるいは、ベータは二項式の前に共役であるため、後部はベータになります（簡単に計算可能なパラメーターを使用）。しかし、多くの場合、それほど幸運ではありません。「閉じた形式」の定義を特定するのは難しく、それ自体を読む価値があります。

— 修道士

はい、分析的な事後分布があるかもしれません。しかし、ベイジアン分析の核心は、パラメーターの事後分布を無視して、精度と一般化機能の両方の面でより良い予測結果を得ることにあります。基本的に、次の形式の予測分布を取得します。

$p(x|D)=\int p(x|w) p(w|D)dw$

ここで、は、分析形式を使用できる事後分布です。しかし、多くの場合、は既知の分布族に属さず、と共役ではない複雑な形をしています。これにより、上記の被積分関数を分析的に計算することができなくなります。次に、マルコフチェーンモンテカルロなどの高度なサンプリング手法の全体的な目的である被積分関数のサンプリング近似に頼らなければなりません。 $p(w|D)$ $p(w|D)$ $p(x|w)$

— カールソン・ユー
ソース