事後分布が扱いにくい要因は何ですか？

ベイジアン統計では、事後分布は扱いにくいとよく言われるため、おおよその推論を適用する必要があります。この難治性を引き起こす要因は何ですか？

問題は主に、ベイジアン解析には積分が含まれ、多くの場合、現実的な問題では多次元のものであり、分析的には扱いにくいのはこれらの積分です（共役事前確率の使用を必要とするいくつかの特別な場合を除く）。

対照的に、非ベイジアン統計の多くは最尤法に基づいており、（通常は多次元の）関数の最大値を見つけます。これには、微分、つまり微分の知識が含まれます。それでも数値的手法はより多くの複雑な問題で使用されますが、数値的手法はそれらなしでさらに頻繁に取得することができ、数値的手法はより簡単になります（実際には、それほど単純ではない手法の方がパフォーマンスが良い場合もあります）。

ですから、差別化は統合よりも扱いやすいという事実に帰着すると思います。

私はこの質問を直接David Bleiに尋ねる機会があり、彼はこの文脈での難治性は2つのことの1つを意味すると言った：

1. 積分には閉形式の解はありません。これは、実際の複雑なデータをモデリングしているときに、紙に分布を書き込めない場合です。

2. 積分は計算上困難です。彼は、私がペンと紙で座って、実際にベイジアン混合ガウス分布の限界証拠を計算することを勧めました。計算的に扱いにくい、つまり指数関数的であることがわかります。彼は最近の論文でこの良い例を示しています（2.1近似推論の問題を参照）。

FWIW、私はこの単語の選択が混乱しているのを見つけました。なぜなら、（1）意味が過負荷であり、（2）計算の難易度のみを参照するためにCSですでに広く使用されているからです。

実際には、さまざまな可能性があります。

1. ：閉じた形の式は、後部（例えば利用可能である $Y\sim \text{Bin}(n,\pi)$$\pi$$\text{Beta}(a,b)$$p(\pi|Y=y)$$\text{Beta}(a+y,b+n-y)$
2. ：後部は、正規化定数（例に扱い易い最大で$Y\sim \text{Bin}(n,\pi)$$\log \pi$$N(\mu, \sigma^2)$$p(\pi|Y=y) \propto p(y|\pi) p(\pi)$
3. $p(y|\pi)$$Y$$\pi$

人々は通常、（分析的に）引き込み不可能な事後について話すときは（2）のようなものを意味し、（3）引き込み不可能な可能性について話すときは（3）のような何かを意味します。近似ベイジアン計算がオプションの1つであるのは3番目のケースですが、2番目のケースではMCMCメソッドが通常実行可能です（何らかの意味で近似であると主張するかもしれません）。あなたが提供した引用がこれらの2つのうちどちらを指しているのか、私には完全にはわかりません。

扱いやすさは、式の閉じた形式に関連しています。

問題は、閉形式表現の観点から解決できる場合、扱いやすいと言われています。

数学では、閉形式の式は、有限数の操作で評価できる数式です。定数、変数、特定の「よく知られた」操作（例、+ −×÷）、および関数（例、n番目のルート、指数、対数、三角関数、逆双曲線関数）を含むことができますが、通常は制限はありません。閉じた形式の式で許可される操作と関数のセットは、作成者とコンテキストによって異なる場合があります。

したがって、難治性とは、有限数の操作では評価できない何らかの種類の限界/無限大（積分の無限加算など）が含まれるため、近似手法（MCMCなど）を使用する必要があることを意味します。

ウィキペディアの記事は、この「操作の量」、したがって扱いやすさを形式化しようとするコブハムの論文を指しています。