限界尤度を推定するのが難しい/扱いにくいのはなぜですか？

私がここで尋ねる一般的に基本的な質問がありますが、これはしばらくの間私を悩ませてきました。私がベイジアン統計を読んだことのほとんどを通して、それは事実上、限界尤度はしばしば扱いにくいか、推定することが難しいと述べました。どうして？

しばしば述べられる理由には、推定される積分/総和の高次元の性質に関するステートメント、または可能なモデルの領域が無限であるというステートメントが含まれます。

このコミュニティに、理由を掘り下げ、この問題を簡単な言葉で説明することをお願いします。

リソースへのリンクもいただければ幸いです。これを明確に説明するリソースを探すために用語をグーグルで検索しましたが、それらのほとんどは説明なしで問題を述べているだけです。また、機械学習の本のパターン認識とケビンマーフィーの機械学習の本も持っています。私はこれらのテキストの説明に満足していないので、明確でシンプルなものを探しています。

bayesian inference likelihood

— user1556364
ソース

例による答えは次のとおりです。次の階層モデルがあるとします for groups and observations aグループおよび既知の値および。限界尤度は積分の次元は

Y_{i g} \overset{i n d}{\sim} N (θ_{g}, 1) θ_{g} \overset{i n d}{\sim} N (μ, τ^{2}) μ | τ^{2} \sim N (m, τ^{2} / k) τ^{2} \sim I G (a, b)

$Y_{ig} \stackrel{ind}{\sim} N(\theta_g,1) \quad \theta_g \stackrel{ind}{\sim} N(\mu,\tau^2) \quad \mu|\tau^2 \sim N(m,\tau^2/k) \quad \tau^2 \sim IG(a,b)$

g = 1, \dots, G

$g=1,\ldots,G$

i = 1, \dots, n_{g}

$i=1,\ldots,n_g$

m, k, a,

$m,k,a,$

b

$b$

y = (y_{1, 1}, \dots, y_{n_{1}, 1}, y_{1, 2}, \dots, y_{n_{2}, 2}, \dots, y_{1, G}, \dots, y_{n_{G}, G}),

$y = (y_{1,1},\ldots,y_{n_1,1},y_{1,2},\ldots,y_{n_2,2},\ldots,y_{1,G},\ldots,y_{n_G,G}),$

p (y) = \int \dots \int \prod_{g = 1}^{G} [\prod_{i = 1}^{n_{g}} N (y_{i g}; θ_{g}, 1)] N (θ_{g}; μ, τ^{2}) d θ_{1} \dots d θ_{G} d μ d τ^{2} .

$p(y) = \int \cdots \int \prod_{g=1}^G \left[\prod_{i=1}^{n_g} N(y_{ig};\theta_g,1) \right] N(\theta_g; \mu,\tau^2) d\theta_1 \cdots d\theta_G d\mu d\tau^2.$

G + 2

$G+2$ およびが大きい場合、これは高次元の積分です。ほとんどの数値積分手法では、この積分の妥当な近似値を取得するために、極端な数のサンプルまたは反復が必要になります。

G

$G$

この積分はたまたま閉じた形で限界尤度を持っているので、数値積分手法が限界尤度をどれだけうまく推定できるかを評価できます。周辺尤度の計算が難しい理由を理解するには、たとえば、単一の観測値、単一のグループ、とが既知であるなど、単純なものから始めます。徐々に問題を徐々に難しくしていくことができます。数値積分手法が真実とどのように関連しているかをご覧ください。問題の次元、つまりが増加するにつれて、同じ精度を得るには、ますます多くのサンプルまたは反復が必要になることに気づくでしょう。最後に、 $\mu$ $\sigma^2$ $G$ $Y_{ig} \stackrel{ind}{\sim} Po(e^{\theta_g})$ そして今、あなたは閉じた形をしていないわずかな可能性を持っています。真実を知ったときの経験に基づいて、真実を知らない場合の数値の見積もりをどれだけ信じますか？数値の見積もりにあまり自信がないと思います。

— ハラドニエミ
ソース

答えてくれてありがとう。このような概念を説明する資料に関する推奨事項はありますか？テキスト、論文などを探してくれてありがとう！

— user1556364 2016年