濃度パラメーターに超優先分布がある多項式ディリクレモデル

手元にある問題をできるだけ一般的に説明するようにします。私は、観測値をパラメーター確率ベクトルシータを持つカテゴリカル分布としてモデル化しています。

その後、私はパラメータベクトルシータは、以下を前提とディリクレ事前パラメータを持つ分布。$\alpha_1,\alpha_2,\ldots,\alpha_k$

また、パラメータを超えるhyperprior分布を課すことがことが可能である？カテゴリー分布やディリクレ分布などの多変量分布でなければなりませんか？私にはアルファが常に正であるように見えるので、ガンマハイパープライアが機能するはずです。$\alpha_1,\alpha_2,\ldots,\alpha_k$

誰かがそのような（おそらく）過剰パラメータ化されたモデルをフィッティングしようとしたが、アルファは修正されるべきではなく、ガンマ分布からのものであると考えるのが合理的であるかどうかわからない。

このようなアプローチを実際にどのように試すことができるかについての参考情報と洞察を提供してください。

$\alpha_1 = \alpha_2 = ... \alpha_K$$\alpha<1$$\alpha>1$

スパースまたはデンスの多項分布のいずれにも強い期待がない場合は、ディリクレ分布よりもハイパープライオリティを高くすることで、モデルを柔軟に選択できます。

追加のディリクレは、単に対称性を課すことを避けるためのものです。

また、多項式放出分布を伴う隠れマルコフモデルのコンテキストでディリクレの前にガンマハイパーだけを使用する人を見たことがありますが、参照が見つからないようです。また、トピックモデルで使用されている同様のハイパーに遭遇したようです。

この超優先問題の解決策を示すために、私はPyMC3に階層的ガンマディリクレ多項式モデルを実装しました。ディリクレのガンマ事前分布は、テッドダンニングのブログ投稿に従って指定およびサンプリングされています。

私が実装したモデルは、この要点で見つけることができますが、以下でも説明されています。

これは映画の評価のためのベイジアン階層（プーリング）モデルです。各映画は0から5までのスケールで評価できます。各映画は数回評価されます。各映画の評価の滑らかな分布を見つけたいと思います。

データから映画の評価に関する最上位の事前分布（ハイパープライア）を学習します。各映画には、この最上位レベルの事前処理によって平滑化された独自の事前処理があります。これについての別の考え方は、各映画の事前評価がグループレベルまたはプールされた配布に向けて縮小されることです。

映画に非定型の格付け分布がある場合、このアプローチにより、格付けは期待されるものにより近いものに縮小されます。さらに、この学習済みの事前学習は、レーティングが少ないムービーをブートストラップして、レーティングが多いムービーと比較して意味のあるものにするのに役立ちます。

モデルは次のとおりです。

$\gamma_{k=1...K} \sim Gamma(\alpha, \beta)$

$\theta_{m=1...M} \sim Dirichlet_M(c\gamma_1, ..., c\gamma_K)$

$z_{m=1...M,n=1...N_m} \sim Categorical_M(\theta_m)$

どこ：

• $K$$K = 6$
• $M$
• $N_m$$m$
• $\alpha = 1 / K$
• $\beta$
• $c$
• $\gamma_k$$k$
• $\theta_m$$K$
• $z_{mn}$$n$$m$

これは、モデリング前の直接ベイズ共役です。Beta-Binomialモデルからの自然な拡張。このために良いリソースからかもしれない本。後部もディリクレなので、ディリクレからシミュレーションすると必要な要約が得られます