なぜディリクレ分布は多項分布の前にあるのですか？

36

LDAトピックモデルアルゴリズムでは、この仮定を見ました。しかし、なぜディリクレ分布を選んだのか分かりませんか？Multinomial上の均一分布をペアとして使用できるかどうかわかりませんか？

bayesian dirichlet-distribution conjugate-prior

— ColinBinWang
ソース

5

一様分布は、ディリクレ分布の特殊なケースです。

— スタンピージョーピート

60

ディリクレ分布がある前共役多項分布のために。これは、多項パラメーターの事前分布がディリクレの場合、事後分布もディリクレ分布であることを意味します（事前パラメーターとはパラメーターが異なります）。これの利点は、（a）事後分布の計算が簡単であり、（b）データを収集した後に信念がどの程度変化したかを何らかの意味で定量化できることです。

これらの基準は実際の事前の信念とは無関係であるため、これらが特定の事前を選択する正当な理由であるかどうかは確かに議論できます...それにもかかわらず、共役事前は人気があります。。

多項分布の特殊なケースでは、を多項パラメータのベクトル（つまり、異なるカテゴリの確率）とします。場合データを収集する前に、その後、観察所与の、異なるカテゴリに $(p_1,\ldots,p_k)$

（ p_{1} 、 \dots 、 p_{k} ） 〜 ディリクレ （ α_{1} 、 \dots 、 α_{k} ）

$(p_1,\ldots,p_k)\sim \mbox{Dirichlet}(\alpha_1,\ldots,\alpha_k)$

(x_{1}, \dots, x_{k})

$(x_1,\ldots,x_k)$

（ p_{1} 、 \dots 、 p_{k} ） | （ {バツ}_{1} 、 \dots 、 {バツ}_{k} ） 〜 ディリクレ （ α_{1} + {バツ}_{1} 、 \dots 、 α_{k} + {バツ}_{k} ） 。

$(p_1,\ldots,p_k)\Big|(x_1,\ldots,x_k)\sim \mbox{Dirichlet}(\alpha_1+x_1,\ldots,\alpha_k+x_k).$

$\alpha_1=\alpha_2=\cdots=\alpha_k=1$ $\alpha_1=\cdots=\alpha_k=1/2$

— マンス
ソース

したがって、これらの利点のためにディリクレ分布を選択します。

— -ColinBinWang

1

+1：尤度は必然的にディリクレであると明示的に言いたいかもしれません。これが事後分布の計算が簡単な理由です。

— ニールG

18

さらに、MånsTの答えに矛盾するのではなく、ベイジアンモデリングには「従来」のようなものは存在しないことを指摘するだけです。Dirichlet分布は、（a）共役、（b）コンピューティング、および（c）ノンパラメトリック統計との接続（これはDirichletプロセスの離散化バージョンであるため）のため、便利な選択です。

ただし、（i）多項式の重みを前に置くものは何でも主観的なベイズレベルで正当な答えであり、（ii）前の情報が利用できる場合は、ディリクレ分布に単純化する理由はありません。また、ディリクレ分布の混合および畳み込みを事前分布として使用できることに注意してください。

— 西安
ソース