ラプラス平滑化とディリクレ事前

ラプラス平滑化（または加法平滑化）のウィキペディアの記事では、ベイズの観点から、

これは、事前分布としてパラメーターを持つ対称ディリクレ分布を使用して、事後分布の期待値に対応します。$\alpha$

それが実際にどのように真実であるかについて私は困惑しています。誰かが私にそれらの2つのものが同等である方法を理解するのを手伝ってくれる？

ありがとう！

承知しました。これは基本的に、ディリクレ分布が多項分布の共役の前であるという観察です。これは、それらが同じ機能形式を持っていることを意味します。記事ではそれについて触れていますが、これは多項式サンプリングモデルに基づいていることを強調しておきます。だから、それに取り掛かります...

観察は事後に関するものなので、いくつかのデータ導入しましょう。これは、異なるアイテムのカウントです。サンプルの合計を観察します。我々は仮定します未知の分布から引き出される（私たちが出してあげるその上の前に -simplex）。$x$$K$$N = \sum_{i=1}^K x_i$$x$$\pi$$\mathrm{Dir}(\alpha)$$K$

とデータが与えられたの事後確率は、$\pi$$\alpha$$x$

$$p(\pi | x, \alpha) = p(x | \pi) p(\pi|\alpha)$$

尤度は多項分布です。次に、PDFを書き出します。$p(x|\pi)$

$$p(x|\pi) = \frac{N!}{x_1!\cdots x_k!} \pi_1^{x_1} \cdots \pi_k^{x_k}$$

そして

$$p(\pi|\alpha) = \frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K \pi_i^{\alpha - 1}$$

ここで、です。掛け算すると、$\mathrm{B}(\alpha) = \frac{\Gamma(\alpha)^K}{\Gamma(K\alpha)}$

$$p(\pi|\alpha,x) = p(x | \pi) p(\pi|\alpha) \propto \prod_{i=1}^K \pi_i^{x_i + \alpha - 1}.$$

つまり、後部もディリクレです。問題は事後平均についてでした。事後はディリクレであるため、ディリクレの平均の式を適用して、

$$E[\pi_i | \alpha, x] = \frac{x_i + \alpha}{N + K\alpha}.$$

お役に立てれば！

余談ですが、私はまた、上記の導出に別のポイントを追加したいと思います。それは、本当の質問には関係ありません。ただし、多項分布のディリクレ事前分布について説明すると、確率を迷惑変数とする場合、尤度関数の形式はどのようなものになるかについて言及する価値があると思いました。

sydeulissieによって正しく指摘されているように、は比例します。ここで、を計算します。$p(\pi | \alpha, x)$$\prod_{i=1}^{K} \, \pi_i^{x_i+\alpha-1}$$p(x|\alpha)$

$$\begin{equation} p(x | \alpha) = \int \prod_{i=1}^{K}p(x | \pi_i, \alpha)p(\pi|\alpha) \mathrm{d} \pi_1 \mathrm{d} \pi_2 ...\mathrm{d} \pi_K \end{equation}$$

ガンマ関数に積分単位を使用すると、次のようになります。

$$\begin{equation} p(x|\alpha) = \frac{\Gamma(K\alpha)}{\Gamma(N + K\alpha)} \prod_{i=1}^{K} \frac{\Gamma(x_i + \alpha)}{\Gamma(\alpha)} \end{equation}$$

上記のカテゴリカルデータの尤度の導出は、サンプルサイズが十分に大きくない場合に、このデータを処理するより堅牢な方法を提案します。$N$