ディリクレ分布のアルファとは正確には何ですか？

私はベイジアン統計にかなり慣れていないので、アルゴリズムのバックエンドでディリクレプロセスを使用する修正された相関測定SparCCに出会いました。何が起こっているのかを実際に理解するために段階的にアルゴリズムを試してみましたがalpha、ディリクレ分布でベクトルパラメーターが何をするのか、ベクトルパラメーターをどのように正規化するのか正確にはわかりませんかalpha？

実装は以下をPython使用していNumPyます：https : //docs.scipy.org/doc/numpy/reference/generated/numpy.random.dirichlet.html

ドキュメントは言う：

alpha：分布の配列パラメーター（次元kのサンプルのk次元）。

私の質問：

alphas分布にどのような影響がありますか？;
どのようalphasに正規化されていますか？; そして
alphasが整数でない場合はどうなりますか？

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# Reproducibility
np.random.seed(0)

# Integer values for alphas
alphas = np.arange(10)
# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

# Dirichlet Distribution
dd = np.random.dirichlet(alphas) 
# array([ 0.        ,  0.0175113 ,  0.00224837,  0.1041491 ,  0.1264133 ,
#         0.06936311,  0.13086698,  0.15698674,  0.13608845,  0.25637266])

# Plot
ax = pd.Series(dd).plot()
ax.set_xlabel("alpha")
ax.set_ylabel("Dirichlet Draw")

distributions bayesian dirichlet-distribution

— オルカ
ソース

このディストリビューションのウィキペディアのエントリに問題がありますか？

— 西安

おologiesび申し上げます、私はそれを正しく言い表したとは思いません。確率分布/ pdf / pmfが何であるかは理解していますが、正規化がどのように行われているかについては混乱していました。ウィキペディアから、正規化後にガンマ関数を経由して発生しているようだ

。私はそれがディストリビューション上のディストリビューションと呼ばれることを聞いたことがあり、ウィキペディアのeqnsからそれを見ることは難しいです。

\prod {x_{i}}^{α - 1}

${\prod}{x_i}^{\alpha - 1}$

— O.rka

アルファを正規化すると、分布の平均が得られます。分布を正規化すると、そのサポートに対する積分が1に等しくなり、有効な確率分布になることが保証されます。

— エスカップ

ディリクレ分布は、シンプレックス上の分布であるため、有限サポート分布上の分布です。連続分布を超える分布を目指す場合、ディリクレ過程を調べる必要があります。

— 西安

回答:

ディリクレ分布を記述する多変量確率分布であり、変数、そのような各そのと、ベクトルによってパラメータ化されます正の値のパラメーターの。パラメーターは $k\ge2$ $X_1,\dots,X_k$ $x_i \in (0,1)$ $\sum_{i=1}^N x_i = 1$ $\boldsymbol{\alpha} = (\alpha_1,\dots,\alpha_k)$ 整数である必要があり、正の実数である必要があります。それらは決して「正規化」されておらず、この分布のパラメーターです。

ディリクレ分布は、ベータ分布を複数の次元に一般化したものなので、ベータ分布について学習することから始めることができます。ベータは、パラメーターおよびパラメーター化されたランダム変数単変量分布です。あなたはそれがあることを思い出した場合、それについての素晴らしい直感が来共役事前のための二項分布と我々は前によってパラメータベータ仮定した場合と二項分布の確率パラメータのため、その後の事後分布もありますパラメータ化されたベータ分布 $X \in (0,1)$ $\alpha$ $\beta$ $\alpha$ $\beta$ $p$ $p$ $\alpha' = \alpha + \text{number of successes}$ と。したがって、およびは、成功および失敗の疑似カウント（整数である必要はありません）と考えることができます（このスレッドもチェックしてください）。 $\beta' = \beta + \text{number of failures}$ $\alpha$ $\beta$

ディリクレ分布の場合には、それは前に共役であるため多項分布。二項分布の場合、白と黒のボールを骨から置換することで考えることができる場合、多項分布の場合、置換ボールが色で表示され、各色が表示されますのボールは確率で描くことができます。ディリクレ分布は、確率の共役事前分布であり、パラメーターは color的に仮定された各色のボールの擬似カウントと考えることができます $N$ $k$ $p_1,\dots,p_k$ $p_1,\dots,p_k$ $\alpha_1,\dots,\alpha_k$ （しかし、そのような推論の落とし穴についても読むべきです）。ディリクレ多項モデルでは、は、各カテゴリで観測されたカウントで合計することにより更新されます：ベータ二項モデルの場合と同様の方法で $\alpha_1,\dots,\alpha_k$ $\alpha_1+n_1,\dots,\alpha_k+n_k$

値が大きいほど、「重み」が大きくなり、合計「質量」の量が大きくなります（合計ででなければならないことを思い出してください）。すべてのが等しい場合、分布は対称です。場合、それはプッシュ離れること抗重みとして考えることができるが高い場合、それは引き付けながら、極端に向かって、全ての点がその周りに集中しているという意味で、中央（いくつかの中心値に向けないで対称的に中央にあると感じます）。場合、次いで点が均一に分布しています。 $\alpha_i$ $X_i$ $x_1+\dots+x_k=1$ $\alpha_i$ $\alpha_i < 1$ $x_i$ $x_i$ $\alpha_1 = \dots = \alpha_k = 1$

これは、以下のプロットで見ることができます。そこでは、（a）、（b）パラメーター化された三変量ディリクレ分布を見ることができます（残念ながら、最大3次元までの合理的なプロットを作成できます）、（c）、（d）。 $\alpha_1 = \alpha_2 = \alpha_3 = 1$ $\alpha_1 = \alpha_2 = \alpha_3 = 10$ $\alpha_1 = 1, \alpha_2 = 10, \alpha_3 = 5$ $\alpha_1 = \alpha_2 = \alpha_3 = 0.2$

ディリクレ分布は、確率分布そのものと考えることができるため、「分布上の分布」と呼ばれることもあります。各およびであるため、は1番目と2番目の確率の公理と一致することに注意してください。したがって、ディリクレ分布は、カテゴリカルや多項分布などの分布によって記述される離散イベントの確率分布として使用できます。それはありません $x_i \in (0,1)$ $\sum_{i=1}^k x_i = 1$ $x_i$ それは、あらゆる分布にわたる分布であり、たとえば、連続ランダム変数の確率、またはいくつかの離散変数とは関係ありません（たとえば、ポアソン分布確率変数は、任意の自然数である値を観測する確率を記述するため、それらの確率に対するディリクレ分布には、無限個のランダム変数が必要です。 $k$

— ティム
ソース

信じられないほどの説明

— -O.rka

免責事項：私は以前このディストリビューションで働いたことはありません。この答えは、このウィキペディアの記事と私の解釈に基づいています。

ディリクレ分布は、ベータ分布と同様の特性を持つ多変量確率分布です。

PDFは次のように定義されます。

{x_{1}, \dots, x_{K}} \sim \frac{1}{B (α)} \prod_{i = 1}^{K} x_{i}^{α_{i} - 1}

$\{x_1, \dots, x_K\} \sim\frac{1}{B(\boldsymbol{\alpha})}\prod_{i=1}^Kx_i^{\alpha_i - 1}$

$K \geq 2$ $x_i \in (0,1)$ $\sum_{i=1}^Kx_i = 1$

密接に関連するベータ分布を見ると：

{x_{1}, x_{2} (= 1 - x_{1})} \sim \frac{1}{B (α, β)} x_{1}^{α - 1} x_{2}^{β - 1}

$\{x_1, x_2 (=1-x_1)\} \sim \frac{1}{B(\alpha,\beta)}x_1^{\alpha-1}x_2^{\beta-1}$

$K=2$ $K>2$

$\alpha$ $\beta$ $\alpha_1$ $\alpha_2$ $A$ $B$ $\alpha_{1,pos} = \alpha_1 + A$ $\alpha_{2,pos}=\alpha_2 + B$

$x_1$ $x_2 (=1-x_1)$ $A$ $B$

$K=2$ $K$ $K=2$ $K$ $x_i$

$\alpha_i$ $\alpha_1$ $\alpha_2$ $x_i$ と同様の方法で更新されます。

だから今あなたの質問に到達する：

alphas分布にどのような影響がありますか？

$x_i \in (0,1)$ $\sum_{i=1}^Kx_i = 1$ $\alpha_i$ $K$ $\sum_{i=1}^K\alpha_i$ $x_i$ 、または各結果の確率。これは、密度がより集中することを意味します。

どのようalphasに正規化されていますか？

$B(\boldsymbol{\alpha})$

B (α) = \frac{\prod_{i = 1}^{K} Γ (α_{i})}{Γ (\sum_{i = 1}^{K} α_{i})}

$B(\boldsymbol{\alpha}) = \frac{\prod_{i=1}^K\Gamma(\alpha_i)}{\Gamma(\sum_{i=1}^K\alpha_i)}$

$K=2$

B (α_{1}, α_{2}) = \frac{Γ (α_{1}) Γ (α_{2})}{Γ (α_{1} + α_{2})}

$B(\alpha_1, \alpha_2) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)}{\Gamma(\alpha_1+\alpha_2)}$

これは

B (α) = \frac{Γ (α_{1}) Γ (α_{2}) \dots Γ (α_{K})}{Γ (α_{1} + α_{2} + \dots + α_{K})}

$B(\boldsymbol{\alpha}) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots\Gamma(\alpha_K)}{\Gamma(\alpha_1+\alpha_2+\dots+\alpha_K)}$

アルファが整数でない場合はどうなりますか？

$\alpha_i>1$ $\alpha_i < 1$ $x_i$ $K$ $K\geq2$

— JAD
ソース

これをありがとう。あなたの説明はとても役に立ちました。両方とも正しいとマークできたらよかったのに。

— -O.rka