タグ付けされた質問 「dirichlet-distribution」

私は興味のある結果が二分されglmnetているLASSO回帰の使用に手を出し始めています。以下に小さな模擬データフレームを作成しました。 age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) m_edu <- c(0, 1, 1, 2, 2, 3, 2, 0, 1) p_edu <- c(0, 2, 2, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

LDAトピックモデルアルゴリズムでは、この仮定を見ました。しかし、なぜディリクレ分布を選んだのか分かりませんか？Multinomial上の均一分布をペアとして使用できるかどうかわかりませんか？

36 bayesian  dirichlet-distribution  conjugate-prior 

私はベイジアン統計にかなり慣れていないので、アルゴリズムのバックエンドでディリクレプロセスを使用する修正された相関測定SparCCに出会いました。何が起こっているのかを実際に理解するために段階的にアルゴリズムを試してみましたがalpha、ディリクレ分布でベクトルパラメーターが何をするのか、ベクトルパラメーターをどのように正規化するのか正確にはわかりませんかalpha？ 実装は以下をPython使用していNumPyます：https : //docs.scipy.org/doc/numpy/reference/generated/numpy.random.dirichlet.html ドキュメントは言う： alpha：分布の配列パラメーター（次元kのサンプルのk次元）。 私の質問： alphas分布にどのような影響がありますか？; どのようalphasに正規化されていますか？; そして alphasが整数でない場合はどうなりますか？ import numpy as np import pandas as pd import matplotlib.pyplot as plt # Reproducibility np.random.seed(0) # Integer values for alphas alphas = np.arange(10) # array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) # Dirichlet Distribution dd = …

26 distributions  bayesian  dirichlet-distribution 

我々が持つディリクレ分布持っていると言うKKK次元ベクトルパラメータα⃗ = [ α1、α2、。。。、αK]α→=[α1、α2、。。。、αK]\vec\alpha = [\alpha_1, \alpha_2,...,\alpha_K]。この分布からサンプル（次元ベクトル）を描画するにはどうすればよいですか？（おそらく）簡単な説明が必要です。KKK

25 sampling  dirichlet-distribution 

そのため、この質問は少し厄介ですが、それを補うためにカラフルなグラフを含めます！最初に背景、次に質問。 バックグラウンド あなたが持っていると言う以上の等しいprobailitesと次元の多項分布カテゴリを。してみましょう正規化数（可能：つまり、その分布から）、N π = （π 1、... 、π N）Cnnnnnnπ= （π1、… 、πn）π=(π1,…,πn)\pi = (\pi_1, \ldots, \pi_n)ccc （c1、… 、cn）〜多項（1 / n 、… 、1 / n ）π私= c私n(c1,…,cn)∼Multinomial(1/n,…,1/n)πi=cin(c_1, \ldots, c_n) \sim \text{Multinomial}(1/n, \ldots, 1/n) \\ \pi_i = {c_i \over n} 現在、を介した分布は -simplexをサポートしていますが、個別のステップがあります。たとえば、場合、この分布には次のサポートがあります（赤い点）：N 、N = 3ππ\pinnnn = 3n=3n = 3 同様のサポートを備えた別の分布は、次元の分布、つまり単位シンプレックス上の均一な分布です。たとえば、次は3次元の 1、1、1）からのランダムな描画です。ディリクレ（1 、... 、1 …

24 distributions  bayesian  bootstrap  multinomial  dirichlet-distribution 

長さ1のスティックを、ランダムに一様に断片に分割します。最も長いフラグメントの長さの分布は何ですか？k + 1k+1k+1 より正式には、をIIDとし、関連する順序統計、つまり単純に順序付けします。そのような方法で試料。ましょう。（U1、… Uk）（うん1、…うんk）(U_1, \ldots U_k)うん（0 、1 ）うん（0、1）U(0,1)（U（1 ）、… 、U（k ））（うん（1）、…、うん（k））(U_{(1)}, \ldots, U_{(k)})うん（1 ）≤ U（2 ）≤,…,≤U(k)U(1)≤U(2)≤,…,≤U(k)U_{(1)} \leq U_{(2)} \leq, \ldots , \leq U_{(k)}Zk= 最大（U（1 ）、U（2 ）− U（1 ）、… 、U（k ）− U（k − 1 ）、1 − U（k ））Zk=最大（うん（1）、うん（2）−うん（1）、…、うん（k）−うん（k−1）、1−うん（k））Z_k = \max \left(U_{(1)}, U_{(2)}-U_{(1)}, \ldots, U_{(k)} - U_{(k-1)}, 1-U_{(k)}\right) Z_kの分布に興味がありますZkZkZ_k。モーメント、漸近結果、またはk \ uparrow …

21 distributions  uniform  order-statistics  dirichlet-distribution  maximum 

トピックモデリング（潜在ディリクレ割り当て）を使用する場合、トピックの数はユーザーが指定する必要がある入力パラメーターです。 Dirichletプロセスがサンプリングする必要がある候補トピックセットのコレクションも提供する必要があるように見えますか？私の理解は正しいですか？実際には、この種の候補トピックセットを設定する方法は？

17 machine-learning  bayesian  clustering  text-mining  dirichlet-distribution 

ましょうX1,…,Xk+1X1,…,Xk+1X_1,\dots,X_{k+1}互いに独立ランダム変数であり、パラメータを持つそれぞれ有するガンマ分布ショーをそのには、αi,i=1,2,…,k+1αi,i=1,2,…,k+1\alpha_i,i=1,2,\dots,k+1Yi=XiX1+⋯+Xk+1,i=1,…,kYi=XiX1+⋯+Xk+1,i=1,…,kY_i=\frac{X_i}{X_1+\cdots+X_{k+1}},i=1,\dots,kDirichlet(α1,α2,…,αk;αk+1)Dirichlet(α1,α2,…,αk;αk+1)\text{Dirichlet}(\alpha_1,\alpha_2,\dots,\alpha_k;\alpha_{k+1}) 関節PDF次に関節を見つけるPDF私はヤコビアンすなわち見つけることができません(X1,…,Xk+1)=e−∑k+1i=1xixα1−11…xαk+1−1k+1Γ(α1)Γ(α2)…Γ(αk+1)(X1,…,Xk+1)=e−∑i=1k+1xix1α1−1…xk+1αk+1−1Γ(α1)Γ(α2)…Γ(αk+1)(X_1,\dots,X_{k+1})=\frac{e^{-\sum_{i=1}^{k+1}x_i}x_1^{\alpha_1-1}\dots x_{k+1}^{\alpha_{k+1}-1}}{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots \Gamma(\alpha_{k+1})}(Y1,…,Yk+1)(Y1,…,Yk+1)(Y_1,\dots,Y_{k+1})J(x1,…,xk+1y1,…,yk+1)J(x1,…,xk+1y1,…,yk+1)J(\frac{x_1,\dots,x_{k+1}}{y_1,\dots,y_{k+1}})

16 self-study  multivariate-analysis  gamma-distribution  dirichlet-distribution 

（教師なし）テキストモデリングでは、潜在ディリクレ割り当て（LDA）は確率的潜在セマンティック分析（PLSA）のベイジアンバージョンです。基本的に、LDA = PLSA + Dirichletはそのパラメーターよりも優先されます。私の理解では、LDAは現在、参照アルゴリズムであり、さまざまなパッケージに実装されていますが、PLSAはもう使用すべきではありません。 ただし、（教師付き）テキスト分類では、多項分布のナイーブベイズ分類器に対してまったく同じことを行い、パラメーターよりも先にディリクレを置くことができます。しかし、私は誰もそれをするのを見たことがないと思います、そして多項式のNaive Bayesの「ポイント推定」バージョンはほとんどのパッケージで実装されたバージョンのようです。その理由はありますか？

15 bayesian  multinomial  prior  naive-bayes  dirichlet-distribution 

同じスケールパラメーターのガンマ変数を使用して、ディリクレ分布でランダム変数を生成するのは簡単です。次の場合： Xi∼Gamma(αi,β)Xi∼Gamma(αi,β) X_i \sim \text{Gamma}(\alpha_i, \beta) 次に： (X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn)(X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn) \left(\frac{X_1}{\sum_j X_j},\; \ldots\; , \frac{X_n}{\sum_j X_j}\right) \sim \text{Dirichlet}(\alpha_1,\;\ldots\;,\alpha_n) 問題 スケールパラメーターが等しくない場合はどうなりますか？ Xi∼Gamma(αi,βi)Xi∼Gamma(αi,βi) X_i \sim \text{Gamma}(\alpha_i, \beta_i) 次に、この変数の分布は何ですか？ (X1∑jXj,…,Xn∑jXj)∼?(X1∑jXj,…,Xn∑jXj)∼? \left(\frac{X_1}{\sum_j X_j},\; \ldots\; , \frac{X_n}{\sum_j X_j}\right) \sim \; ? 私にとっては、この分布の期待値を知るだけで十分でしょう。 コンピューターで非常に高速に評価できる近似の閉じた代数式が必要です。 0.01の精度での近似で十分だとしましょう。 あなたはそれを仮定することができます： αi,βi∈Nαi,βi∈N \alpha_i, \beta_i \in \mathbb{N} 注要するに、タスクはこの積分の近似値を見つけることです。 f(α⃗ ,β⃗ )=∫Rn+x1∑jxj⋅∏jβαjjΓ(αj)xαj−1je−βjxjdx1…dxnf(α→,β→)=∫R+nx1∑jxj⋅∏jβjαjΓ(αj)xjαj−1e−βjxjdx1…dxn f(\vec{\alpha}, \vec{\beta}) = …

14 expected-value  dirichlet-distribution  gamma-distribution  integral 

ラプラス平滑化（または加法平滑化）のウィキペディアの記事では、ベイズの観点から、 これは、事前分布としてパラメーターを持つ対称ディリクレ分布を使用して、事後分布の期待値に対応します。αα\alpha それが実際にどのように真実であるかについて私は困惑しています。誰かが私にそれらの2つのものが同等である方法を理解するのを手伝ってくれる？ ありがとう！

11 bayesian  smoothing  dirichlet-distribution  laplace-smoothing 

ディリクレ事後分布について質問があります。多項尤度関数が与えられた場合、事後はであることが知られています。ここで、は観測値を表示した回数です。Dir(αi+Ni)Dir(αi+Ni)Dir({\alpha_i + N_i})NiNiN_iithithi^{th} 与えられた固定データに対して s を減らし始めるとどうなりますか？後部の形から、ある時点で sは後部にまったく影響を与えなくなるようです。しかし、 sを非常に小さくすると、質量がシンプレックスのコーナーに移動し、後方に大きな影響が及ぶ可能性があると言うのは正しいのではないでしょうか。どのステートメントが正しいですか？αα\alphaDDDαα\alphaαα\alpha

11 dirichlet-distribution 

手元にある問題をできるだけ一般的に説明するようにします。私は、観測値をパラメーター確率ベクトルシータを持つカテゴリカル分布としてモデル化しています。 その後、私はパラメータベクトルシータは、以下を前提とディリクレ事前パラメータを持つ分布。α1、α2、… 、αkα1,α2,…,αk\alpha_1,\alpha_2,\ldots,\alpha_k また、パラメータを超えるhyperprior分布を課すことがことが可能である？カテゴリー分布やディリクレ分布などの多変量分布でなければなりませんか？私にはアルファが常に正であるように見えるので、ガンマハイパープライアが機能するはずです。α1、α2、… 、αkα1,α2,…,αk\alpha_1,\alpha_2,\ldots,\alpha_k 誰かがそのような（おそらく）過剰パラメータ化されたモデルをフィッティングしようとしたが、アルファは修正されるべきではなく、ガンマ分布からのものであると考えるのが合理的であるかどうかわからない。 このようなアプローチを実際にどのように試すことができるかについての参考情報と洞察を提供してください。

10 categorical-data  multinomial  dirichlet-distribution  hierarchical-bayesian  dirichlet-process 

DeepMindのAlphaGo ZeroとAlphaZeroの論文では、モンテカルロツリー検索でルートノード（ボード状態）からのアクションの以前の確率にディリクレノイズを追加することについて説明しています。 追加の探査は、ルートノードに事前確率にノイズディリクレを添加することによって達成される、具体的にはP （S 、）= （1 - ε ）P A + ε η A、ここでη 〜ディレクトリ（0.03 ）およびε = 0.25 ; このノイズにより、すべての動きが試行される可能性がありますが、検索は依然として悪い動きを無効にする可能性があります。s0s0s_0P(s,a)=(1−ε)pa+εηaP(s,a)=(1−ε)pa+εηaP(s, a) = (1−\varepsilon)p_a+ \varepsilon \eta_aη∼Dir(0.03)η∼Dir(0.03)\eta \sim \text{Dir}(0.03)ε=0.25ε=0.25\varepsilon = 0.25 （AlphaGo Zero） そして： ディリクレノイズがルートノードの以前の確率に追加されました。これは、典型的な位置での法的な動きのおおよその数に反比例して、α = { 0.3の値にスケーリングされました。Dir(α)Dir(α)\text{Dir}(\alpha)チェス、将棋、囲碁はそれぞれ 0.03 }。α={0.3,0.15,0.03}α={0.3,0.15,0.03}\alpha = \{0.3, \; 0.15, \; 0.03\} （AlphaZero） 私が理解していない2つのこと： P(s, a)ある次元ベクトル。あるディレクトリ（α ）とディリクレ分布のための速記Nパラメータ値と各αは？nnnDir(α)Dir(α)\text{Dir}(\alpha)nnnαα\alpha 私は多項分布の前の共役としてディリクレに出くわしました。なぜここで選ばれたのですか？ …

10 machine-learning  neural-networks  dirichlet-distribution 

私は現在、ディリクレ過程変量効果モデルの論文を見ています。モデルの仕様は次のとおりです： y私ψ私G= X私β+ ψ私+ ϵ私〜G〜D P（α 、G0）yi=Xiβ+ψi+ϵiψi∼GG∼DP(α,G0) \begin{align*}y_{i} &= X_{i}\beta + \psi_{i} + \epsilon_{i}\\ \psi_{i} &\sim G \\ G &\sim \mathcal{DP}\left(\alpha, G_{0}\right) \end{align*}αα\alphaG0G0G_{0}G0G0G_{0}∫f（yj| θ、 ψj）dG0（ψj）。∫f(yj|θ,ψj)dG0(ψj). \int f\left(y_{j}|\theta, \psi_{j}\right)\, dG_{0}\left(\psi_{j}\right).

9 bayesian  dirichlet-distribution  dirichlet-process  nonparametric-bayes  measure-theory