タグ付けされた質問 「gibbs」

ベイジアンモデルを推定するためのBUGSスタイルの環境を試しています。OpenBugsまたはJAGSを選択する際に考慮すべき重要な利点はありますか？近い将来、一方が他方を置き換える可能性はありますか？ Rで選択したGibbs Samplerを使用します。特定のアプリケーションはまだありませんが、どちらを導入して学習するかを決定しています。

41 r  software  bugs  jags  gibbs 

私はMCMCの方法を学ぼうとしており、Metropolis Hastings、Gibbs、Importance、およびRejectionのサンプリングに出会いました。これらの違いの一部は明らかです。つまり、完全な条件式がある場合にGibbsがMetropolis Hastingsの特殊なケースであるのに対し、その他はGibbsサンプラー内でMHを使用する場合など、それほど明白ではありません。これらのそれぞれの違いの大部分を見る簡単な方法は？ありがとう！

36 mcmc  monte-carlo  gibbs  metropolis-hastings  importance-sampling 

Gibbs Samplingがどのように機能するかを学びたいのですが、基本的なものから中級の論文までを探しています。私はコンピューターサイエンスの背景と基本的な統計知識を持っています。 誰もが良い資料を読んでいますか？どこでそれを学びましたか？ ありがとう

29 references  gibbs 

ある問題のためにモンテカルロシミュレーションをコーディングしていて、モデルが十分に単純な場合、非常に基本的な教科書のギブスサンプリングを使用します。Gibbsサンプリングを使用できない場合は、数年前に学んだ教科書Metropolis-Hastingsをコーディングします。私がそれに与えた唯一の考えは、ジャンプ分布またはそのパラメーターを選択することです。 これらの教科書のオプションを改善する何百もの専門的な方法があることは知っていますが、通常、それらを使用/学習することは考えません。通常、すでに非常にうまく機能しているものを少し改善するのはあまりにも多くの努力のように感じます。 しかし、最近、私がやっていることを改善できる新しい一般的な方法がないかと考えていました。それらの方法が発見されてから数十年が経ちました。たぶん私は本当に時代遅れです！ メトロポリス・ヘイスティングスに代わる有名な代替品はありますか？ 実装が合理的で、 MHと同様に普遍的に適用可能、 そして、何らかの意味でMHの結果を常に改善します（計算パフォーマンス、精度など）。 非常に特殊化されたモデルの非常に特殊化された改善については知っていますが、私が知らない一般的なものがありますか？

21 bayesian  mcmc  gibbs  metropolis-hastings 

私はギブスのサンプリングとメトロポリス・ヘイスティングスのアルゴリズムについて読んでいるところですが、いくつか質問があります。 私が理解しているように、ギブスサンプリングの場合、大きな多変量問題がある場合、条件付き分布からサンプリングします。つまり、他のすべてを固定したまま1つの変数をサンプリングします。 文書によると、提案されたサンプルは常に Gibbs Samplingで受け入れられます。つまり、提案受け入れ率は常に1です。 。もしそうなら、事後分布を生成するために常にギブスサンプラーを使用しない理由は何ですか？

20 bayesian  sampling  mcmc  gibbs  metropolis-hastings 

MCMCアルゴリズムにはさまざまな種類があります。 メトロポリス・ヘイスティングス ギブス 重要性/拒否サンプリング（関連）。 Metropolis-Hastingsの代わりにGibbsサンプリングを使用するのはなぜですか？メトロポリス・ヘイスティングスよりもギブス・サンプリングの方が推論が扱いやすい場合があると思いますが、詳細については明確ではありません。

20 bayesian  simulation  mcmc  gibbs  metropolis-hastings 

ギブスサンプリングがマルコフ連鎖モンテカルロサンプリング用のメトロポリスヘイスティングスアルゴリズムの特殊なケースであることは、最高の権限1に基づいています。MHアルゴリズムは、常に詳細なバランスプロパティを持つ遷移確率を提供します。ギブズもそうすべきだと思う。では、次の単純なケースでどこがおかしいのでしょうか？ 2つの離散（簡単にするため）変数のターゲット分布場合、完全な条件付き分布は次のとおりです。 π(x,y)π(x,y)\pi(x, y)q1(x;y)q2(y;x)=π(x,y)∑zπ(z,y)=π(x,y)∑zπ(x,z)q1(x;y)=π(x,y)∑zπ(z,y)q2(y;x)=π(x,y)∑zπ(x,z) \begin{align} q_1 (x;y) & =\frac{\pi (x,y)}{\sum_z \pi (z,y)} \\ q_2 (y;x) & =\frac{\pi (x,y)}{\sum_z \pi (x,z)} \end{align} ギブスサンプリングを理解すると、遷移確率は次のように記述できます Prob{(y1,y2)→(x1,x2)}=q1(x1;y2)q2(x2;x1)Prob{(y1,y2)→(x1,x2)}=q1(x1;y2)q2(x2;x1) Prob\{(y_1, y_2) \to (x_1, x_2)\} = q_1(x_1; y_2) q_2(x_2; x_1) 問題は、 しかし私が得ることができる最も近いものは これは微妙に異なり、詳細なバランスを意味するものではありません。ご意見ありがとうございます！π(y1,y2)Prob{(y1,y2)→(x1,x2)}=?π(x1,x2)Prob{(x1,x2)→(y1,y2)},π(y1,y2)Prob{(y1,y2)→(x1,x2)}=?π(x1,x2)Prob{(x1,x2)→(y1,y2)}, \pi(y_1,y_2) Prob\{(y_1, y_2) \to (x_1, x_2)\} \overset{?}{=} \pi(x_1,x_2) Prob\{(x_1, x_2) \to (y_1, y_2)\}, π(y1,y2)Prob{(y1,y2)→(x1,x2)}=π(y1,y2)q2(x2;x1)q1(x1;y2)=π(x1,x2)∑zπ(x1,z)π(x1,y2)∑zπ(z,y2)π(y1,y2)=π(x1,x2)q2(y2;x1)q1(y1;y2)π(y1,y2)Prob{(y1,y2)→(x1,x2)}=π(y1,y2)q2(x2;x1)q1(x1;y2)=π(x1,x2)∑zπ(x1,z)π(x1,y2)∑zπ(z,y2)π(y1,y2)=π(x1,x2)q2(y2;x1)q1(y1;y2) …

17 mcmc  gibbs 

ここからダウンロードできるStanドキュメントを調べていました。Gelman-Rubin診断の実装に特に興味がありました。元の論文Gelman＆Rubin（1992）は、潜在的な縮尺率（PSRF）を次のように定義しています。 ましょうであるサンプリング番目のマルコフ連鎖、および全体的な存在であるとするサンプリング独立チェーン。ましょうから平均する番目の鎖、及び全体平均です。定義、 ここで そして、定義Xi,1,…,Xi,NXi,1,…,Xi,NX_{i,1}, \dots , X_{i,N}iiiMMMX¯i⋅X¯i⋅\bar{X}_{i\cdot}ˉ X ⋅ ⋅ W = 1iiiX¯⋅⋅X¯⋅⋅\bar{X}_{\cdot \cdot}s 2 m =1W=1M∑m=1Ms2m,W=1M∑m=1Msm2,W = \dfrac{1}{M} \sum_{m=1}^{M} {s^2_m}, B B = Ns2m=1N−1∑t=1N(X¯mt−X¯m⋅)2.sm2=1N−1∑t=1N(X¯mt−X¯m⋅)2.s^2_m = \dfrac{1}{N-1} \sum_{t=1}^{N} (\bar{X}_{m t} - \bar{X}_{m \cdot})^2\,. BBB B=NM−1∑m=1M(X¯m⋅−X¯⋅⋅)2.B=NM−1∑m=1M(X¯m⋅−X¯⋅⋅)2.B = \dfrac{N}{M-1} \sum_{m=1}^{M} (\bar{X}_{m \cdot} - \bar{X}_{\cdot \cdot})^2 \,. 定義 PSRFはで推定されここで ここで、。√V^=(N−1N)W+(M+1MN)B.V^=(N−1N)W+(M+1MN)B.\hat{V} = \left(\dfrac{N-1}{N} \right)W …

16 mcmc  convergence  gibbs  metropolis-hastings  stan 

Metropolis-HastingsやGibbsサンプリングなどのMCMCアルゴリズムは、共同事後分布からサンプリングする方法です。 私は理解し、メトロポリスを壊すことは非常に簡単に実装できると思います-単に何らかの方法で開始点を選択し、事後密度と提案密度に基づいてランダムに「パラメータ空間を歩く」。Gibbsサンプリングは非常によく似ていますが、一度に1つのパラメータのみを更新し、他のパラメータを一定に保ち、空間を効果的に直交させて歩くため、より効率的です。 これを行うには、分析from *の各パラメーターの完全な条件が必要です。しかし、これらの完全な条件はどこから来るのでしょうか？ 分母を取得するには、x1上のジョイントをマージナライズする必要があります。多くのパラメータがある場合、分析的に行うのは非常に多くの作業のように思われます。また、ジョイント分布があまり「素敵」でない場合は扱いにくいかもしれません。モデル全体で共役性を使用する場合、完全な条件は簡単かもしれませんが、より一般的な状況ではより良い方法が必要だと思います。P(x1|x2, …, xn)=P(x1, …, xn)P(x2, …, xn)P(x1|x2, …, xn)=P(x1, …, xn)P(x2, …, xn) P(x_1 | x_2,\ \ldots,\ x_n) = \frac{P(x_1,\ \ldots,\ x_n)}{P(x_2,\ \ldots,\ x_n)} x1x1x_1 私がオンラインで見たギブスのサンプリングのすべての例は、おもちゃの例を使用しています（多変量法線からのサンプリングのように、条件はそれ自体が単なる法線です）、この問題を避けているようです。 *または、分析形式の完全な条件が必要ですか？winBUGSのようなプログラムはどのようにそれを行いますか？

15 bayesian  mcmc  gibbs 

のセクション4.2.1の結果を最初から再現しています ギブス出力からの限界尤度 シッダールタチブ Journal of the American Statistics Association、Vol。90、No。432.（1995年12月）、pp。1313-1321。 これは、既知の数と法線モデルの混合だk≥1k≥1k\geq 1成分。 f(x∣w,μ,σ2)=∏i=1n∑j=1kN(xi∣μj,σ2j).(∗)f(x∣w,μ,σ2)=∏i=1n∑j=1kN(xi∣μj,σj2).(∗) f(x\mid w,\mu,\sigma^2) =\prod_{i=1}^n\sum_{j=1}^k \mathrm{N}(x_i\mid\mu_j,\sigma_j^2) \, . \qquad (*) のPr （Z iは = jは| W ）= W jは F （X I | Z 、μ 、σ 2）= N（X I | μ Z I、σ 2 Z I）z i（∗ ）z=(z1,…,zn)z=(z1,…,zn)z=(z_1,\dots,z_n)1,…,k1,…,k1,\dots,kPr （z私= j …

13 bayesian  mixture  gibbs 

Gelman＆Hill（2007）の本（Regression and Multilevel / Hierarchical Modelsを使用したデータ分析）で、著者は、冗長な平均パラメーターを含めることでMCMCを高速化できると主張しています。 与えられた例は、「フライトシミュレーター」（式13.9）のネストされていないモデルです。 yiγjδk∼N(μ+γj[i]+δk[i],σ2y)∼N(0,σ2γ)∼N(0,σ2δ)yi∼N(μ+γj[i]+δk[i],σy2)γj∼N(0,σγ2)δk∼N(0,σδ2) \begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align} 彼らは平均パラメータを追加し、再パラメータ化を推奨およびμ δ次のように：μγμγ\mu_\gammaμδμδ\mu_\delta γj∼N(μγ,σ2γ)δk∼N(μδ,σ2δ)γj∼N(μγ,σγ2)δk∼N(μδ,σδ2) \begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align} 提供される唯一の正当化はそれです（p。420）： シミュレーションは、ベクトル（またはδ）全体がゼロから遠くなるような構成でスタックする可能性があります（平均0の分布が割り当てられている場合でも）。最終的に、シミュレーションは正しい分布に収束しますが、待つ必要はありません。γγ\gammaδδ\delta 冗長な平均パラメータはこの問題にどのように役立ちますか？ ネストされていないモデルは、主にとδが負に相関しているため、遅いように思えます。（実際、一方が上がると、もう一方は下がる必要があります。合計がデータによって「固定」されるためです）。冗長な平均パラメーターは、γとδの間の相関を減らすのに役立ちますか？γγ\gammaδδ\deltaγγ\gammaδδ\delta

12 mcmc  hierarchical-bayesian  gibbs 

私が理解している限り、それは（少なくとも、Wikipediaがそれを定義している方法です）。しかし、私はこの声明をエフロン*が見つけました（強調は追加されました）。 マルコフ連鎖モンテカルロ（MCMC）は、現代のベイジアン統計の大きな成功事例です。MCMCとその姉妹メソッド「ギブスサンプリング」を使用すると、分析式では複雑すぎる状況での事後分布の数値計算が可能になります。 そして今、私は混乱しています。これは用語のわずかな違いですか、それともギブスはMCMC以外のものをサンプリングしていますか？ [*]：エフロン2011、「ブートストラップとマルコフチェーンモンテカルロ」

11 mcmc  gibbs 

私の研究の背景： ギブスサンプリングでは、（対象の変数）とをそれぞれとからサンプリングします。ここで、とは次元のランダムベクトルです。通常、プロセスは2つの段階に分かれています。XXXP （X | Y ）P （Y | X ）X Y kYYYP(X|Y)P(X|Y)P(X|Y)P(Y|X)P(Y|X)P(Y|X)XXXYYYkkk すべてのサンプルを破棄するバーンイン期間。サンプルをおよびます。Y 1〜Y トンX1∼XtX1∼XtX_1\sim X_tY1∼YtY1∼YtY_1\sim Y_t 「バーンイン後」の期間。サンプルを平均化し、最終的な望ましい結果としてをします。X¯=1k∑ki=1Xt+iX¯=1k∑i=1kXt+i\bar{X} = \frac{1}{k}\sum_{i=1}^k X_{t+i} ただし、「アフターバーンイン」シーケンスのサンプルは独立して配布されません。したがって、最終結果の分散を調べたい場合は、バツt + 1〜Xt + kXt+1∼Xt+kX_{t+1}\sim X_{t+k} Var[ X¯] = Var[ ∑i = 1kバツt + i] = 1k2（Σi = 1kVar[ Xt + i] + ∑i = 1k − 1Σj = …

11 hypothesis-testing  covariance  covariance-matrix  gibbs 

他の質問やギブスのサンプリングに関するウィキペディアを参照するのではないかと心配しているので、私は実際にこれを尋ねるのをためらっています。 条件付き確率与えられた場合： p （x | y ）y = y 0 y = y 1 x = x 0 1p(x|y)p(x|y)p(x|y)p(x|y)x=x0x=x1y=y01434y=y12646p(x|y)y=y0y=y1x=x01426x=x13446 \begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array} そして、条件付き確率： …

11 sampling  mcmc  gibbs 

説明変数があるとします。ここで、sは特定の座標を表します。また、応答変数Y = （ Y （s 1）、… 、Y （s n））があります。これで、両方の変数を次のように組み合わせることができます。X=(X(s1),…,X(sn))X=(X(s1),…,X(sn)){\bf{X}} = \left(X(s_{1}),\ldots,X(s_{n})\right)sssY=(Y(s1),…,Y(sn))Y=(Y(s1),…,Y(sn)){\bf{Y}} = \left(Y(s_{1}),\ldots,Y(s_{n})\right) W(s)=(X(s)Y(s))∼N(μ(s),T)W(s)=(X(s)Y(s))∼N(μ(s),T){\bf{W}}({\bf{s}}) = \left( \begin{array}{ccc}X(s) \\ Y(s) \end{array} \right) \sim N(\boldsymbol{\mu}(s), T) この場合、我々は単に選択とTは関係について説明共分散行列であり、X及びYは。これは、sでのXとYの値のみを示します。XとYの他の場所からのポイントが多いため、次のように W（s）のより多くの値を記述できます。μ(s)=(μ1μ2)Tμ(s)=(μ1μ2)T\boldsymbol{\mu}(s) = \left( \mu_{1} \; \; \mu_{2}\right)^{T}TTTXXXYYYXXXYYYsssXXXYYYW(s)W(s){\bf{W}}(s) (XY)=N((μ11μ21),T⊗H(ϕ))(XY)=N((μ11μ21),T⊗H(ϕ))\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) = N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right) とYのコンポーネントを再配置して、列内のすべてのX （s i）を取得し、その後、すべてのY （s i）を連結します。各成分H （ϕ ）i …

11 probability  bayesian  conditional-probability  gibbs