タグ付けされた質問 「mcmc」

Metropolis-HastingsやGibbsサンプリングなどのMCMCアルゴリズムは、共同事後分布からサンプリングする方法です。 私は理解し、メトロポリスを壊すことは非常に簡単に実装できると思います-単に何らかの方法で開始点を選択し、事後密度と提案密度に基づいてランダムに「パラメータ空間を歩く」。Gibbsサンプリングは非常によく似ていますが、一度に1つのパラメータのみを更新し、他のパラメータを一定に保ち、空間を効果的に直交させて歩くため、より効率的です。 これを行うには、分析from *の各パラメーターの完全な条件が必要です。しかし、これらの完全な条件はどこから来るのでしょうか？ 分母を取得するには、x1上のジョイントをマージナライズする必要があります。多くのパラメータがある場合、分析的に行うのは非常に多くの作業のように思われます。また、ジョイント分布があまり「素敵」でない場合は扱いにくいかもしれません。モデル全体で共役性を使用する場合、完全な条件は簡単かもしれませんが、より一般的な状況ではより良い方法が必要だと思います。P(x1|x2, …, xn)=P(x1, …, xn)P(x2, …, xn)P(x1|x2, …, xn)=P(x1, …, xn)P(x2, …, xn) P(x_1 | x_2,\ \ldots,\ x_n) = \frac{P(x_1,\ \ldots,\ x_n)}{P(x_2,\ \ldots,\ x_n)} x1x1x_1 私がオンラインで見たギブスのサンプリングのすべての例は、おもちゃの例を使用しています（多変量法線からのサンプリングのように、条件はそれ自体が単なる法線です）、この問題を避けているようです。 *または、分析形式の完全な条件が必要ですか？winBUGSのようなプログラムはどのようにそれを行いますか？

15 bayesian  mcmc  gibbs 

MCMCを使用して混合モデルを推定する場合、ラベルスイッチング（つまり、事後分布はコンポーネントラベルのスイッチングに対して不変です）が問題です。 問題を処理するための標準的な方法（広く受け入れられている方法）はありますか？ 標準的なアプローチがない場合、ラベルスイッチングの問題を解決するための主要なアプローチの長所と短所は何ですか？

15 bayesian  mcmc  mixture 

SASを使用してマルコフ連鎖を理解しようとしています。マルコフ過程は、将来の状態が現在の状態にのみ依存し、過去の状態には依存せず、ある状態から別の状態への遷移確率をキャプチャする遷移行列があることを理解しています。 しかし、その後、私はこの用語に出くわしました：マルコフチェーンモンテカルロ。私が知りたいのは、マルコフ連鎖モンテカルロが上記のマルコフ過程に関係があるかどうかです。

15 probability  simulation  mcmc  monte-carlo  markov-process 

過去数週間にわたって、MCMCとMetropolis-Hastingsアルゴリズムを理解しようと試みてきました。私はそれを理解すると思うたびに、自分が間違っていることに気づきます。私がオンラインで見つけたコード例のほとんどは、説明と一致しないものを実装しています。すなわち、彼らはメトロポリス・ヘイスティングスを実装すると言いますが、実際にはランダムウォーク・メトロポリスを実装します。他の（ほぼ常に）対称提案提案分布を使用しているため、ヘイスティングス補正率の実装を静かにスキップします。実際、これまでに比率を計算する簡単な例は見つかりませんでした。それは私をさらに混乱させます。誰かが次のコード例を（すべての言語で）教えてもらえますか？ バニラノンランダムウォークメトロポリスヘイスティングスアルゴリズムとヘイスティングス補正率の計算（対称プロポーザル分布を使用する場合、これが1になる場合でも）。 バニラランダムウォークメトロポリスヘイスティングスアルゴリズム。 Vanilla Independent Metropolis-Hastingsアルゴリズム。 メトロポリスとメトロポリス-ヘイスティングスの唯一の違いは、最初のアルゴリズムが常に対称分布からサンプリングしているため、ヘイスティングス補正率がないため、メトロポリスアルゴリズムを提供する必要はありません。アルゴリズムの詳細な説明をする必要はありません。私は基本を理解していますが、Metropolis-Hastingsアルゴリズムのさまざまなバリエーションのすべての異なる名前と、Vanillaの非ランダムウォークMHにヘイスティングス補正率を実際に実装する方法と混同されています。ほとんどの場合既に質問を見たことがあるため、私の質問に部分的に答える貼り付けリンクをコピーしないでください。それらのリンクは私をこの混乱に導いた。ありがとうございました。

15 mcmc  metropolis-hastings 

誰かがハミルトニアンモンテカルロ法の背後にある主要なアイデアを説明できますか。その場合、マルコフ連鎖モンテカルロ法よりも良い結果が得られますか？

14 bayesian  mcmc  hmc 

テスト密度のスイートでいくつかの異なるアルゴリズムのパフォーマンスを比較するMCMCメソッドの大規模な研究がありましたか？Rios and Sahinidisの論文（2013）に相当するものを考えています。これは、いくつかのクラスのテスト関数での多数の派生物を含まないブラックボックスオプティマイザーの徹底的な比較です。 MCMCの場合、パフォーマンスは、たとえば、密度評価ごとの有効サンプル数（ESS）、またはその他の適切なメトリックで推定できます。 いくつかのコメント： パフォーマンスはターゲットpdfの詳細に強く依存することを理解していますが、最適化には同様の（場合によっては同一ではない）引数が保持されますが、ベンチマークの最適化を扱う多数のベンチマーク関数、スイート、競合、論文などがありますアルゴリズム。 また、MCMCが最適化と異なる点は、ユーザーからの注意と調整が比較的はるかに必要なことです。それでも、ほとんどまたはまったくチューニングを必要としないMCMCメソッドがいくつかあります。バーンインフェーズ、サンプリング中に適応するメソッド、または相互作用する複数のチェーンを進化させて使用するマルチステート（アンサンブルとも呼ばれる）メソッド（Emceeなど）サンプリングをガイドする他のチェーンからの情報。 特に、標準メソッドとマルチステート（別名アンサンブル）メソッドの比較に興味があります。マルチステートの定義については、MacKayの本のセクション30.6を参照してください。 マルチステートメソッドでは、複数のパラメーターベクトルが維持されます。これらは、メトロポリスやギブスなどの動きの下で個別に進化します。ベクトル間の相互作用もあります。バツバツ\textbf{x} この質問はここから始まりました。 更新 マルチステート別名アンサンブルメソッドの興味深い例については、GelmanのブログのBob Carpenterによるこのブログ投稿と、このCV投稿に関する私のコメントを参照してください。

14 machine-learning  bayesian  references  mcmc 

Q： Dirichletプロセスを使用してデータをクラスタリングする標準的な方法は何ですか？ Gibbsサンプリングを使用すると、サンプリング中にクラスターが表示され、消えます。また、事後分布はクラスターの再ラベル付けに対して不変であるため、識別可能性の問題があります。したがって、どちらがユーザーのクラスターであるかを言うことはできませんが、2人のユーザーが同じクラスターに属していると言えます（つまり、p （c私= cj）p（c私=cj）p(c_i=c_j)）。 クラスの割り当てを要約して、がポイントiのクラスター割り当てである場合、c i = c jだけでなくc i = c j = c j =になるようにできます。。。= c z？c私c私c_i私私ic私= cjc私=cjc_i=c_jc私= cj= cj=。。。= czc私=cj=cj=。。。=czc_i=c_j=c_j=...=c_z これらは私が見つけた選択肢であり、それらが不完全または見当違いだと思う理由です。 （1）DP-GMM + Gibbsサンプリング+ペアベースの混同行列 クラスタリングにディリクレプロセスガウス混合モデル（DP-GMM）を使用するために、著者がギブスサンプリングを使用した密度推定のためのDP-GMMを提案するこの論文を実装しました。 クラスタリングのパフォーマンスを調査するために、彼らは次のように述べています。 コンポーネントの数は[MCMC]チェーンで変化するため、チェーン全体で同じコンポーネントに割り当てられる各データペアの頻度を示す混同マトリックスを作成する必要があります。図6を参照してください。 短所：これは実際の「完全な」クラスタリングではなく、ペアワイズクラスタリングです。実際のクラスターを知っており、それに応じてマトリックスを配置しているため、この図は見栄えがします。 （2）DP-GMM + Gibbsサンプリング+何も変化しないサンプル 私は検索してきましたが、ギブスサンプラーを使用してディリクレプロセスに基づいてクラスタリングを行うと主張する人がいます。たとえば、この投稿では、クラスターの数または平均のいずれにも変化がなくなったときにチェーンが収束し、そこから要約を取得すると考えています。 短所：私が間違っていなければ、これが許可されているかどうかわかりません： （a）MCMC中にラベルが切り替えられる場合があります。 （b）定常分布であっても、サンプラーは時々クラスターを作成できます。 （3）DP-GMM + Gibbsサンプリング+最も可能性の高いパーティションのサンプルを選択 この論文では、著者は次のように述べています。 「バーンイン」期間の後、IGMMの事後分布からの偏りのないサンプルをギブスサンプラーから引き出すことができます。ハードクラスタリングは、このようなサンプルを多数描画し、クラスインジケーター変数の結合尤度が最も高いサンプルを使用することで見つけることができます。M. Mandelによって作成された修正IGMM実装を使用します。 短所：これが割り当てをサンプリングするだけのCollapsed Gibbs Samplerでない限り、計算できますが、周辺のp （c）は計算できません。（代わりに、最高のp （c、θ …

14 bayesian  clustering  mcmc  dirichlet-process  identifiability 

Gelman and Rubin診断は、並行して実行される複数のmcmcチェーンの収束を確認するために使用されます。チェーン内の分散をチェーン間分散と比較します。説明は以下のとおりです。 ステップ（パラメーターごと）： 過分散した開始値から長さ2nのm≥2チェーンを実行します。 各チェーンの最初のn個のドローを破棄します。 チェーン内およびチェーン間分散を計算します。 チェーン内およびチェーン間分散の加重和として、パラメーターの推定分散を計算します。 潜在的な縮尺率を計算します。 リストアイテム この統計を使用したいのですが、使用したい変数はランダムなベクトルです。 この場合、共分散行列の平均を取ることは理にかなっていますか？

14 mcmc  convergence  covariance-matrix 

MCMCに関連するいくつかの講義を受けていました。ただし、使用方法の良い例は見つかりません。誰でも私に具体的な例を与えることができます。私が見ることができるのは、それらがマルコフ連鎖を実行し、その定常分布が望ましい分布であると言うことです。 希望する分布をサンプリングするのが難しい良い例が欲しいです。そこで、マルコフ連鎖を作成します。マルコフ連鎖の定常分布がターゲット分布になるように遷移行列を選択する方法を知りたい

14 probability  bayesian  mcmc  markov-process 

Metropolisサンプラー（C ++）を実行していますが、以前のサンプルを使用して収束率を推定したいと思います。 私が見つけた診断を実装するのが簡単なのは、2つのサンプル平均の差を推定標準誤差で除算したGeweke診断です。標準誤差は、ゼロでのスペクトル密度から推定されます。 Zn= θ¯A- θ¯B1nASAθ^（0 ）+ 1nBSBθ^（0 ）−−−−−−−−−−−−−−−−√、Zn=θ¯A−θ¯B1nASθA^（0）+1nBSθB^（0）、Z_n=\frac{\bar{\theta}_A-\bar{\theta}_B}{\sqrt{\frac{1}{n_A}\hat{S_{\theta}^A}(0)+\frac{1}{n_B}\hat{S_{\theta}^B}(0)}}, ここで、、はマルコフ連鎖内の2つのウィンドウです。私はおよびとは何かを研究しましたが、エネルギースペクトル密度とパワースペクトルに関する多くの文献に取りかかりました密度ですが、これらのトピックの専門家ではありません。簡単な答えが必要です。これらの量はサンプル分散と同じですか？そうでない場合、それらを計算するための式は何ですか？AAABBBSAθ^（0 ）SθA^（0）\hat{S_{\theta}^A}(0)SBθ^（0 ）SθB^（0）\hat{S_{\theta}^B}(0) このGeweke診断に関するもう1つの疑問は、を選択する方法です。上記の文献は、それが何らかの機能的なあり、スペクトル密度存在を暗示すべきだと言っていますが、便宜上、最も簡単な方法はアイデンティティ関数（サンプル自体を使用）。これは正しいです？θθ\thetaθ （X）θ（バツ）\theta(X)SAθ^（0 ）SθA^（0）\hat{S_{\theta}^A}(0) R codaパッケージには説明がありますが、値の計算方法も指定されていません。SSS

14 mcmc  diagnostic 

対称提案によるランダムウォークメトロポリスハシティング q（x | y）= g（| y− x | ）q（バツ|y）=g（|y−バツ|）q(x|y)= g(|y-x|) は、許容確率 P（a c c e p t y ）= min { 1 、f（y）/ f（x ）}P（accept y）=分{1、f（y）/f（バツ）}P(accept\ y) = \min\{1, f(y)/f(x)\} 提案g（\ cdot）に依存しませんg（⋅ ）g（⋅）g(\cdot)。 つまり、チェーンのマルコフ性に影響を与えることなく、チェーンの以前のパフォーマンスの関数としてg（⋅ ）g（⋅）g(\cdot)を変更できるということですか？ 私が特に興味を持っているのは、受け入れ率の関数としての標準提案のスケーリングの調整です。 また、この種の問題に対して実際に使用されている適応アルゴリズムを誰かが指摘していただければ幸いです。 どうもありがとう。 [編集：robertsyとwokが提供するリファレンスから始めて、MH適応アルゴリズムに関する次のリファレンスを見つけました。 アンドリュー、クリストフ、エリックムーラン。2006. 適応MCMCアルゴリズムのエルゴード性について。応用確率の16、いいえ。3：1462-1505。http://www.jstor.org/stable/25442804。 アンドリュー、クリストフ、ヨハネストムズ。 2008.適応MCMCのチュートリアル。統計とコンピューティング18、いいえ。4（12）：343-373。doi：10.1007 / s11222-008-9110-y http://www.springerlink.com/content/979087678366r78v/。 Atchadé、Y.、G。Fort、E。Moulines、およびP. Priouret。2009. 適応マルコフ連鎖モンテカルロ：理論と方法。プレプリント。 イブ・アチャデ …

14 mcmc  metropolis-hastings 

誰でもリバーシブルジャンプMCMCのコード（MatlabまたはR）を知っていますか？できれば、主題に関する論文をほめるためのシンプルなデモアプリケーションは、プロセスを理解するのに役立ちます。

14 r  matlab  references  mcmc 

スタンとを使うことを学び始めたところrstanです。JAGS / BUGSがどのように機能するかについていつも混乱していない限り、描画するモデルのすべてのパラメーターに対して何らかの事前分布を常に定義する必要があると考えました。ただし、Stanのドキュメントに基づいてこれを行う必要はないようです。ここに彼らが提供するサンプルモデルがあります。 data { int<lower=0> J; // number of schools real y[J]; // estimated treatment effects real<lower=0> sigma[J]; // s.e. of effect estimates } parameters { real theta[J]; real mu; real<lower=0> tau; } model { theta ~ normal(mu, tau); y ~ normal(theta, sigma); } 事前定義muもされtauていません。JAGSモデルの一部をStanに変換する際に、事前定義されていない多くのパラメーターまたはほとんどのパラメーターを残しておけば、機能することがわかりました。 問題は、事前定義が定義されていないパラメーターがある場合、スタンが何をしているのか理解できないことです。デフォルトは均一分布のようなものですか？これはHMCの特別なプロパティの1つですか？すべてのパラメーターに事前定義済みの定義を必要としませんか？

14 mcmc  prior  jags  graphical-model  stan 

マルコフ連鎖モンテカルロ（MCMC）のさまざまなアプリケーションに関する良い要約（レビュー、書籍）はありますか？ 実践ではマルコフ連鎖モンテカルロを見ましたが、この本は少し古いようです。 マシンラーニング、コンピュータービジョン、計算生物学などの分野におけるMCMCのさまざまなアプリケーションに関する最新の本はありますか？

14 machine-learning  mcmc  inference  references  application 

多くの実際のアプリケーションでは、事後分析が（たとえば、事前確率が共役であったため）MCMCベースの方法を使用してパラメーターを推定することに気づきました。私にとっては、MCMCベースの推定器よりもMAP推定器を使用する方が理にかなっています。MCMCが分析事後の存在下で依然として適切な方法である理由を誰かが指摘できますか？

13 bayesian  mcmc  posterior