タグ付けされた質問 「mcmc」

たぶんコンセプト、それが使われる理由、そして例です。

240 bayesian  mcmc  intuition  teaching 

私はMCMCの方法を学ぼうとしており、Metropolis Hastings、Gibbs、Importance、およびRejectionのサンプリングに出会いました。これらの違いの一部は明らかです。つまり、完全な条件式がある場合にGibbsがMetropolis Hastingsの特殊なケースであるのに対し、その他はGibbsサンプラー内でMHを使用する場合など、それほど明白ではありません。これらのそれぞれの違いの大部分を見る簡単な方法は？ありがとう！

36 mcmc  monte-carlo  gibbs  metropolis-hastings  importance-sampling 

Gibbsサンプリング、Metropolis HastingsなどのMCMCのさまざまなフレーバーを含め、VIとMCMCの両方の一般的なアイデアが得られたと思います。このペーパーでは、両方の方法のすばらしい説明を提供します。 次の質問があります。 ベイジアン推論を行いたい場合、なぜ一方の方法をもう一方より選択するのですか？ 各方法の長所と短所は何ですか？ これはかなり広範な質問であることを理解していますが、洞察をいただければ幸いです。

36 machine-learning  bayesian  mcmc  variational-bayes  approximate-inference 

皆さん、私は説明できない奇妙なことに気づきました、できますか？要約すると、ロジスティック回帰モデルで信頼区間を計算する手動のアプローチとR関数confint()は異なる結果をもたらします。 Hosmer＆LemeshowのApplied Logistic Regression（第2版）を行ってきました。第3章には、オッズ比と95％の信頼区間を計算する例があります。Rを使用すると、モデルを簡単に再現できます。 Call: glm(formula = dataset$CHD ~ as.factor(dataset$dich.age), family = "binomial") Deviance Residuals: Min 1Q Median 3Q Max -1.734 -0.847 -0.847 0.709 1.549 Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) -0.8408 0.2551 -3.296 0.00098 *** as.factor(dataset$dich.age)1 2.0935 0.5285 3.961 7.46e-05 *** --- Signif. codes: 0 ‘***’ 0.001 …

34 r  regression  logistic  confidence-interval  profile-likelihood  correlation  mcmc  error  mixture  measurement  data-augmentation  r  logistic  goodness-of-fit  r  time-series  exponential  descriptive-statistics  average  expected-value  data-visualization  anova  teaching  hypothesis-testing  multivariate-analysis  r  r  mixed-model  clustering  categorical-data  unsupervised-learning  r  logistic  anova  binomial  estimation  variance  expected-value  r  r  anova  mixed-model  multiple-comparisons  repeated-measures  project-management  r  poisson-distribution  control-chart  project-management  regression  residuals  r  distributions  data-visualization  r  unbiased-estimator  kurtosis  expected-value  regression  spss  meta-analysis  r  censoring  regression  classification  data-mining  mixture 

マルコフ連鎖モンテカルロ法の自動チェックの方法を調査していますが、このようなアルゴリズムを構築または実装するときに発生する可能性のあるミスの例をいくつか紹介します。発行された論文で誤った方法が使用された場合のボーナスポイント。 他のタイプのエラー（たとえば、エルゴディックではないチェーン）にも関心があるのに、エラーがチェーンの不変分布が正しくないことを意味する場合に特に興味があります。 このようなエラーの例は、Metropolis-Hastingsが提案された移動を拒否したときに値を出力できないことです。

28 mcmc 

MCMCの方法を学ぶための優れた情報源に関する提案はありますか？

28 references  mcmc 

ベイジアン推論にマルコフ連鎖モンテカルロ法を使用する場合、収束を確認するための好ましい方法は何ですか？

28 bayesian  mcmc 

これは、定期的な質問（参照で、この記事、この記事とこの記事を）が、私は別のスピンを持っています。 一般的なMCMCサンプラーからのサンプルがたくさんあるとします。各サンプルについて、対数尤度および前の対数の値を知っています。役立つ場合は、データポイントごとの対数尤度の値も知っています（この情報は、WAICやPSIS-LOOなどの特定の方法で役立ちます）。θθ\thetalogf(x|θ)log⁡f(x|θ)\log f(\textbf{x} | \theta)logf(θ)log⁡f(θ)\log f(\theta)logf(xi|θ)log⁡f(xi|θ)\log f(x_i | \theta) 私が持っているサンプルと、場合によっては他のいくつかの関数評価を使用して（ただし、アドホック MCMC を再実行せずに）限界尤度の（粗）推定値を取得したい。 まず、テーブルをクリアしましょう。私たちは皆、高調波推定器が史上最悪の推定器であることを知っています。次へ移りましょう。事前形式と事後条件を閉じた形式でギブスサンプリングを行う場合は、Chibの方法を使用できます。しかし、これらのケース以外で一般化する方法がわかりません。サンプリング手順を変更する必要がある方法もあります（後回しなど）が、ここでは興味がありません。 私が考えているアプローチは、基礎となる分布をパラメトリック（またはノンパラメトリック）形状で近似し、正規化定数を1次元最適化問題（つまり、誤差を最小にする間及びのサンプルで評価）。最も単純な場合、後部がほぼ多変量正規であると仮定すると、を多変量正規として近似し、ラプラス近似に似たものを得ることができます（いくつかの追加の関数評価を使用して、モード）。ただし、として使用できますg(θ)g(θ)g(\theta)ZZZZZZZg(θ)Zg(θ)Z g(\theta)f(x|θ)f(θ)f(x|θ)f(θ)f(\textbf{x}|\theta) f(\theta)g(θ)g(θ)g(\theta)g(θ)g(θ)g(\theta)多変量分布の変分混合など、より柔軟なファミリ。ttt 私は、このメソッドは場合にのみ機能することを認めるへの合理的な近似である、それはに非常に賢明だろう理由のいずれかの理由や訓話しますか？お勧めの読書はありますか？Zg(θ)Zg(θ)Z g(\theta)f(x|θ)f(θ)f(x|θ)f(θ)f(\textbf{x}|\theta) f(\theta) 完全なノンパラメトリックアプローチでは、ガウスプロセス（GP）などのノンパラメトリックファミリを使用して、（またはそのような他の非線形変換など）を近似し平方根として）、およびベイジアン求積法で潜在的なターゲットを暗黙的に統合します（こちらとこちらをご覧ください）。これは興味深い代替アプローチのように見えますが、精神的には類似しています（また、私の場合、GPは扱いにくいことに注意してください）。logf(x|θ)+logf(θ)log⁡f(x|θ)+log⁡f(θ)\log f(\textbf{x}|\theta) + \log f(\theta)

24 machine-learning  bayesian  sampling  mcmc  likelihood 

これら2つのMCMCスキームのさまざまなアプリケーションドメインだけでなく、相対的なメリットと欠点についても把握しようとしています。 いつ、なぜ使用しますか？ 一方が失敗し、もう一方が失敗しない場合（例：HMCは適用可能だがSMCは適用不可、またはその逆） 一つは、非常に単純に、許可された可能性（すなわち、一般的に、1である他と比較して1つの方法に有用性の尺度を入れて、より良いですか）？ 現在、HMCに関するBetancourtの優れた論文を読んでいます。

23 mcmc  random-walk  particle-filter  probabilistic-programming  hmc 

C / C ++に移植したい特定のMCMCアルゴリズムがあります。高価な計算の多くは既にCythonを介してCで行われていますが、Python / R / Matlab / whateverのラッパーを書くことができるように、サンプラー全体をコンパイル済み言語で記述したいと思います。 いろいろと調べた後、私はC ++に傾いています。私が知っている関連ライブラリは、Armadillo（http://arma.sourceforge.net/）とScythe（http://scythe.wustl.edu/）です。どちらも、R / Matlabのいくつかの側面をエミュレートして、学習曲線を容易にすることを試みていますが、これはとても気に入っています。サイスは、私がやりたいと思うことで少し良くなります。特に、RNGには多くのディストリビューションが含まれており、Armadilloには均一/標準しかありませんが、これは不便です。Scytheは2007年に最後のリリースを見たが、Armadilloはかなり活発に開発されているようだ。 だから、私が疑問に思っているのは、誰かがこれらのライブラリの経験を持っているか、または私がほぼ間違いなく見逃している他の人ですか？しかし、コンパイルされた言語ではそれほどではありません（完全に無知ではありませんが、正確に堪能ではありません...）。

23 mcmc  software  c++  computing 

MCMC（マルコフチェーンモンテカルロ）手法に関する知識が少ないことから、サンプリングは前述の手法の重要な部分であると理解しています。最も一般的に使用されるサンプリング方法は、ハミルトニアンとメトロポリスです。 機械学習やディープラーニングを利用して、より効率的なMCMCサンプラーを構築する方法はありますか？

21 machine-learning  mcmc  monte-carlo  markov-process 

ある問題のためにモンテカルロシミュレーションをコーディングしていて、モデルが十分に単純な場合、非常に基本的な教科書のギブスサンプリングを使用します。Gibbsサンプリングを使用できない場合は、数年前に学んだ教科書Metropolis-Hastingsをコーディングします。私がそれに与えた唯一の考えは、ジャンプ分布またはそのパラメーターを選択することです。 これらの教科書のオプションを改善する何百もの専門的な方法があることは知っていますが、通常、それらを使用/学習することは考えません。通常、すでに非常にうまく機能しているものを少し改善するのはあまりにも多くの努力のように感じます。 しかし、最近、私がやっていることを改善できる新しい一般的な方法がないかと考えていました。それらの方法が発見されてから数十年が経ちました。たぶん私は本当に時代遅れです！ メトロポリス・ヘイスティングスに代わる有名な代替品はありますか？ 実装が合理的で、 MHと同様に普遍的に適用可能、 そして、何らかの意味でMHの結果を常に改善します（計算パフォーマンス、精度など）。 非常に特殊化されたモデルの非常に特殊化された改善については知っていますが、私が知らない一般的なものがありますか？

21 bayesian  mcmc  gibbs  metropolis-hastings 

最近、MCMCアルゴリズム（実際にはRの関数MCMCglmm）を使用して、ベイジアンフレームワークで回帰混合モデルの適合に着手しました。 推定プロセスの収束を診断する方法を理解したと思います（トレース、gewekeプロット、自己相関、事後分布...）。 ベイジアンフレームワークで私を襲ったことの1つは、それらの診断を行うために多くの努力が注がれているように思えるのに対し、近似モデルの残差のチェックに関してはほとんど行われていないように見えることです。たとえば、MCMCglmmでは、residual.mcmc（）関数は存在しますが、実際にはまだ実装されていません（つまり、戻り値：「MCMCglmmオブジェクトにはまだ実装されていない残差」。predict.mcmc（）にも同じ話があります）。他のパッケージにも欠けているようで、より一般的には、私が見つけた文献ではほとんど議論されていません（非常に頻繁に議論されているDICは別として）。 誰かが私にいくつかの便利なリファレンス、そして理想的には私が遊んだり修正したりできるRコードを教えてくれますか？ どうもありがとう。

21 r  bayesian  mixed-model  mcmc  residuals 

推論を描くためにマルコフ連鎖モンテカルロを使用する場合、急速に混合する、つまり、事後分布のサポートを迅速に通過する連鎖が必要です。しかし、私が理解していることから、受け入れられた候補描画は事後分布の高密度部分に集中すべきであり、集中するため、なぜこのプロパティが必要なのか理解できません。私が理解していることが真実である場合、サポート（低密度部分を含む）を介してチェーンを移動させたいですか？ さらに、MCMCを使用して最適化を行っている場合、迅速なミキシングに注意する必要がありますか？ ご意見をお寄せいただきありがとうございます！

21 mcmc 

私は適応MCMCについて読んでいます（例えば、Markov Chain Monte Carloハンドブックの第4章、ed。Brooks et al。、2011、およびAndrieu＆Thoms、2008を参照）。 nnnp(n)p(n)p(n)limn→∞p(n)=0limn→∞p(n)=0\lim_{n \rightarrow \infty} p(n) = 0 この結果は、（事後）直感的で、漸近的になります。適応の量はゼロになる傾向があるため、最終的にはエルゴード性を台無しにしません。私の懸念は、有限の時間で何が起こるかです。 与えられた有限時間に適応がエルゴード性を台無しにしていないこと、そしてサンプラーが正しい分布からサンプリングしていることをどうやって知るのでしょうか？それが理にかなっている場合、早期適応がチェーンにバイアスをかけないようにするために、どの程度のバーンインを行う必要がありますか？ 現場の開業医は適応型MCMCを信頼していますか？私が試しビルドでの適応など、エルゴード性を尊重することが知られている他、より複雑な方法ですることを最近の多くの方法を見てきたので、私は求めています理由は、再生やアンサンブルの方法（すなわち、移行を選択することが合法です他の並列チェーンの状態に依存する演算子）。または、Stanなどのバーンイン中にのみ適応が実行されますが、実行時ではありません。これらのすべての取り組みは、ロバーツとローゼンタールによる適応型MCMC（実装するのは信じられないほど簡単です）が信頼できると見なされないことを示唆しています。しかし、おそらく他の理由があります。 適応メトロポリス・ヘイスティングスなどの特定の実装についてはどうですか（Haario et al。2001）？ 参照資料 ローゼンタール、JS（2011）。最適なプロポーザルの分布と適応MCMC。マルコフ連鎖モンテカルロのハンドブック、93-112。 Andrieu、C.、＆Thoms、J.（2008）。適応MCMCのチュートリアル。Statistics and Computing、18（4）、343-373。 ロバーツ、GO、およびローゼンタール、JS（2007）。適応マルコフ連鎖モンテカルロアルゴリズムの結合とエルゴード性。応用確率のジャーナル、458-475。 Haario、H.、Saksman、E.、＆Tamminen、J.（2001）。適応メトロポリスアルゴリズム。ベルヌーイ、223-242。

20 simulation  mcmc  random-generation  metropolis-hastings