タグ付けされた質問 「mcmc」

ハミルトニアンダイナミクスは常に、メトロポリスアルゴリズムのランダムウォークより常に優れています。誰かがあまり数学を使わずに単純な言葉で理由を説明できますか？

10 mcmc 

パラメータの分布がわからない場合はどうなりますか？どのアプローチを使用する必要がありますか？ ほとんどの場合、特定の変数が特定の種の存在/不在に何らかの影響を及ぼし、その変数が変数の重要度に従って受け入れられるかどうかについては、十分に検討することを目指しています。これは、ほとんどの場合、パラメーターが持つはずの推定分布については考えていません。 b1、b2、b3およびb4が-2と2の間で変化し、b0が-5と5の間で変化する可能性があることを私が知っているすべてのパラメーターが正規分布に従うと仮定することは正しいですか？ model { # N observations for (i in 1:N) { species[i] ~ dbern(p[i]) logit(p[i]) <- b0 + b1*var1[i] + b2*var2[i] + b3*var3[i] + b4*var4[i] } # Priors b0 ~ dnorm(0,10) b1 ~ dnorm(0,10) b2 ~ dnorm(0,10) b3 ~ dnorm(0,10) b4 ~ dnorm(0,10) }

10 r  bayesian  mcmc  bugs  winbugs 

これは私が何度か遭遇した例にすぎないため、サンプルデータはありません。Rで線形回帰モデルを実行する： a.lm = lm(Y ~ x1 + x2) x1は連続変数です。x2カテゴリ型で、「低」、「中」、「高」の3つの値があります。ただし、Rによって与えられる出力は次のようになります。 summary(a.lm) Estimate Std. Error t value Pr(>|t|) (Intercept) 0.521 0.20 1.446 0.19 x1 -0.61 0.11 1.451 0.17 x2Low -0.78 0.22 -2.34 0.005 x2Medium -0.56 0.45 -2.34 0.005 私は、Rがそのような要因（要因x2であること）に何らかのダミーコーディングを導入していることを理解しています。私はただ疑問に思っていx2ます。「高」の値をどのように解釈しますか？たとえば、ここで示した例の「High」x2は応答変数にどのような影響を与えますか？ これの例を他の場所（例：ここ）で見ましたが、理解できる説明は見つかりませんでした。

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

質問： 10次​​元のMCMCチェーンを使用して、ドローのマトリックスを渡す準備ができているとしましょう。特に複数のモードに関心があります。 バックグラウンド：私自身は計算に精通している統計学者だと思いますが、同僚がこの質問をしたとき、私は合理的な答えを出すことができなかったことを恥ずかしく思いました。主な懸念事項は、複数のモードが表示される可能性があることですが、10次元のうち少なくとも8次元程度が考慮される場合に限られます。私の最初の考えは、カーネル密度推定を使用することでしたが、Rを検索しても、3次元を超える問題については何も約束されませんでした。同僚は10次元のアドホックビニング戦略を提案し、最大値を検索しましたが、帯域幅が重大なスパース性の問題を引き起こすか、複数のモードを識別するための解像度が不足する可能性があるのではないかと心配しています。とは言っても、自動化された帯域幅の提案、10カーネル密度推定器へのリンクなど、知っていることなら何でも喜んで受け入れます。 懸念事項： ディストリビューションはかなり歪んでいると思われます。したがって、事後平均ではなく事後モードを識別したいとします。 いくつかの事後モードが存在する可能性があることを懸念しています。 可能であれば、Rベースの提案をお勧めします。しかし、実装するのが信じられないほど難しくない限り、どのようなアルゴリズムでも機能します。最初から自動化された帯域幅選択を備えたNdカーネル密度推定器を実装したくないと思います。

10 r  bayesian  mcmc  k-nearest-neighbour  mode 

あり、多くの文献には、そこに診断で最も人気のGelman-Rubin氏を含むマルコフ連鎖モンテカルロ（MCMC）収束診断について。ただし、これらはすべてマルコフ連鎖の収束を評価し、バーンインの問題に対処します。 バーンインがわかったら、推定プロセスを続行するのに十分な数のMCMCサンプルをどのように決定すればよいですか？MCMCを使用するほとんどの論文は、マルコフ連鎖を回反復して実行したと述べていますが、その数を選択した理由/方法については何も述べていません。んnnんnn さらに、マルコフ連鎖における相関は問題ごとに大きく異なるため、1つの望ましいサンプルサイズがすべてのサンプラーの答えになるわけではありません。それで、必要なサンプルの数を見つけるための規則はありますか？

10 sample-size  mcmc  monte-carlo  markov-process 

以下にリンクされている1991年のGeyerの会議論文を読んでいます。その中で彼は、MLEパラメータ推定にMCMCを使用できる方法を回避しているようです 私はBFGSアルゴリズム、GA、およびMLEからパラメーターの推定値を抽出するために必要なグローバルミニマムを見つけるこれらの恐ろしい手の波状ラッキーディップ法のすべての種類をコーディングして以来、これは私を興奮させます。 それが私を興奮させる理由は、MCMCの固定点への収束を保証できる場合（たとえば、十分な基準が詳細なバランスを満たす場合）、MLEを最小化せずにパラメーターを取得できるためです。 したがって、結論は、これにより、上記および論文に課せられたグローバルな最小値、モジュロ制約を取得するための一般的な方法が提供されるということです。高次元のMCMC問題に対して適切にマッピングされているHMCなどのMCMCにはいくつかのアルゴリズムがあり、従来の勾配降下法よりもパフォーマンスが優れていると思います。 質問 このホワイトペーパーは、MCMCを使用してMLEからパラメーター推定値を取得するための理論的な基礎を提供することを理解していますか？ この論文で概説されているように、特定の状況でMCMCアルゴリズムを使用して、遺伝的アルゴリズムやBFGSなどのメソッドの必要性を回避してMLEからパラメーターを抽出できます。 論文 Geyer、CJ（1991）。マルコフ連鎖モンテカルロ最大尤度。計算科学と統計：Proc。23番目のシンプ。インターフェイス、156–163。 概要 マルコフ連鎖モンテカルロ（たとえば、メトロポリスアルゴリズムやギブスサンプラー）は、多くのタイプの統計的推論で役立つ複雑な確率過程のシミュレーションのための一般的なツールです。アルゴリズムの選択や分散推定など、マルコフ連鎖モンテカルロの基本を復習し、いくつかの新しい方法を紹介します。最尤推定のためのマルコフ連鎖モンテカルロの使用について説明し、そのパフォーマンスを最大疑似尤度推定と比較します。 注：セクション1から6は退屈なものであり、ここまでたどり着いたのであれば、おそらくすでに知っているでしょう。セクション7で、彼は興味深いものを手に入れましたが、彼は「モンテカルロ最大尤度」と呼んでいます。 その他のリソース 「Geyer」のcontrol + f http://www.stats.ox.ac.uk/~snijders/siena/Mcpstar.pdf http://ecovision.mit.edu/~sai/12S990/besag.pdf（セクション2.4）

10 maximum-likelihood  mcmc  gradient-descent  minimum 

私はハミルトニアンモンテカルロ（HMC）の内部の仕組みを理解しようとしていますが、決定論的な時間積分をメトロポリスヘイスティングの提案に置き換えると、その部分を完全に理解できません。私は、Michael Betancourtによる素晴らしい入門論文「A Conceptual Introduction to Hamiltonian Monte Carlo」を読んでいるので、そこで使用されているのと同じ表記に従います。 バックグラウンド マルコフ連鎖モンテカルロ（MCMC）の一般的な目標は、ターゲット変数qの分布を近似することです。π(q)π(q)\pi(q)qqq HMCのアイデアは、「位置」としてモデル化された元の変数qとともに、補助的な「運動量」変数を導入することです。位置と運動量のペアは拡張位相空間を形成し、ハミルトニアンダイナミクスによって記述できます。結合分布π （q 、p ）は、マイクロカノニカル分解に関して記述できます。pppqqqπ(q,p)π(q,p)\pi(q, p) 、π(q,p)=π(θE|E)π(E)π(q,p)=π(θE|E)π(E)\pi(q, p) = \pi(\theta_E | E) \hspace{2pt} \pi(E) ここで、パラメータを表し（Q 、P ）所定のエネルギー準位にEとしても知られている、典型的なセット。図については、図21および図22を参照してください。θEθE\theta_E(q,p)(q,p)(q, p)EEE 元のHMC手順は、次の2つの交互のステップで構成されています。 エネルギーレベル間でランダムな遷移を実行する確率的ステップ、および 指定されたエネルギーレベルに沿って時間積分（通常は跳躍の数値積分によって実装されます）を実行する決定論的ステップ。 この論文では、リープフロッグ（またはシンプレクティック積分器）には小さな誤差があり、数値的な偏りが生じると主張されています。したがって、それを決定論的なステップとして扱うのではなく、これをMetropolis-Hasting（MH）の提案に変えてこのステップを確率論的にする必要があります。結果の手順では、分布から正確なサンプルが得られます。 LLL a(qL,−pL|q0,p0)=min(1,exp(H(q0,p0)−H(qL,−pL)))a(qL,−pL|q0,p0)=min(1,exp⁡(H(q0,p0)−H(qL,−pL)))a (q_L, -p_L | q_0, p_0) = min(1, \exp(H(q_0,p_0) - H(q_L,-p_L))) ご質問 私の質問は： 1）決定論的な時間積分をMH提案に変換するこの変更は、生成されたサンプルがターゲット分布に正確に従うように数値バイアスをキャンセルするのはなぜですか？ 2）物理学の観点から、エネルギーは与えられたエネルギーレベルで保存されます。これが、ハミルトンの方程式を使用できる理由です。 dqdt=∂H∂p,dpdt=−∂H∂qdqdt=∂H∂p,dpdt=−∂H∂q\dfrac{dq}{dt} = \dfrac{\partial …

9 mcmc  monte-carlo  hmc 

次の離散分布があります。ここで、は既知の定数です。α 、βα,β\alpha,\beta p （x ; α 、β）= ベータ（α + 1 、β+ x ）ベータ（α 、β）以下のため のx = 0 、1 、2 、...p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,… p(x;\alpha,\beta) = \frac{\text{Beta}(\alpha+1, \beta+x)}{\text{Beta}(\alpha,\beta)} \;\;\;\;\text{for } x = 0,1,2,\dots この分布から効率的にサンプリングするためのいくつかのアプローチは何ですか？

9 sampling  mcmc  computational-statistics  importance-sampling  rejection-sampling 

私は現在、RからJAGSを使用して階層ベイジアンモデルを学習しており、Python（「ベイカーのハッカー手法」）を使用してpymcも学習しています。 私はこの投稿から直感を得ることができます。「結局、あなたが知りたいと思った複雑な分布から独立したサンプルをなんとかしてなんとかして管理できたかのように見える数の山になってしまいます。」それは私が条件付き確率を与えることができるようなものであり、それから私は条件付き確率に基づいて無記憶プロセスを生成することができます。プロセスを十分に長く生成すると、同時確率が収束し、生成されたシーケンスの最後に山の数をとることができます。複雑な共同分布から独立したサンプルを取得するのと同じです。たとえば、ヒストグラムを作成して、分布関数を近似することができます。 それから私の問題は、MCMCが特定のモデルに収束するかどうかを証明する必要がありますか？私は以前にGMMとLDA（グラフィカルモデル）のEMアルゴリズムを学んだので、これを知ってやる気があります。収束するかどうかを証明せずにMCMCアルゴリズムのみを使用できる場合、EMよりもはるかに多くの時間を節約できます。予想対数尤度関数を計算する必要があるため（事後確率を計算する必要があります）、次に予想対数尤度を最大化します。これは、MCMCよりも明らかに厄介です（条件付き確率を定式化する必要があるだけです）。 また、尤度関数と事前分布が共役であるかどうかも疑問に思っています。それは、MCMCが収束する必要があることを意味しますか？MCMCとEMの制限について疑問に思っています。

9 bayesian  mcmc  expectation-maximization 

マルコフ連鎖モンテカルロはマルコフ連鎖に基づく方法であり、サンプルを直接抽出できない非標準分布から（モンテカルロ設定で）サンプルを取得できます。 私の質問は、マルコフ連鎖がモンテカルロサンプリングにとって「最先端」である理由です。別の質問かもしれませんが、モンテカルロサンプリングに使用できるマルコフ連鎖のような他の方法はありますか？（少なくとも文献を見ると）MCMCには（（a）周期性、均一性、詳細なバランスなどの条件に関して）深い理論上のルーツがあることを知っていますが、Monteに「比較可能な」確率モデル/方法があるかどうか疑問に思っていますマルコフ連鎖に似たカルロサンプリング。 質問の一部を混乱させた場合（または全体的に混乱したように思われる場合）にご案内ください。

9 sampling  mcmc  monte-carlo  markov-chain  stochastic-approximation 

私は現在、ハッカーの確率的プログラミングとベイジアン手法の「本」を読んでいます。私はいくつかの章を読み、最初の章について考えていました。pymcの最初の例は、テキストメッセージ内の魔女の検出で構成されています。この例では、スイッチポイントが発生していることを示すランダム変数が示されています。MCMCステップの後、事後分布 が与えられます。τττ\tauττ\tau まず、このグラフからわかることは、スイッチポイントが45日目に発生した確率はほぼ50％であるということです。スイッチポイントがない場合はどうなりますか？スイッチポイントがあると想定してそれを見つけようとするのではなく、実際にスイッチポイントがあるかどうかを検出したいと思います。 著者は、「スイッチポイントが発生したのか」という質問に「変化がなかった場合、または時間の経過とともに変化が​​緩やかだった場合、事後分布は より広がっていただろう」と回答しています。しかし、どのように適切な方法でこれに答えることができますか。たとえば、スイッチポイントが発生した確率は90％であり、45日目に発生した確率は50％です。ττ\tau モデルを変更する必要がありますか？または、これは現在のモデルで答えることができますか？

9 probability  mcmc  pymc  change-point 

私はこの記事に出くわしましたが、ギブスのサンプリングではすべてのサンプルが受け入れられます。私は少し混乱しています。受け入れたすべてのサンプルが定常分布に収束する場合はどうしてでしょうか。 一般的なMetropolisアルゴリズムでは、min（1、p（x *）/ p（x））として受け入れます。ここで、x *はサンプルポイントです。x *が密度の高い位置を指し示しているため、ターゲットの分布に移動していると想定します。したがって、バーンイン期間の後でターゲットの分布に移動すると思います。 ただし、ギブスサンプリングではすべてを受け入れるため、別の場所に移動する可能性がありますが、定常/ターゲット分布に収束していると言えますか？ 分布ます。我々はない計算Zに大都市アルゴリズム我々が使用する用語缶C （θ N E W）/ C （θ O L D）分布組み込むC （θ ）を加えた正規化定数Zは相殺し。だから大丈夫p （θ ）= c （θ ）/ Zp(θ)=c(θ)/Zp(\theta) = c(\theta)/Zc （θN E W）/ c （θo l d）c(θnew)/c(θold)c(\theta^{new})/c(\theta^{old})c （θ ）c(θ)c(\theta) しかし、ギブスサンプリングでは、分布c （θ ）をどこで使用していc （θ ）c(θ)c(\theta) たとえば、論文http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdfで、 ですから、サンプリングする正確な条件付き分布はありません。条件付き分布に直接比例するものだけがあります

9 mcmc  gibbs  metropolis-hastings 

MCMCを使用して、特に互いに離れている多くのモードを持つ事後からサンプリングしようとしています。ほとんどの場合、これらのモードの1つだけが私が探している95％のhpdを含んでいるようです。調整されたシミュレーションに基づいてソリューションを実装しようとしましたが、実際にはある「キャプチャ範囲」から別の「キャプチャ範囲」に移行するとコストがかかるため、満足のいく結果が得られません。 結果として、より効率的なソリューションは、さまざまな開始点から多くの単純なMCMCを実行し、MCMCを相互に作用させることによって主要なソリューションに飛び込むことだと私には思われます。そのようなアイデアを実装する適切な方法があるかどうかを知っていますか？ 注：私が探しているものに近いように見える紙http://lccc.eecs.berkeley.edu/Papers/dmcmc_short.pdf（分散型マルコフチェーンモンテカルロ、ローレンスマレー）を見つけましたが、デザインが本当にわかりません関数。RiRiR_i [編集]：回答の欠如は、私の最初の問題に対する明確な解決策がないことを示しているようです（異なる開始点からの同じターゲット分布からサンプリングする複数のMCMCが互いに相互作用します）。本当 ？なぜそんなに複雑なのですか？ありがとう

9 sampling  mcmc  inference  convergence 

私は最大エントロピーマルコフモデル（MEMM）の概念に興味をそそられ、品詞（POS）タガーにそれを使用することを考えています。現在、私は従来の最大エントロピー（ME）分類器を使用して、個々の単語にタグを付けています。これは、前の2つのタグを含む多くの機能を使用します。 MEMMは、ビタビアルゴリズムを使用してマルコフチェーンを通る最適なパスを見つけます（つまり、各単語の個々の最適値ではなく、文のタグの完全な最適セットを見つけます）。それについて読むと、これは素晴らしい優雅さとシンプルさを持っているようです。ただし、各ステージは前のステージの「結果」にのみ依存しています（つまり、マルコフチェーンに従って）。 ただし、私のMEモデルでは、前の2つの段階（つまり、前の2つの単語のタグ）を使用しています。私には2つの可能なアプローチがあるようです： 従来のビタビ実装と同様に、1つ（前の）ステージに従って保存されたパスのセットを使用します。私のME分類器は、これとその前の「凍結」ステージ（検討中のパスに凍結）を使用して伝達関数を生成します。 または、2つのステージを追跡するアルゴリズムを記述します。これはより複雑であり、各伝達関数（つまり、MEモデルからの）は1つのステージではなく、前の2つのステージに依存するため、真のマルコフモデルではなくなります。 2つ目はより複雑になりますが、2つ目はより正確になります。 私は、文献検索でこれの例をまだ見つけていません。試されましたか？2段階のアプローチにより、全体的な精度が向上しましたか？

9 machine-learning  mcmc  maximum-entropy  memm 

均一な候補分布でMetropolis-Hastingsアルゴリズムを実行する場合、受け入れ率を約20％にする根拠は何ですか？ 私の考えは、真の（または真に近い）パラメータ値が見つかると、同じ均一な間隔からの新しい候補パラメータ値のセットが尤度関数の値を増加させることはありません。したがって、実行する反復が多いほど、取得率は低くなります。 この考えのどこが間違っているのですか？どうもありがとう！ これが私の計算のイラストです： Acceptance_rate=exp{l(θc|y)+log(p(θc))−[l(θ∗|y)+log(p(θ∗)]},Acceptance_rate=exp⁡{l(θc|y)+log⁡(p(θc))−[l(θ∗|y)+log⁡(p(θ∗)]},Acceptance\_rate = \exp \{l(\theta_c|y) + \log(p(\theta_c)) - [l(\theta^*|y) + \log(p(\theta^*) ]\}, ここで、は対数尤度です。lll 候補が常に同じ均一な間隔から取得され、θθ\theta p(θc)=p(θ∗).p(θc)=p(θ∗).p(\theta_c) = p(\theta^*). したがって、受け入れ率の計算は次のように縮小されます。 Acceptance_rate=exp{l(θc|y)−[l(θ∗|y)]}Acceptance_rate=exp⁡{l(θc|y)−[l(θ∗|y)]}Acceptance\_rate = \exp \{l(\theta_c | y) - [l(\theta^* | y) ]\} したがって、の受け入れ規則は次のようになります。θcθc\theta_c もし、間隔で一様分布から描画である次に、U [ 0 、1 ]U≤Acceptance_rateU≤Acceptance_rateU \le Acceptance\_rate UUU[0,1][0,1][0,1] θ∗=θc,θ∗=θc,\theta^* = \theta_c, それ以外の場合は、区間内の均一分布からを描画します [ θ M I N、θ …

9 bayesian  estimation  sampling  mcmc