タグ付けされた質問 「metropolis-hastings」

私はこの記事に出くわしましたが、ギブスのサンプリングではすべてのサンプルが受け入れられます。私は少し混乱しています。受け入れたすべてのサンプルが定常分布に収束する場合はどうしてでしょうか。 一般的なMetropolisアルゴリズムでは、min（1、p（x *）/ p（x））として受け入れます。ここで、x *はサンプルポイントです。x *が密度の高い位置を指し示しているため、ターゲットの分布に移動していると想定します。したがって、バーンイン期間の後でターゲットの分布に移動すると思います。 ただし、ギブスサンプリングではすべてを受け入れるため、別の場所に移動する可能性がありますが、定常/ターゲット分布に収束していると言えますか？ 分布ます。我々はない計算Zに大都市アルゴリズム我々が使用する用語缶C （θ N E W）/ C （θ O L D）分布組み込むC （θ ）を加えた正規化定数Zは相殺し。だから大丈夫p （θ ）= c （θ ）/ Zp(θ)=c(θ)/Zp(\theta) = c(\theta)/Zc （θN E W）/ c （θo l d）c(θnew)/c(θold)c(\theta^{new})/c(\theta^{old})c （θ ）c(θ)c(\theta) しかし、ギブスサンプリングでは、分布c （θ ）をどこで使用していc （θ ）c(θ)c(\theta) たとえば、論文http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdfで、 ですから、サンプリングする正確な条件付き分布はありません。条件付き分布に直接比例するものだけがあります

9 mcmc  gibbs  metropolis-hastings 

RのMetropolisアルゴリズムを使用して2変量密度からシミュレーションを試みましたが、うまくいきませんでした。密度はとして表すことができます 。ここで、はSingh-Maddala分布です。p （y | x ）p （x ）p （x ）p （x 、y）p(x,y)p(x,y)p （y| x）p（x）p(y|x)p(x)p(y|x)p(x)p （x ）p(x)p(x) p （x ）= a qバツa − 1ba（1 + （xb）a）1 + qp(x)=aqxa−1ba(1+(xb)a)1+qp(x)=\dfrac{aq x^{a-1}}{b^a (1 + (\frac{x}{b})^a)^{1+q}} パラメータ、、、およびは対数正規であり、対数平均は分数であり、log-sdは定数です。私のサンプルが私が欲しいものかどうかをテストするために、の限界密度を見ました。これはであるはずです。RパッケージのMCMCpack、mcmc、dreamとは異なるMetropolisアルゴリズムを試しました。バーンイン、シンニング、サイズ100万までのサンプルを廃棄しましたが、結果として得られる限界密度は、提供したものではありませんでした。qaaaqqqp （y | x ）x x p （x ）bbbp （y| x）p(y|x)p(y|x)バツxxバツxxp （x ）p(x)p(x) これが私が使用した私のコードの最終版です： logvrls <- function(x,el,sdlog,a,scl,q.arg) { if(x[2]>0) …

9 sampling  monte-carlo  metropolis-hastings 

ターゲット分布をサンプリングするためのMetropolis–Hastingsアルゴリズムでは、次のようにします。 Iπiπi\pi_{i}は状態でのターゲット密度iii πjπj\pi_jは、提案された状態jでのターゲット密度ですjjj。 hijhijh_{ij}は、現在の状態iが与えられた場合の状態jへの遷移の提案密度です。jjjiii aijaija_{ij}は、現在の状態iが与えられたときに提案された状態jの許容確率です。jjjiii 次に、詳細なバランス方程式により、提案密度hを選択した後hhh、許容確率aaaは次のように計算されます： aij=min(1,πjhjiπihij).aij=min(1,πjhjiπihij). a_{ij} = \min(1, \frac{\pi_{j} h_{ji}}{\pi_{i} h_{ij}}). hhhが対称の場合、つまりhij=hjihij=hjih_{ij}=h_{ji}場合、 aij=min(1,πjπi).aij=min(1,πjπi). a_{ij} = \min(1, \frac{\pi_{j}}{\pi_{i}}). 場合hihih_i状態を中心ガウス分布でありiiiと同じ分散を有するσ2σ2\sigma^2すべてのためiii、hhh対称です。ウィキペディアから： σ2σ2\sigma^2が大きすぎる場合、MHアルゴリズムのほとんどすべてのステップが拒否されます。一方、σ2σ2\sigma^2が小さすぎる場合、ほとんどすべてのステップが受け入れられます。 上記の引用で述べたように、受け入れ確率が提案密度の分散の変化の逆方向に変化するのはなぜですか？

9 mcmc  metropolis-hastings 

私は、MCMCが使用されている頻出主義の設定におけるさまざまな問題を理解しようと努めています。MCMC（またはモンテカルロ）がGLMMのフィッティングや、おそらくモンテカルロEMアルゴリズムで使用されることを知っています。MCMCが使用されている場合、より頻繁な問題はありますか？

8 mcmc  monte-carlo  expectation-maximization  metropolis-hastings  frequentist 

メトロポリス-ヘイスティングスマルコフチェーンモンテカルロでは、提案の分布はガウシアン（Wikipediaによると）を含めて何でもかまいません。 Q：Gaussian以外のものを使用する動機は何ですか？Gaussianは機能し、評価が簡単で、高速で、誰もが理解しています。なぜ他のことを検討するのですか？ Q：プロポーザル分布は何でもかまいませんが、均一分布を使用できますか？

8 sampling  mcmc  monte-carlo  metropolis-hastings 

階層モデルのMCMC実装では、通常の変量効果と共分散行列の前にWishartがあり、通常、ギブスサンプリングが使用されます。 ただし、変量効果の分布を（たとえば、Student's-tまたは別のものに）変更すると、共役性は失われます。この場合、Metropolis-Hastingsアルゴリズムでの変量効果の共分散行列の適切な（つまり、簡単に調整可能な）提案分布は何でしょうか。また、目標許容率は0.234でしょうか。 すべてのポインタを事前に感謝します。

8 mcmc  hierarchical-bayesian  metropolis-hastings 

アダプティブメトロポリスヘイスティングスアルゴリズムには複数のバージョンがあります。1つはパッケージの関数Metro_Hastingsに実装されています。ここを参照してください。そこにリストされている参考文献、Spiegelhalter et al。（2002）、残念ながら、私が知る限り、適応アルゴリズムの説明は含まれていません。ただし、このアルゴリズムは、検討するモデルの事後分布からのサンプリングで非常にうまく機能するため、その詳細を理解したいと思います。RMHadaptiveMetro_Hastings アルゴリズムを少しリバースエンジニアリングしました。誰かがこの適応型MHアルゴリズムを認識していますか？これはそれがすることです： してみましょう目標濃度であること。初期化します。θ 0 、私は= 0を、Σqqqθ0,i=0,Σθ0,i=0,Σ\theta_{0,i=0},\Sigma 以下のため回の繰り返しを実行します。{ iが= 1 、。。。、n }nnn{i=1,...,n}{i=1,...,n}\{i = 1,...,n\} 提案します。θ1∼N(θ1|θ0,i−1,Σ)θ1∼N(θ1|θ0,i−1,Σ)\theta_1 \sim N(\theta_1|\theta_{0,i-1}, \Sigma) 確率を受け入れます。受け入れる場合は、\ theta_ {0、i}：= \ theta_1を設定します。拒否する場合：\ theta_ {0、i}：= \ theta_ {0、i-1}。θ1θ1\theta_1A=min{1,q(θ1)/q(θ0,i)}A=min{1,q(θ1)/q(θ0,i)}A=\min\{1,q(\theta_1)/q(\theta_{0,i})\}θ0,i:=θ1θ0,i:=θ1\theta_{0,i}:=\theta_1θ0,i:=θ0,i−1θ0,i:=θ0,i−1\theta_{0,i}:=\theta_{0,i-1} 場合i=ji=ji=j、jjjベクターは、任意の要素ように定義されたj>xj>xj>x（デフォルトx=100x=100x=100）の間隔が存在するyyy要素間の反復（デフォルトのy=20y=20y=20）、およびno素子j>zj>zj>z（デフォルトz=0.75nz=0.75nz=0.75n）、行う： 選択θ~={θ0k,...,θ0,i}θ~={θ0k,...,θ0,i}\tilde{\theta}=\{\theta_{0k},...,\theta_{0,i} \}（デフォルトk=0.5ik=0.5ik=0.5i）。 更新：Σ:=S(θ~)Σ:=S(θ~)\Sigma:=S(\tilde{\theta})ここで、SSSは多変量正規性を仮定して\ tilde {\ theta}の分散共分散行列の最尤推定量ですθ~θ~\tilde{\theta}。 手順1と2は標準のMHです。ステップ3および4は、ステップで発生する適応であり、過去の反復の共分散行列にを更新するために過去の反復を使用します。jjjj−kj−kj-kΣΣ\Sigma

7 r  mcmc  metropolis-hastings 

バーンインが終了した後、メトロポリス-ヘイスティングスの受け入れ率を1に近づけることができるのはなぜですか（たとえば、SDが小さすぎる通常の提案分布で単峰分布を探索する場合）。私は自分のMCMCチェーンでそれを見ましたが、それがどうして意味があるのか​​わかりません。サミットに達した後、受容率は0.5未満の値で安定するはずです。

7 mcmc  metropolis-hastings 

逆変換法は、分布関数の形状に依存する分析法であるため、分布からサンプリングするのに必ずしも適切なオプションではないことを知っています。たとえば、逆1次元ガウス分布は計算できませんが、サンプリングによって良好な結果が得られます。私にとっては、この方法で十分です。しかし、MCMCメソッド（Metropolis-HastingsまたはRejection）は、逆変換よりもパフォーマンスが良いのでしょうか。MCMCメソッドは、よりまれなイベントをカバーするため、ITより優れていますか？または、他に利点はありますか？いくつかの例が役立ちます！ありがとう！

7 sampling  mcmc  metropolis-hastings  rejection-sampling 

少し前に西安は、PDFのMCMCのcdfsに相当するものは何ですかと尋ねました？素朴な答えは、「近似」メトロポリスアルゴリズムをフォームで使用することです。 与えられた X(t)=x(t)X(t)=x(t)X^{(t)} = x^{(t)} 1.生成する Y∼q(y|x(t))Y∼q(y|x(t))Y \sim q(y|x^{(t)}) 2.取る X(t+1)={Yx(t) with probability otherwise.min(F(Y+ε)−F(Y−ε)F(x(t)+ε)−F(x(t)−ε),1)X(t+1)={Y with probability min(F(Y+ε)−F(Y−ε)F(x(t)+ε)−F(x(t)−ε),1)x(t) otherwise. X^{(t+1)} = \begin{cases} Y & \text{ with probability } & \min\left( \frac{F(Y+\varepsilon) - F(Y-\varepsilon)}{F(x^{(t)}+\varepsilon) - F(x^{(t)}-\varepsilon)} , 1 \right)\\ x^{(t)} & \text{ otherwise.} \end{cases} ここで、はターゲットCDFで、は小さな定数です。これにより、CDFでMetropolisアルゴリズムを使用できるようになります。FFFεε\varepsilon 問題は、これが実際に悪い考えかもしれない理由があるのでしょうか？

7 simulation  mcmc  cdf  metropolis-hastings