タグ付けされた質問 「mcmc」

ベイジアンアプローチとマルコフ連鎖モンテカルロ（MCMC）法を使用して、モデルの15個のパラメーターを推定しています。100000サンプルのMCMCチェーンを実行した後のデータは、パラメーター値の100000×15テーブルになります。 私の事後分布の15次元の最高密度領域を見つけたいです。 私の問題：サンプルをクラスタリングしてHDRに割り当てるには（以下の密度ベースのクラスタリングを使用する例）、すべてのサンプルの距離行列が必要です。100000サンプルの場合、この行列には37 GiBのRAMが必要ですが、計算時間といえば、これはありません。適切な量​​のコンピューティングリソースを使用してHDRを見つけるにはどうすればよいですか？誰かが以前にこの問題を抱えていたに違いない！？ 追加のために編集：このSOの質問とDBSCANウィキペディアのページによれば、DBSCANは、空間インデックスを使用して距離行列を回避することにより、時間の複雑さと空間の複雑さに分類できます。まだ実装またはその説明を探しています...O（nログn ）O(nlog⁡n)\mathcal O(n\log n)O（n）O(n)\mathcal O(n) 密度ベースのクラスタリング（DBSCAN）を使用した多変量最高密度領域 AX％の最高密度領域は、確率質量のX％を含む分布の領域です。探索された事後分布に（漸近的に）比例する頻度でMCMCメソッドアピアアによって抽出されたサンプルとして、私のX％HDRも私のサンプルのX％を含みます。 サンプルの密度は後部のピークの高さに直接関係するため、密度ベースのクラスタリングアルゴリズムDBSCANを使用してサンプルをクラスター化することを計画しました。 Hyndman（1996）の方法による類推（論文、SO質問）、私は、サンプルのX％がいくつかの一部になるまで、単一のサンプルがクラスターからの最大距離を増やし、クラスターの一部と見なされるようにすることを計画しました集まる： そのステップの後、各領域の各クラスターの範囲を計算して、最高密度領域を提示します。 この例では、80％のHDRが2つの異なる領域を囲んでいるのに対し、50％のHDRには1つのクラスターしか含まれていないことがわかります。上記のプロットは2次元以上には適用できないため、以下に示すようにこれを視覚化できます。

8 bayesian  mcmc  monte-carlo  credible-interval  highest-density-region 

アダプティブメトロポリスヘイスティングスアルゴリズムには複数のバージョンがあります。1つはパッケージの関数Metro_Hastingsに実装されています。ここを参照してください。そこにリストされている参考文献、Spiegelhalter et al。（2002）、残念ながら、私が知る限り、適応アルゴリズムの説明は含まれていません。ただし、このアルゴリズムは、検討するモデルの事後分布からのサンプリングで非常にうまく機能するため、その詳細を理解したいと思います。RMHadaptiveMetro_Hastings アルゴリズムを少しリバースエンジニアリングしました。誰かがこの適応型MHアルゴリズムを認識していますか？これはそれがすることです： してみましょう目標濃度であること。初期化します。θ 0 、私は= 0を、Σqqqθ0,i=0,Σθ0,i=0,Σ\theta_{0,i=0},\Sigma 以下のため回の繰り返しを実行します。{ iが= 1 、。。。、n }nnn{i=1,...,n}{i=1,...,n}\{i = 1,...,n\} 提案します。θ1∼N(θ1|θ0,i−1,Σ)θ1∼N(θ1|θ0,i−1,Σ)\theta_1 \sim N(\theta_1|\theta_{0,i-1}, \Sigma) 確率を受け入れます。受け入れる場合は、\ theta_ {0、i}：= \ theta_1を設定します。拒否する場合：\ theta_ {0、i}：= \ theta_ {0、i-1}。θ1θ1\theta_1A=min{1,q(θ1)/q(θ0,i)}A=min{1,q(θ1)/q(θ0,i)}A=\min\{1,q(\theta_1)/q(\theta_{0,i})\}θ0,i:=θ1θ0,i:=θ1\theta_{0,i}:=\theta_1θ0,i:=θ0,i−1θ0,i:=θ0,i−1\theta_{0,i}:=\theta_{0,i-1} 場合i=ji=ji=j、jjjベクターは、任意の要素ように定義されたj>xj>xj>x（デフォルトx=100x=100x=100）の間隔が存在するyyy要素間の反復（デフォルトのy=20y=20y=20）、およびno素子j>zj>zj>z（デフォルトz=0.75nz=0.75nz=0.75n）、行う： 選択θ~={θ0k,...,θ0,i}θ~={θ0k,...,θ0,i}\tilde{\theta}=\{\theta_{0k},...,\theta_{0,i} \}（デフォルトk=0.5ik=0.5ik=0.5i）。 更新：Σ:=S(θ~)Σ:=S(θ~)\Sigma:=S(\tilde{\theta})ここで、SSSは多変量正規性を仮定して\ tilde {\ theta}の分散共分散行列の最尤推定量ですθ~θ~\tilde{\theta}。 手順1と2は標準のMHです。ステップ3および4は、ステップで発生する適応であり、過去の反復の共分散行列にを更新するために過去の反復を使用します。jjjj−kj−kj-kΣΣ\Sigma

7 r  mcmc  metropolis-hastings 

バーンインが終了した後、メトロポリス-ヘイスティングスの受け入れ率を1に近づけることができるのはなぜですか（たとえば、SDが小さすぎる通常の提案分布で単峰分布を探索する場合）。私は自分のMCMCチェーンでそれを見ましたが、それがどうして意味があるのか​​わかりません。サミットに達した後、受容率は0.5未満の値で安定するはずです。

7 mcmc  metropolis-hastings 

逆変換法は、分布関数の形状に依存する分析法であるため、分布からサンプリングするのに必ずしも適切なオプションではないことを知っています。たとえば、逆1次元ガウス分布は計算できませんが、サンプリングによって良好な結果が得られます。私にとっては、この方法で十分です。しかし、MCMCメソッド（Metropolis-HastingsまたはRejection）は、逆変換よりもパフォーマンスが良いのでしょうか。MCMCメソッドは、よりまれなイベントをカバーするため、ITより優れていますか？または、他に利点はありますか？いくつかの例が役立ちます！ありがとう！

7 sampling  mcmc  metropolis-hastings  rejection-sampling 

少し前に西安は、PDFのMCMCのcdfsに相当するものは何ですかと尋ねました？素朴な答えは、「近似」メトロポリスアルゴリズムをフォームで使用することです。 与えられた X(t)=x(t)X(t)=x(t)X^{(t)} = x^{(t)} 1.生成する Y∼q(y|x(t))Y∼q(y|x(t))Y \sim q(y|x^{(t)}) 2.取る X(t+1)={Yx(t) with probability otherwise.min(F(Y+ε)−F(Y−ε)F(x(t)+ε)−F(x(t)−ε),1)X(t+1)={Y with probability min(F(Y+ε)−F(Y−ε)F(x(t)+ε)−F(x(t)−ε),1)x(t) otherwise. X^{(t+1)} = \begin{cases} Y & \text{ with probability } & \min\left( \frac{F(Y+\varepsilon) - F(Y-\varepsilon)}{F(x^{(t)}+\varepsilon) - F(x^{(t)}-\varepsilon)} , 1 \right)\\ x^{(t)} & \text{ otherwise.} \end{cases} ここで、はターゲットCDFで、は小さな定数です。これにより、CDFでMetropolisアルゴリズムを使用できるようになります。FFFεε\varepsilon 問題は、これが実際に悪い考えかもしれない理由があるのでしょうか？

7 simulation  mcmc  cdf  metropolis-hastings 

ベイジアン分析を実行するときに確認する必要があるのは、MCMCサンプルの自己相関です。しかし、この自己相関を引き起こしている原因がわかりません。 ここでは、彼らはそれを言っています [MCMCからの]高い自己相関サンプルは、変数間の強い相関によって引き起こされることがよくあります。 MCMCの高い自己相関サンプルの他の原因は何でしょうか。 JAGS出力で自己相関が観察されたときに確認するもののリストはありますか？ ベイジアン分析で自己相関をどのように管理できますか？一部の人が痩せると言っているのを知っていますが、他の人はそれが悪いと言っています。より長い期間モデルを実行することは別の解決策であり、残念ながら時間がかかり、MCMC内のサンプルのトレースにも影響を与える場合があります。なぜ一部のアルゴリズムは、探索して無相関にするのにはるかに効果的ですか？最初にチェーンの初期値を変更する必要がありますか？

7 correlation  bayesian  autocorrelation  mcmc  jags