タグ付けされた質問 「monte-carlo」

(疑似)乱数と大数の法則を使用して、実際のシステムのランダムな動作をシミュレートします。

1
ハミルトニアンモンテカルロ:メトロポリスヘイスティングの提案をどう理解するか?
私はハミルトニアンモンテカルロ(HMC)の内部の仕組みを理解しようとしていますが、決定論的な時間積分をメトロポリスヘイスティングの提案に置き換えると、その部分を完全に理解できません。私は、Michael Betancourtによる素晴らしい入門論文「A Conceptual Introduction to Hamiltonian Monte Carlo」を読んでいるので、そこで使用されているのと同じ表記に従います。 バックグラウンド マルコフ連鎖モンテカルロ(MCMC)の一般的な目標は、ターゲット変数qの分布を近似することです。π(q)π(q)\pi(q)qqq HMCのアイデアは、「位置」としてモデル化された元の変数qとともに、補助的な「運動量」変数を導入することです。位置と運動量のペアは拡張位相空間を形成し、ハミルトニアンダイナミクスによって記述できます。結合分布π (q 、p )は、マイクロカノニカル分解に関して記述できます。pppqqqπ(q,p)π(q,p)\pi(q, p) 、π(q,p)=π(θE|E)π(E)π(q,p)=π(θE|E)π(E)\pi(q, p) = \pi(\theta_E | E) \hspace{2pt} \pi(E) ここで、パラメータを表し(Q 、P )所定のエネルギー準位にEとしても知られている、典型的なセット。図については、図21および図22を参照してください。θEθE\theta_E(q,p)(q,p)(q, p)EEE 元のHMC手順は、次の2つの交互のステップで構成されています。 エネルギーレベル間でランダムな遷移を実行する確率的ステップ、および 指定されたエネルギーレベルに沿って時間積分(通常は跳躍の数値積分によって実装されます)を実行する決定論的ステップ。 この論文では、リープフロッグ(またはシンプレクティック積分器)には小さな誤差があり、数値的な偏りが生じると主張されています。したがって、それを決定論的なステップとして扱うのではなく、これをMetropolis-Hasting(MH)の提案に変えてこのステップを確率論的にする必要があります。結果の手順では、分布から正確なサンプルが得られます。 LLL a(qL,−pL|q0,p0)=min(1,exp(H(q0,p0)−H(qL,−pL)))a(qL,−pL|q0,p0)=min(1,exp⁡(H(q0,p0)−H(qL,−pL)))a (q_L, -p_L | q_0, p_0) = min(1, \exp(H(q_0,p_0) - H(q_L,-p_L))) ご質問 私の質問は: 1)決定論的な時間積分をMH提案に変換するこの変更は、生成されたサンプルがターゲット分布に正確に従うように数値バイアスをキャンセルするのはなぜですか? 2)物理学の観点から、エネルギーは与えられたエネルギーレベルで保存されます。これが、ハミルトンの方程式を使用できる理由です。 dqdt=∂H∂p,dpdt=−∂H∂qdqdt=∂H∂p,dpdt=−∂H∂q\dfrac{dq}{dt} = \dfrac{\partial …
9 mcmc  monte-carlo  hmc 

1
複数の期待を計算するときにドローを最適に分散する方法
期待値を計算したいとします。 EYEバツ| Y[ f(X、Y)]EYEX|Y[f(X,Y)]E_YE_{X|Y}[f(X,Y)] モンテカルロシミュレーションを使用してこれを近似したいとします。 EYEバツ| Y[ f(X、Y)] ≈ 1R SΣr = 1RΣs = 1Sf(xr 、s、yr)EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r) しかし、両方の分布からサンプルを抽出するのはコストがかかるため、固定数のみを抽出する余裕があると想定します。 KKK どのようにを割り当てるべきですか?例には、各分布へのK / 2ドロー、または極端な場合、外側の1ドローと内側のK − 1ドロー、その逆などが含まれます。KKKK/ 2K/2K/2K− 1K−1K-1 私の直感は、それが互いに対する分布の分散/エントロピーと関係があるはずだと私に教えてくれます。外側の点が質点であるとすると、MCエラーを最小化するの除算は、Yの 1を描画し、XのK − 1を描画します。Y。 KKKYYYK−1K−1K-1X|YX|YX|Y うまくいけば、これは明確でした。

1
モンテカルロ==ランダムなプロセスを適用しますか?
私は正式な統計学のコースを受講したことはありませんが、私の研究分野のため、いくつかの統計的概念を適用する記事に常に出くわしています。 多くの場合、特定の状況に適用されるモンテカルロプロセスの説明が表示されます。10回のうち9回収集できるのは、単純なランダムな母集団の生成とその後の研究です。 私の質問:統計の世界では、モンテカルロは、ポイント/母集団などのランダムな生成を含むアルゴリズムの一種のコードワードですか、それとも何か他にありますか?

2
マルコフ連鎖ベースのサンプリングは、モンテカルロサンプリングに「最適」ですか?利用可能な代替スキームはありますか?
マルコフ連鎖モンテカルロはマルコフ連鎖に基づく方法であり、サンプルを直接抽出できない非標準分布から(モンテカルロ設定で)サンプルを取得できます。 私の質問は、マルコフ連鎖がモンテカルロサンプリングにとって「最先端」である理由です。別の質問かもしれませんが、モンテカルロサンプリングに使用できるマルコフ連鎖のような他の方法はありますか?(少なくとも文献を見ると)MCMCには((a)周期性、均一性、詳細なバランスなどの条件に関して)深い理論上のルーツがあることを知っていますが、Monteに「比較可能な」確率モデル/方法があるかどうか疑問に思っていますマルコフ連鎖に似たカルロサンプリング。 質問の一部を混乱させた場合(または全体的に混乱したように思われる場合)にご案内ください。

3
モンテカルロPi推定の誤解
私はモンテカルロ積分がどのように機能するかを理解していると確信していますが、それがPiを推定するためにどのように使用されるかの定式化を理解していません。このプレゼンテーションの5番目のスライドhttp://homepages.inf.ed.ac.uk/imurray2/teaching/09mlss/slides.pdfで説明されている手順に従います。 準備手順を理解しました。Piは、単位円の4分の1の面積の4倍に相当します。また、(0,0)を中心とする単位円の右上4分の1の領域は、および0 &lt; y &lt;における単位円の右上4分の1である曲線の積分に相当します。1。 0 &lt; x &lt; 10&lt;x&lt;10<x<10 &lt; y&lt; 10&lt;y&lt;10<y<1 私が理解していないのは、この積分がいかにであるかです ∬私((x2+ y2)&lt; 1 )P(x 、y)dx dy∬I((x2+y2)&lt;1)P(x,y)dxdy\iint I((x^2+y^2)<1)P(x,y)dxdy ここで、一様に四分円の周り単位正方形に分布している(すなわち、それは常に1に等しい場合に0 &lt; X &lt; 1および0 &lt; Y &lt; 1、さもなければ0)。このように意味している I ((X 2 + Y 2)&lt; 1 )P (X 、Yは) における単位円の右上象限である関数で0 &lt; X &lt; 1とP(x 、y)P(x,y)P(x,y)0 &lt; x &lt; 10&lt;x&lt;10<x<10 …

1
カイ2乗検定のp値のモンテカルロシミュレーションを適用するためのルール
chisq.test()R の関数でのモンテカルロシミュレーションの使用について理解したいと思います。 128レベル/クラスの質的変数があります。私のサンプルサイズは26です(これ以上「個人」をサンプリングできませんでした)。したがって、明らかに、「個人」が0のレベルがいくつかあります。しかし、実際には、127のクラスのうち、非常に少数のクラスしか表現されていません。カイ二乗検定を適用するには、各レベルに少なくとも5人の個人がいる必要があると聞いたので(その理由は完全にはわかりません)、simulate.p.valueモンテカルロシミュレーションを使用して分布を推定するオプションを使用する必要があると思いましたそしてp値を計算します。モンテカルロシミュレーションなしでは、Rはp値を与えます&lt; 1e-16。モンテカルロシミュレーションでは、でのp値が得られ4e-5ます。 26の1と101の0のベクトルでp値を計算しようとしましたが、モンテカルロシミュレーションでは、1のp値が得られました。 可能なクラスの数と比較してサンプルサイズが小さい場合でも、観測された分布は、すべての可能なクラスが実際の母集団で同じ確率(1/127)で存在する可能性が非常に低いということを示してもよいですか? ?

1
非正方形の可積分関数のモンテカルロ統合
これがより適切なフォーラムに移動するのを遠慮しなくてもよいなら、私が尋ねる正しい場所であることを願っています。 私はかなり以前から、モンテカルロ積分で非正方形の可積分関数を処理する方法を考えていました。MCはまだ適切な見積もりを出していることは知っていますが、これらの種類の関数の場合、エラーは実現不可能(発散?)です。 1つの次元に制限しましょう。モンテカルロ積分は、積分を近似することを意味します 私= ∫10d xf(x )私=∫01dバツf(バツ) I = \int_0^1 \mathrm{d}x \, f(x) 見積もりを使用 E= 1NΣi = 1Nf(x私)E=1NΣ私=1Nf(バツ私) E = \frac{1}{N} \sum_{i=1}^N f(x_i) 均一に分布したランダムポイント。大きな数の法則は、ことを確認し。標本分散E ≈ Iバツ私∈ [ 0 、1 ]バツ私∈[0、1]x_i \in [0,1]E≈ 私E≈私E \approx I S2= 1N− 1Σi = 1N(f(x私)− E)2S2=1N−1Σ私=1N(f(バツ私)−E)2 S^2 = \frac{1}{N-1} \sum_{i=1}^N (f (x_i) - E)^2 によって引き起こされる分布の分散を近似します。ただし、が二乗可積分でない場合、つまり二乗関数の積分が発散する場合、これは、F …

2
限界尤度の堅牢なMCMC推定量?
私はモンテカルロ法によって統計モデルの限界尤度を計算しようとしています: f(x)=∫f(x∣θ)π(θ)dθf(x)=∫f(x∣θ)π(θ)dθf(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta 可能性は適切に動作します-滑らかで、対数の凹型-高次元です。重要性のサンプリングを試みましたが、結果は不安定で、使用している提案に大きく依存しています。ハミルトニアンモンテカルロをしていると考え、私の簡潔前制服を想定しにわたり事後サンプル計算すると私は見るまで、調和平均を取って、これを。学んだ教訓として、調和平均は無限の分散を持つことができます。ほぼ同じくらい簡単なMCMC推定器はありますか?θθ\theta

2
MCMCを使用した既知の密度の2変量分布からのサンプリング
RのMetropolisアルゴリズムを使用して2変量密度からシミュレーションを試みましたが、うまくいきませんでした。密度はとして表すことができます 。ここで、はSingh-Maddala分布です。p (y | x )p (x )p (x )p (x 、y)p(x,y)p(x,y)p (y| x)p(x)p(y|x)p(x)p(y|x)p(x)p (x )p(x)p(x) p (x )= a qバツa − 1ba(1 + (xb)a)1 + qp(x)=aqxa−1ba(1+(xb)a)1+qp(x)=\dfrac{aq x^{a-1}}{b^a (1 + (\frac{x}{b})^a)^{1+q}} パラメータ、、、およびは対数正規であり、対数平均は分数であり、log-sdは定数です。私のサンプルが私が欲しいものかどうかをテストするために、の限界密度を見ました。これはであるはずです。RパッケージのMCMCpack、mcmc、dreamとは異なるMetropolisアルゴリズムを試しました。バーンイン、シンニング、サイズ100万までのサンプルを廃棄しましたが、結果として得られる限界密度は、提供したものではありませんでした。qaaaqqqp (y | x )x x p (x )bbbp (y| x)p(y|x)p(y|x)バツxxバツxxp (x )p(x)p(x) これが私が使用した私のコードの最終版です: logvrls &lt;- function(x,el,sdlog,a,scl,q.arg) { if(x[2]&gt;0) …

2
Gibbs SamplerのRao-Blackwellization
私は現在、マルコフ連鎖モンテカルロ法で確率ボラティリティモデルを推定しています。これにより、ギブスとメトロポリスのサンプリング方法を実装しています。ランダムなサンプルではなく、事後分布の平均を取ると仮定すると、これは一般にRao-Blackwellizationと呼ばれるものですか? 全体として、これは事後分布の平均に対する平均をパラメーター推定値として取得することになります。

2
拒否サンプリングの証明はどのように意味がありますか?
私はモンテカルロ法のコースを受講しており、前回の講義で拒否サンプリング(またはAccept-Reject Sampling)方法を学びました。この方法の証明を示す多くのリソースがウェブ上にありますが、どういうわけか私はそれらに確信が持てません。 したがって、Rejection Samplingには、サンプリングが難しい分布あります。サンプリングしやすい分布を選択し、とような係数を見つけます。次に、からサンプリングし、各描画について、標準の一様分布からaもサンプリングします。f(x)f(x)f(x)g(x)g(x)g(x)cccf(x)≤cg(x)f(x)≤cg(x)f(x) \leq cg(x)g(x)g(x)g(x)xixix_iuuuU(u|0,1)U(u|0,1)U(u|0,1) サンプルは、場合は受け入れられ、それ以外の場合は拒否されます。xixix_icg(xi)u≤f(xi)cg(xi)u≤f(xi)cg(x_i)u \leq f(x_i) 私が出会った証明は通常、であることを示し、そこで停止します。p(x|Accept)=f(x)p(x|Accept)=f(x)p(x|Accept) = f(x) このプロセスについて私が考えるのは、一連の変数あり、ペアはi。番目のサンプル()に対応し、それが受け入れられるかどうかということです。 ()。各ペアは、次のように互いに独立していることがわかります。バツ1、A c c e p t1、x2、A c c e p t2、。。。、xん、A c c e p tんx1,Accept1,x2,Accept2,...,xn,Acceptnx_1,Accept_1,x_2,Accept_2,...,x_n,Accept_nバツ私、A c c e p t私xi,Acceptix_i,Accept_iバツ私xix_iA c c e p t私AcceptiAccept_iバツ私、A c c e p t私xi,Acceptix_i,Accept_i P(x1、A c c e p t1、x2、A …

1
HMC:ディメンションが多すぎますか?
私が読んだハミルトニアンモンテカルロは、MCMC問題が高次元である場合の"goto" メソッドです。 実際には、10、100、1,000、10,000、100,000などのディメンションの数は多すぎますか?計算コストが問題になることは間違いありません。使用するモデルを検討することが重要だと思いますが、それを別にして、目的の分布を使用して適切なサンプルを取得する場合、次元数に実際的な制限はありHMCますか? また、個々のパラメーターのトレースプロット、実行平均、自己相関などをチェックするにはパラメーターの数が多すぎる問題について、収束(または私が推測できないこと)をどのように監視できますか? 更新:非視覚的診断に言及しているこの投稿を見つけました

1
密度が変化するポイントから予想される最小距離
原点の周りのランダムな点の密度(単位平方あたりの点)の密度を増加させると、ランダムに均一な点と原点の間の予想される最小ユークリッド距離がどのように変化するかを調べています。そのように説明された2つの間の関係を思いつくことができました。 Expected Min Distance=12Density−−−−−−√Expected Min Distance=12Density\text{Expected Min Distance} =\frac{1}{2\sqrt{\text{Density}}} 私は、Rでいくつかのモンテカルロシミュレーションを実行し、手動で曲線をフィッティングすることでこれを思いつきました(以下のコード)。 私の質問は次のとおりです。実験ではなく理論的にこの結果を導き出すことができましたか? #Stack Overflow example library(magrittr) library(ggplot2) #--------- #FUNCTIONS #--------- #gen random points within a given radius and given density gen_circle_points &lt;- function(radius, density) { #round radius up then generate points in square with side length = 2*radius c_radius &lt;- ceiling(radius) …

1
ハミルトニアンモンテカルロ(HMC):ガウス分布の運動量変数の背後にある直感と正当性は何ですか?
私はMichael Betancourt教授による素晴らしい入門用HMCペーパーを読んでいますが、運動量の分布の選択についてどのようにしていくかについて理解が行き詰まっています。 概要 HMCの基本的な考え方は、運動量変数をターゲット変数と組み合わせて導入することです。それらは共同で位相空間を形成します。qpppqqq 保守的なシステムの総エネルギーは定数であり、システムはハミルトンの方程式に従う必要があります。したがって、位相空間の軌跡はエネルギーレベルに分解でき、各レベルはエネルギー特定の値に対応し、次を満たす点のセットとして説明できます。EEE H−1(E)={(q,p)|H(q,p)=E}H−1(E)={(q,p)|H(q,p)=E}H^{-1}(E) = \{(q, p) | H(q, p) = E\}。 共同分布を推定したいので、を積分することにより、目的のターゲット分布ます。さらに、は、同等にとして記述できます。ここで、は、エネルギーの特定の値とは、そのエネルギーレベルの位置です。のP π (Q )π (Q 、P )π (θ Eπ(q,p)π(q,p)\pi(q, p)pppπ(q)π(q)\pi(q)π(q,p)π(q,p)\pi(q, p)E θ Eπ(θE|E)π(E)π(θE|E)π(E)\pi(\theta_E \hspace{1.5pt} | \hspace{1.5pt} E) \hspace{1.5pt} \pi(E)EEEθEθE\theta_E π(q,p)={π(p|q)π(q)π(θE|E)π(E),microcanonical decompositionπ(q,p)={π(p|q)π(q)π(θE|E)π(E),microcanonical decomposition\begin{equation} \pi(q, p)= \begin{cases} \pi(p \hspace{1.5pt} | \hspace{1.5pt} q) \hspace{1.5pt} \pi(q) \\ \pi(\theta_E \hspace{1.5pt} | …
8 mcmc  monte-carlo  hmc 

1
「予期しない」期待
モンテカルロの専門家がこの回答の最後にある「予期しない」期待を説明できますか? 事後他の質問/答えの要約:もし IID確率変数と期待されているE [ X I / ˉ X ]その後、存在する場合、単純な対称性の引数を示しているですが、モンテカルロ実験は、この命題と矛盾しているようです。バツ1、… 、XんX1,…,XnX_1,\dots,X_nE [ X私/ X¯]E[Xi/X¯]\mathrm{E}[X_i/\bar{X}]X I〜N(0 、1 )E [ X私/ X¯] = 1E[Xi/X¯]=1\mathrm{E}[X_i/\bar{X}]=1バツ私〜N(0 、1 )Xi∼N(0,1)X_i\sim\mathrm{N}(0,1) x &lt;- matrix(rnorm(10^6), nrow = 10^5) mean(x[,2]/rowMeans(x)) [1] 5.506203

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.