タグ付けされた質問 「mcmc」

そのため、ハミング距離を使用して生体認証特性から個人を認証しようとしている16のトライアルがあります。しきい値は3.5に設定されています。私のデータは以下であり、トライアル1のみが真陽性です。 Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 10 0.45 11 0.42 12 0.37 13 0.66 14 0.39 15 0.44 16 0.39 私の混乱のポイントは、このデータからROC曲線（FPR対TPR OR FAR対FRR）を作成する方法が本当にわからないということです。どちらでもかまいませんが、どうやって計算するのか混乱しています。任意の助けいただければ幸いです。

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

私は現在、マルコフ連鎖モンテカルロ法で確率ボラティリティモデルを推定しています。これにより、ギブスとメトロポリスのサンプリング方法を実装しています。ランダムなサンプルではなく、事後分布の平均を取ると仮定すると、これは一般にRao-Blackwellizationと呼ばれるものですか？ 全体として、これは事後分布の平均に対する平均をパラメーター推定値として取得することになります。

9 mcmc  monte-carlo  gibbs  point-estimation  rao-blackwell 

各チェーンがバーンインした MCMCチェーンを実行したとしましょう。結果のチェーンが表されるとし ここで、は後の各チェーンの長さです。バーンイン。メートルメートルmバツ（私）1、… 、x（私）N for i = 1 、… 、m 、バツ1（私）、…、バツN（私） ために 私=1、…、メートル、 x_1^{(i)},\dots,x_N^{(i)} \quad \text{ for } i=1,\dots,m,NNN これらのチェーンを1つの長いチェーンに結合したい場合、ように連結するのと同じくらい簡単です バツ（1 ）1、… 、x（1 ）N、… 、x（m）1、… 、x（m）N？バツ1（1）、…、バツN（1）、…、バツ1（メートル）、…、バツN（メートル）？x_1^{(1)},\dots,x_N^{(1)},\dots, x_1^{(m)},\dots, x_N^{(m)} ? 私の場合、各はparametervectorです。私の目標は、後方からサンプリング することです。 ここで、はデータです。並列チェーンに興味があるのは、潜在的なスケール削減係数（PSRF）を計算するために必要だからです。バツ私バツ私x_iθ私θ私\theta_iP （θ | yの）、p（θ|y）、 p(\theta \mid y),yyy

9 mcmc  parallel-computing 

私が読んだハミルトニアンモンテカルロは、MCMC問題が高次元である場合の"goto" メソッドです。 実際には、10、100、1,000、10,000、100,000などのディメンションの数は多すぎますか？計算コストが問題になることは間違いありません。使用するモデルを検討することが重要だと思いますが、それを別にして、目的の分布を使用して適切なサンプルを取得する場合、次元数に実際的な制限はありHMCますか？ また、個々のパラメーターのトレースプロット、実行平均、自己相関などをチェックするにはパラメーターの数が多すぎる問題について、収束（または私が推測できないこと）をどのように監視できますか？ 更新：非視覚的診断に言及しているこの投稿を見つけました

9 autocorrelation  mcmc  monte-carlo  dimensionality-reduction 

Metropolis-Hastingsサンプラーが非常に不規則にパラメーター空間を移動する可能性が非常に低い可能性があります。つまり、提案分布のパラメーター（私の場合はガウス分布）に関係なく、収束は達成できません。私のモデルにはそれほど複雑ではありません-2つのパラメーターだけですが、MHはこのタスクを処理できないようです。それで、この問題の周りに何かトリックがありますか？非常に遠く後部テールに移動するマルコフチェーンを生成しないサンプラーはありますか？ 問題の更新： 詳細を示して質問を再定式化しようとします。まず、モデルについて説明します。 2つのノードを持つグラフィカルモデルがあります。各ノードは、次のように自動ポアソンモデル（Besag、1974）によって制御されます または、2つのノードしかなく、等しいグローバル強度を想定しているため： P （X 1 | X 2 = X 2、θ 、α ）〜P O I Sp(Xj|Xk=xk,∀k≠j,Θ)∼Poisson(eθj+∑j≠kθkjxk)p(Xj|Xk=xk,∀k≠j,Θ)∼Poisson(eθj+∑j≠kθkjxk)p\left ( X_{j} |X_{k}=x_{k},\forall k\neq j,\Theta \right )\sim Poisson\left ( e^{\theta _{j}+\sum _{j\neq k}\theta _{kj}x_{k}} \right )、P （X 2 | X 1 = X 1、θ 、α ）〜P 、O 、I 、S 、S 、O …

9 mcmc  likelihood  posterior 

ターゲット分布をサンプリングするためのMetropolis–Hastingsアルゴリズムでは、次のようにします。 Iπiπi\pi_{i}は状態でのターゲット密度iii πjπj\pi_jは、提案された状態jでのターゲット密度ですjjj。 hijhijh_{ij}は、現在の状態iが与えられた場合の状態jへの遷移の提案密度です。jjjiii aijaija_{ij}は、現在の状態iが与えられたときに提案された状態jの許容確率です。jjjiii 次に、詳細なバランス方程式により、提案密度hを選択した後hhh、許容確率aaaは次のように計算されます： aij=min(1,πjhjiπihij).aij=min(1,πjhjiπihij). a_{ij} = \min(1, \frac{\pi_{j} h_{ji}}{\pi_{i} h_{ij}}). hhhが対称の場合、つまりhij=hjihij=hjih_{ij}=h_{ji}場合、 aij=min(1,πjπi).aij=min(1,πjπi). a_{ij} = \min(1, \frac{\pi_{j}}{\pi_{i}}). 場合hihih_i状態を中心ガウス分布でありiiiと同じ分散を有するσ2σ2\sigma^2すべてのためiii、hhh対称です。ウィキペディアから： σ2σ2\sigma^2が大きすぎる場合、MHアルゴリズムのほとんどすべてのステップが拒否されます。一方、σ2σ2\sigma^2が小さすぎる場合、ほとんどすべてのステップが受け入れられます。 上記の引用で述べたように、受け入れ確率が提案密度の分散の変化の逆方向に変化するのはなぜですか？

9 mcmc  metropolis-hastings 

直接的な質問：（順序付けられていない）カテゴリカル変数の観測値のシーケンスの自己相関の測定値はありますか？ 背景： カテゴリー変数からサンプリングするためにMCMCを使用していて、私が開発したサンプリング方法が事後分布全体でどの程度うまく混合しているかを測定したいと思います。私はacfプロットと連続変数の自己相関に精通していますが、このカテゴリー変数の遷移確率行列を見て止まっていました...何か考えはありますか？

9 categorical-data  mcmc  autocorrelation 

私はPymcのgithubリポジトリを閲覧していて、このノートブックを見つけました。 変分推論：ベイジアンニューラルネットワーク 著者は、ベイジアン/確率的プログラミングの長所を称賛しますが、次に続けます： 残念ながら、分類や（非線形）回帰などの従来のML問題の場合、確率的プログラミングは、アンサンブル学習などのよりアルゴリズム的なアプローチ（ランダムフォレストや勾配ブースト回帰ツリーなど）に対して（精度とスケーラビリティに関して）2番目のフィドルを実行することがよくあります。 。 誰かが説明してください： このステートメントが一般的に当てはまる場合 このステートメントが真実である理由

9 machine-learning  bayesian  mcmc  pymc  probabilistic-programming 

問題：ギブスサンプリングを実行して、大規模なデータセットの事後を推測したい。残念ながら、私のモデルはそれほど単純ではないため、サンプリングが遅すぎます。私は変分的または並列的なアプローチを検討しますが、その前に... 質問：すべてのステップで学習するインスタンスが少なくなるように、ギブスの反復ごとにデータセットからランダムに（置き換えて）サンプリングできるかどうか知りたいのですが。 私の直感は、サンプルを変更しても確率密度を変更しないため、ギブスサンプルはトリックに気付かないはずです。私は正しいですか？これを行った人々の言及はありますか？

8 sampling  bootstrap  mcmc  large-data  gibbs 

これはかなり珍しい、探索的な質問だと思いますので、ご容赦ください。 ギブスサンプリングに重要性サンプリングのアイデアを適用できるかどうか疑問に思っています。意味は次のとおりです。ギブスサンプリングでは、一度に1つの変数（または変数のブロック）の値を変更し、残りの変数が与えられた条件付き確率からサンプリングします。 ただし、正確な条件付き確率からサンプリングすることは不可能または簡単ではない場合があります。そのため、代わりに提案分布からサンプリングし、たとえばMetropolis-Hastings（MH）を使用します。qqq ここまでは順調ですね。しかし、これは分岐したパスです：MHを使用する代わりに、重要度サンプリングで使用されたのと同じアイデアを使用するとどうなりますか？つまり、からサンプリングし、現在のサンプルの重要度重みを保持しますか？qqqp / qp/qp/q より詳しく：となるように、変数と因数分解分布があるとます。各変数現在の値をサンプリングするために使用される提案確率を保持します。各ステップで、変数のサブセットを変更し、を更新します影響を受けると係数のみ）。サンプルとその重要度の重みを使用して、興味のある統計を計算します。バツ1、… 、xんx1,…,xnx_1,\dots,x_nφ1、… 、ϕメートルϕ1,…,ϕm\phi_1,\dots,\phi_mp ∝ ∏メートルi = 1φ私p∝∏i=1mϕip \propto \prod_{i=1}^m \phi_iq私qiq_iバツ私xix_ip （x ）/ q（x ）p(x)/q(x)p(x)/q(x)pppqqq このアルゴリズムは正しいでしょうか？そうでない場合、なぜそうではないかという明確な理由はありますか？重要なサンプリングと同じことをしているように見えますが、代わりに依存するサンプルを使用しているので、直感的にそれは私には理にかなっています。 私はこれをガウスランダムウォークモデルに実装し、重みがどんどん小さくなる（ただし、単調ではない）ので、最初のサンプルの重要性が高くなりすぎて統計が支配的になることに気付きました。各ステップで、更新された重みを明示的なブルートフォース計算と比較するため、実装にバグがないと確信しています。重みは、であり、と両方が有限数の密度の積であるため、無制限にゼロに下がらないことに注意してください。各サンプルは、まれにしかゼロにならない正規分布から取得されます。p / qp/qp/qpppqqq だから私はなぜ重みがそのように下がるのか、そしてこれがこの方法が実際に正しくない結果であるのかどうかを理解しようとしています。 次に、より正確なアルゴリズムの定義を示します。これは、変数ガウスランダムウォークに適用されます。コードは以下のとおりです。バツ1、… 、XんX1,…,XnX_1,\dots,X_n モデルは単にで、は固定されてい。バツ私〜N（Xi − 1、σ2）、i = 1 、… 、nXi∼N(Xi−1,σ2),i=1,…,nX_i \sim \mathcal N(X_{i-1}, \sigma^2), i = 1,\dots,nバツ0X0X_0000 現在のサンプルの重みは。ここで、はガウス密度、は現在の値のサンプリング元の分布です。最初は、値を順方向にサンプリングするだけなので、で、初期の重みはです。Π私p （x私）Π私q（x私）∏ip(xi)∏iq(xi)\frac{\prod_i p(x_i)}{\prod_i q(x_i)}pppqqqq= pq=pq = p111 次に、各ステップで、変更するを選択します。私は新しい値サンプルするためのから、この密度はのための新たな使用提案分布となるように。J ∈ …

8 mcmc  gibbs  importance-sampling 

私はMichael Betancourt教授による素晴らしい入門用HMCペーパーを読んでいますが、運動量の分布の選択についてどのようにしていくかについて理解が行き詰まっています。 概要 HMCの基本的な考え方は、運動量変数をターゲット変数と組み合わせて導入することです。それらは共同で位相空間を形成します。qpppqqq 保守的なシステムの総エネルギーは定数であり、システムはハミルトンの方程式に従う必要があります。したがって、位相空間の軌跡はエネルギーレベルに分解でき、各レベルはエネルギー特定の値に対応し、次を満たす点のセットとして説明できます。EEE H−1(E)={(q,p)|H(q,p)=E}H−1(E)={(q,p)|H(q,p)=E}H^{-1}(E) = \{(q, p) | H(q, p) = E\}。 共同分布を推定したいので、を積分することにより、目的のターゲット分布ます。さらに、は、同等にとして記述できます。ここで、は、エネルギーの特定の値とは、そのエネルギーレベルの位置です。のP π （Q ）π （Q 、P ）π （θ Eπ(q,p)π(q,p)\pi(q, p)pppπ(q)π(q)\pi(q)π(q,p)π(q,p)\pi(q, p)E θ Eπ(θE|E)π(E)π(θE|E)π(E)\pi(\theta_E \hspace{1.5pt} | \hspace{1.5pt} E) \hspace{1.5pt} \pi(E)EEEθEθE\theta_E π(q,p)={π(p|q)π(q)π(θE|E)π(E),microcanonical decompositionπ(q,p)={π(p|q)π(q)π(θE|E)π(E),microcanonical decomposition\begin{equation} \pi(q, p)= \begin{cases} \pi(p \hspace{1.5pt} | \hspace{1.5pt} q) \hspace{1.5pt} \pi(q) \\ \pi(\theta_E \hspace{1.5pt} | …

8 mcmc  monte-carlo  hmc 

私は、MCMCが使用されている頻出主義の設定におけるさまざまな問題を理解しようと努めています。MCMC（またはモンテカルロ）がGLMMのフィッティングや、おそらくモンテカルロEMアルゴリズムで使用されることを知っています。MCMCが使用されている場合、より頻繁な問題はありますか？

8 mcmc  monte-carlo  expectation-maximization  metropolis-hastings  frequentist 

現在、いくつかの常微分方程式（ODE）で定義されたモデルのパラメーターを推定しています。マルコフ連鎖モンテカルロ（MCMC）を使用していくつかのデータを与えられたパラメーターの事後分布を近似することにより、ベイジアンアプローチでこれを試します。 MCMCサンプラーはパラメーター値のチェーンを生成し、特定のパラメーター値の（非正規化）事後確率を使用して、その値をチェーンに追加するか、以前の値を再度追加するかを（確率論的に）決定します。しかし、実際の事後確率を保存する必要はなく、生成された結果のパラメーター値のn次元ヒストグラムであり、パラメーター事後分布の最高密度領域（HDR）のような要約統計量が計算されるのが慣習のようですこのヒストグラムから。少なくとも私は、ベイジアン推論に関するクルシュケスのチュートリアルブックから学んだと思います。 私の質問：サンプリングされたパラメーター値の事後確率をこれらと共に保存し、MCMCチェーンのパラメーター値の頻度からではなく、これらの値から事後分布を概算する方が簡単ではないでしょうか？サンプラーは最初に低確率領域を事後確率で「ふさわしい」よりも頻繁にサンプリングするため、バーンインフェーズの問題は発生しませんが、これらに過度に高い確率値を与える問題はもはやありません。

8 bayesian  mcmc  posterior 

非対角質量行列を使用してHMCを実装しようとしていますが、いくつかの用語につまずかれています。 BDA3とNealのレビューによると、運動エネルギーの項（便宜上、常に使用されていると思います）は K（ p ）= pTM− 1p2。K(p)=pTM−1p2. K(p) = \frac{p^T M^{-1} p}{2} \,. これは、ゼロ平均と共分散行列をもつ多変量正規と呼ばれることでも認識できます。BDA3（pg 301）は言うMMM 単純にするために、通常、対角質量行列Mを使用します。その場合、φの成分は独立しており、各次元j = 1、。についてφj〜N（0、Mjj）です。。。、d。Mは、事後分布の逆共分散行列（var（θ| y））^-1で大まかにスケーリングすると便利です。 （私はN（0、M））を平均ゼロと共分散Mの多変量正規として読み取っています。） 私をつまずかせる部分は、「が事後分布の逆共分散行列で大まかにスケーリングすることは有用であるかもしれない...」と言っているところです。 MMM そして、その直前にも、跳躍ステップ（）を開始する運動量サンプルが、共分散行列をもつ多変量標準から抽出されます。 Mφϕ\phiMMM どっち？HMCに適したMを構築するには、事後の共分散または精度行列を推定しますか？にもかかわらず、である共分散行列の運動エネルギーを用いて、の推定値である精度マトリックスより効率的なアルゴリズムをもたらす後方のか？MMMMMMM 第二の質問：ここで私を導くことができる直感は何ですか？ 運動量がポテンシャル/事後に対して直角に押し出されて混合を改善するように、精度行列を使用しますか？ または、勢いが後部の高確率の質量部分に向かってプッシュするようにしますか（そのため、そこからほとんどのサンプルを引き出します）。 psの単位行列を使用していない理由は、私の問題で、かなり高い次元（約1000）の事後の共分散行列の適切な推定値を事前に取得できるためです。MMM

8 bayesian  mcmc  monte-carlo 

私は行くモデルを持っています：Single parameter -> Complex likelihood function -> Log-likelihood。（MCMCを使用して）MCMCチェーンを実行し、パラメーターのトレースと対数尤度をプロットしました。パラメータの見積もりは妥当なものになりましたが、対数尤度プロットは奇妙に見えます。 対数尤度が特定の値を超えることはありません。この値が最尤値である場合、これは理にかなっていると思いますが、このような尤度のトレースを見たことはありません。私の質問は、これは正常ですか？

8 mcmc  likelihood