タグ付けされた質問 「gibbs」

宿題の質問： 1次元イジングモデルを考えます。 してみましょう。は-1または+1のいずれかx=(x1,...xd)x=(x1,...xd)x = (x_1,...x_d)xixix_i π(x)∝e∑39i=1xixi+1π(x)∝e∑i=139xixi+1\pi(x) \propto e^{\sum_{i=1}^{39}x_ix_{i+1}} 目標分布からおおよそサンプルを生成するギブスサンプリングアルゴリズムを設計します。π(x)π(x)\pi(x) 私の試み： ベクトルを満たす値（-1または1）をランダムに選択します。したがって、おそらくです。これはです。x=(x1,...x40)x=(x1,...x40)x = (x_1,...x_{40})x=(−1,−1,1,1,1,−1,1,1,...,1)x=(−1,−1,1,1,1,−1,1,1,...,1)x = (-1, -1, 1, 1, 1, -1, 1, 1,...,1)x0x0x^0 したがって、次に進んで最初の反復を行う必要があります。の40の異なるxを個別に描画する必要があります。そう...x1x1x^1 からを描画しx11x11x_1^1π(x1|x02,...,x040)π(x1|x20,...,x400)\pi(x_1 | x_2^0,...,x_{40}^0) からを描画しx12x21x_2^1π(x2|x11,x03,...,x040)π(x2|x11,x30,...,x400)\pi(x_2 | x_1^1, x_3^0,...,x_{40}^0) からを描画しx13x31x_3^1π(x3|x11,x12,x04,...,x040)π(x3|x11,x21,x40,...,x400)\pi(x_3 | x_1^1, x_2^1, x_4^0,...,x_{40}^0) 等.. だから私をつまずかせる部分は、実際に条件付き分布からどのように引き出すかです。どのように遊びに来ますか？たぶん、1つのドローの例は、事を明らかにするでしょう。π(x)∝e∑39i=1xixi+1π(x)∝e∑i=139xixi+1\pi(x) \propto e^{\sum_{i=1}^{39}x_ix_{i+1}}

11 self-study  sampling  mcmc  gibbs 

多くの場合、完全な条件文は導出するのが非常に難しいようですが、JAGSやBUGSのようなプログラムはそれらを自動的に導出します。誰かが任意のモデル仕様の完全な条件をアルゴリズム的に生成する方法を説明できますか？

11 bayesian  conditional-probability  jags  bugs  gibbs 

私はこの記事に出くわしましたが、ギブスのサンプリングではすべてのサンプルが受け入れられます。私は少し混乱しています。受け入れたすべてのサンプルが定常分布に収束する場合はどうしてでしょうか。 一般的なMetropolisアルゴリズムでは、min（1、p（x *）/ p（x））として受け入れます。ここで、x *はサンプルポイントです。x *が密度の高い位置を指し示しているため、ターゲットの分布に移動していると想定します。したがって、バーンイン期間の後でターゲットの分布に移動すると思います。 ただし、ギブスサンプリングではすべてを受け入れるため、別の場所に移動する可能性がありますが、定常/ターゲット分布に収束していると言えますか？ 分布ます。我々はない計算Zに大都市アルゴリズム我々が使用する用語缶C （θ N E W）/ C （θ O L D）分布組み込むC （θ ）を加えた正規化定数Zは相殺し。だから大丈夫p （θ ）= c （θ ）/ Zp(θ)=c(θ)/Zp(\theta) = c(\theta)/Zc （θN E W）/ c （θo l d）c(θnew)/c(θold)c(\theta^{new})/c(\theta^{old})c （θ ）c(θ)c(\theta) しかし、ギブスサンプリングでは、分布c （θ ）をどこで使用していc （θ ）c(θ)c(\theta) たとえば、論文http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdfで、 ですから、サンプリングする正確な条件付き分布はありません。条件付き分布に直接比例するものだけがあります

9 mcmc  gibbs  metropolis-hastings 

そのため、ハミング距離を使用して生体認証特性から個人を認証しようとしている16のトライアルがあります。しきい値は3.5に設定されています。私のデータは以下であり、トライアル1のみが真陽性です。 Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 10 0.45 11 0.42 12 0.37 13 0.66 14 0.39 15 0.44 16 0.39 私の混乱のポイントは、このデータからROC曲線（FPR対TPR OR FAR対FRR）を作成する方法が本当にわからないということです。どちらでもかまいませんが、どうやって計算するのか混乱しています。任意の助けいただければ幸いです。

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

私は現在、マルコフ連鎖モンテカルロ法で確率ボラティリティモデルを推定しています。これにより、ギブスとメトロポリスのサンプリング方法を実装しています。ランダムなサンプルではなく、事後分布の平均を取ると仮定すると、これは一般にRao-Blackwellizationと呼ばれるものですか？ 全体として、これは事後分布の平均に対する平均をパラメーター推定値として取得することになります。

9 mcmc  monte-carlo  gibbs  point-estimation  rao-blackwell 

問題：ギブスサンプリングを実行して、大規模なデータセットの事後を推測したい。残念ながら、私のモデルはそれほど単純ではないため、サンプリングが遅すぎます。私は変分的または並列的なアプローチを検討しますが、その前に... 質問：すべてのステップで学習するインスタンスが少なくなるように、ギブスの反復ごとにデータセットからランダムに（置き換えて）サンプリングできるかどうか知りたいのですが。 私の直感は、サンプルを変更しても確率密度を変更しないため、ギブスサンプルはトリックに気付かないはずです。私は正しいですか？これを行った人々の言及はありますか？

8 sampling  bootstrap  mcmc  large-data  gibbs 

エラスティックネットの正しい記述方法について混乱しています。いくつかの研究論文を読んだ後、3つの形があるようです 1）exp{ - λ1| βk| - λ2β2k}exp⁡{−λ1|βk|−λ2βk2}\exp\{-\lambda_1|\beta_k|-\lambda_2\beta_k^2\} 2）exp{ − （λ1| βk| + λ2β2k）σ2√}exp⁡{−（λ1|βk|+λ2βk2）σ2}\exp\{-\frac{(\lambda_1|\beta_k|+\lambda_2\beta_k^2)}{\sqrt{\sigma^2}}\} 3）exp{ − （λ1| βk| + λ2β2k）2つのσ2}exp⁡{−（λ1|βk|+λ2βk2）2σ2}\exp\{-\frac{(\lambda_1|\beta_k|+\lambda_2\beta_k^2)}{2\sigma^2}\} を追加する正しい方法がわかりません。上記の表現のいずれかが正しいですか？σ2σ2\sigma^2

8 bayesian  mathematical-statistics  gibbs  elastic-net 

これはかなり珍しい、探索的な質問だと思いますので、ご容赦ください。 ギブスサンプリングに重要性サンプリングのアイデアを適用できるかどうか疑問に思っています。意味は次のとおりです。ギブスサンプリングでは、一度に1つの変数（または変数のブロック）の値を変更し、残りの変数が与えられた条件付き確率からサンプリングします。 ただし、正確な条件付き確率からサンプリングすることは不可能または簡単ではない場合があります。そのため、代わりに提案分布からサンプリングし、たとえばMetropolis-Hastings（MH）を使用します。qqq ここまでは順調ですね。しかし、これは分岐したパスです：MHを使用する代わりに、重要度サンプリングで使用されたのと同じアイデアを使用するとどうなりますか？つまり、からサンプリングし、現在のサンプルの重要度重みを保持しますか？qqqp / qp/qp/q より詳しく：となるように、変数と因数分解分布があるとます。各変数現在の値をサンプリングするために使用される提案確率を保持します。各ステップで、変数のサブセットを変更し、を更新します影響を受けると係数のみ）。サンプルとその重要度の重みを使用して、興味のある統計を計算します。バツ1、… 、xんx1,…,xnx_1,\dots,x_nφ1、… 、ϕメートルϕ1,…,ϕm\phi_1,\dots,\phi_mp ∝ ∏メートルi = 1φ私p∝∏i=1mϕip \propto \prod_{i=1}^m \phi_iq私qiq_iバツ私xix_ip （x ）/ q（x ）p(x)/q(x)p(x)/q(x)pppqqq このアルゴリズムは正しいでしょうか？そうでない場合、なぜそうではないかという明確な理由はありますか？重要なサンプリングと同じことをしているように見えますが、代わりに依存するサンプルを使用しているので、直感的にそれは私には理にかなっています。 私はこれをガウスランダムウォークモデルに実装し、重みがどんどん小さくなる（ただし、単調ではない）ので、最初のサンプルの重要性が高くなりすぎて統計が支配的になることに気付きました。各ステップで、更新された重みを明示的なブルートフォース計算と比較するため、実装にバグがないと確信しています。重みは、であり、と両方が有限数の密度の積であるため、無制限にゼロに下がらないことに注意してください。各サンプルは、まれにしかゼロにならない正規分布から取得されます。p / qp/qp/qpppqqq だから私はなぜ重みがそのように下がるのか、そしてこれがこの方法が実際に正しくない結果であるのかどうかを理解しようとしています。 次に、より正確なアルゴリズムの定義を示します。これは、変数ガウスランダムウォークに適用されます。コードは以下のとおりです。バツ1、… 、XんX1,…,XnX_1,\dots,X_n モデルは単にで、は固定されてい。バツ私〜N（Xi − 1、σ2）、i = 1 、… 、nXi∼N(Xi−1,σ2),i=1,…,nX_i \sim \mathcal N(X_{i-1}, \sigma^2), i = 1,\dots,nバツ0X0X_0000 現在のサンプルの重みは。ここで、はガウス密度、は現在の値のサンプリング元の分布です。最初は、値を順方向にサンプリングするだけなので、で、初期の重みはです。Π私p （x私）Π私q（x私）∏ip(xi)∏iq(xi)\frac{\prod_i p(x_i)}{\prod_i q(x_i)}pppqqqq= pq=pq = p111 次に、各ステップで、変更するを選択します。私は新しい値サンプルするためのから、この密度はのための新たな使用提案分布となるように。J ∈ …

8 mcmc  gibbs  importance-sampling 

ましょう上のターゲット分布である絶対連続的にWRTされる次元ルベーグ測度、すなわち：ππ\pi(Rd,B(Rd))(Rd,B(Rd))(\mathbb{R}^d,\mathcal{B}(\mathbb{R^d}))ddd ππ\pi、密度をに π(x1,...,xd)π(x1,...,xd)\pi(x_1,...,x_d)λdλd\lambda^dλd(dx1,...,dxd)=λ(dx1)⋅⋅⋅λ(dxd)λd(dx1,...,dxd)=λ(dx1)⋅⋅⋅λ(dxd)\lambda^d(dx_1,...,dx_d) = \lambda(dx_1) \cdot \cdot \cdot \lambda (dx_d) からの完全な条件がわかっていると仮定します。したがって、Gibbs-Samplerの遷移カーネルはからの完全な条件文の積です。πi(xi|x−i)πi(xi|x−i)\pi_i(x_i|x_{-i})ππ\piππ\pi 遷移カーネルも、次元ルベーグ測度に対して絶対的に継続的に処理されますか？ddd

8 bayesian  conditional-probability  markov-process  gibbs  integral 

ギブスサンプリングを使用してディリクレ混合モデルのパラメーターを推定したいのですが、いくつか質問があります。 ディリクレ分布の混合はディリクレ過程と同等ですか？そうでない場合の主な違いは何ですか？ また、単一のディリクレ分布のパラメーターを推定する場合、ベイジアンフレームワークで事前分布として選択するパラメーターの分布はどれですか？ すべての論文で、ディリクレ事前分布を使用した多項分布の推定を見つけました。多項式の事前分布を使用してディリクレ分布を推定する必要があるかもしれません。 事後関数もDIRICHLET（α+ N）の形式で、「ディリクレ事前分布を使用した多項分布の推定」の場合と同様ですか？iidサンプルの確率密度関数の乗算は、尤度関数の定義では考慮されないためです。理由がわかりません。 たとえば、この論文で述べたように：http : //www.stat.ufl.edu/~aa/cda/bayes.pdf または http://research.microsoft.com/en-us/um/people/minka/papers/ minka-multinomial.pdf あなたの注意をありがとう 私のデータはHyperion（一種のハイパースペクトルリモートセンシング画像）であり、ディリクレソースの混合を使用してハイパースペクトルアンミキシングを実行し、パラメーター推定にギブスサンプリング法を適用します。私のデータは次元（614 * 512 * 224）です。これは、Cuprite Nevada地区で一般的に利用可能なAVIRISセンサーデータであり、ほぼ200MBです。また、このデータは（http://aviris.jpl.nasa.gov/data/free_data.html）から入手できます。残念ながら、データを送信する方法を知りません。 私のPHD論文の統計モデリングタスクを手伝ってくれるようお願いします。私のモデリングの混乱を解決するのを手伝ってくれるなら、とても感謝しています。 すべての最高のソルマズ

8 bayesian  estimation  gibbs  dirichlet-distribution