タグ付けされた質問 「mcmc」

私はギブスのサンプリングとメトロポリス・ヘイスティングスのアルゴリズムについて読んでいるところですが、いくつか質問があります。 私が理解しているように、ギブスサンプリングの場合、大きな多変量問題がある場合、条件付き分布からサンプリングします。つまり、他のすべてを固定したまま1つの変数をサンプリングします。 文書によると、提案されたサンプルは常に Gibbs Samplingで受け入れられます。つまり、提案受け入れ率は常に1です。 。もしそうなら、事後分布を生成するために常にギブスサンプラーを使用しない理由は何ですか？

20 bayesian  sampling  mcmc  gibbs  metropolis-hastings 

今日私はクリスチャン・ロバートのブログを読んでいて、彼が議論していた新しいメトロポリス・ヘイスティングスのアルゴリズムがとても気に入った。シンプルで実装しやすいように見えました。 MCMCをコーディングするたびに、独立した動きやログスケールでのランダムウォークなど、非常に基本的なMHアルゴリズムに固執する傾向があります。 どのMHアルゴリズムが日常的に使用されていますか？特に： なぜ使用するのですか？ ある意味では、それらは最適であると考えなければなりません-結局、それらを定期的に使用します！それでは、最適性をどのように判断しますか：コーディングの容易さ、収束、... 特に、実際に使用されるもの、つまり、独自のスキームをコード化する場合に興味があります。

20 mcmc  metropolis-hastings 

精度は次のように定義されます： p = true positives / (true positives + false positives) それは、それを修正しているtrue positivesとfalse positives、精度が1に近づくアプローチ0？ リコールに関する同じ質問： r = true positives / (true positives + false negatives) 現在、これらの値を計算する必要がある統計テストを実装していますが、分母が0である場合があり、この場合にどの値を返すのか迷っています。 PS：不適切なタグをすみません、、およびを使用したいのですがrecall、新しいタグをまだ作成できません。precisionlimit

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

MCMCアルゴリズムにはさまざまな種類があります。 メトロポリス・ヘイスティングス ギブス 重要性/拒否サンプリング（関連）。 Metropolis-Hastingsの代わりにGibbsサンプリングを使用するのはなぜですか？メトロポリス・ヘイスティングスよりもギブス・サンプリングの方が推論が扱いやすい場合があると思いますが、詳細については明確ではありません。

20 bayesian  simulation  mcmc  gibbs  metropolis-hastings 

連続パラメータ、特に勾配ベースのメソッドの適合についてはかなり知っていますが、離散パラメータの適合についてはあまり知りません。 離散パラメーターのフィッティングに一般的に使用されるMCMCアルゴリズム/手法は何ですか？かなり一般的でかなり強力なアルゴリズムはありますか？次元の呪いをうまく処理するアルゴリズムはありますか？たとえば、ハミルトニアンMCMCは一般的で強力で、拡張性が高いと言えます。 任意の離散分布からのサンプリングは、連続分布からのサンプリングよりも難しいように見えますが、私は最新技術が何であるか興味があります。 編集：JMSは私に詳細を要求しました。 特定のアプリケーションを考えているわけではありませんが、私が想像しているいくつかの種類のモデルは次のとおりです。 いくつかの種類の連続回帰モデル間のモデル選択。個別の単一の「モデル」パラメーターがあります 各観測が「外れ値」になる可能性があり、はるかに分散した分布から引き出される連続モデル。これは混合モデルだと思います。 多くのモデルには、連続パラメーターと離散パラメーターの両方が含まれると予想されます。

19 bayesian  mcmc 

私の理解では、ベイズのアプローチを使用してパラメータ値を推定するときは次のとおりです。 事後分布は、事前分布と尤度分布の組み合わせです。 事後分布からサンプルを生成することでこれをシミュレートします（たとえば、Metropolis-Hastingアルゴリズムを使用して値を生成し、それらが事後分布に属する確率の特定のしきい値を超える場合は受け入れます）。 このサンプルを生成したら、それを使用して事後分布とその平均などを近似します。 しかし、私は何かを誤解しているに違いないと感じています。事後分布があり、そこからサンプリングし、そのサンプルを事後分布の近似値として使用しているように聞こえます。しかし、なぜ事後分布があるのか​​というと、なぜそこからサンプリングして近似する必要があるのでしょうか？

19 bayesian  inference  simulation  mcmc  posterior 

フランスのウィキペディアのページから、マルコフ連鎖モンテカルロ（MCMC）が何であるかを理解しようとしています。彼らは、「マルコフ連鎖モンテカルロ法は、ベクトルデータからのみベクトルを生成することで構成されるため、「メモリなし」のプロセスであると言います。バツ私バツ私x_ {i}バツi − 1バツ私−1x_ {i-1} マルコフのシャトーヌ・ド・モンテカルロ・レ・メトデスは、ベクトル一貫性とベクトルユニークさを兼ね備えています。c'est donc un processus«sansmémoire»、バツ私バツ私x_{i}バツi − 1バツ私−1x_{{i-1}} ベクトルデータからの情報を使用してを生成する限り、MCMCが「メモリなし」であると言う理由がわかりません。バツi − 1バツ私−1x_ {i-1}バツ私バツ私x_i

18 mcmc 

MCMCが一般的になった年（つまり、ベイジアン推論の一般的な方法）を知っている人はいますか？長期にわたって公開されているMCMC（ジャーナル）記事の数へのリンクは、特に役立ちます。

18 bayesian  mcmc  history 

問題にMCMCを適用しようとしていますが、事前（私の場合は））はエリアに制限されていますか？通常のMCMCを使用して、制限ゾーン（私の場合は[0,1] ^ 2）の外にあるサンプルを無視できますか。つまり、新しい遷移が制限（制約）エリアから外れた場合に遷移関数を再利用できますか？α∈[0,1],β∈[0,1]α∈[0,1],β∈[0,1]\alpha\in[0,1],\beta\in[0,1]

18 sampling  mcmc  monte-carlo  random-walk 

ギブスサンプリングがマルコフ連鎖モンテカルロサンプリング用のメトロポリスヘイスティングスアルゴリズムの特殊なケースであることは、最高の権限1に基づいています。MHアルゴリズムは、常に詳細なバランスプロパティを持つ遷移確率を提供します。ギブズもそうすべきだと思う。では、次の単純なケースでどこがおかしいのでしょうか？ 2つの離散（簡単にするため）変数のターゲット分布場合、完全な条件付き分布は次のとおりです。 π(x,y)π(x,y)\pi(x, y)q1(x;y)q2(y;x)=π(x,y)∑zπ(z,y)=π(x,y)∑zπ(x,z)q1(x;y)=π(x,y)∑zπ(z,y)q2(y;x)=π(x,y)∑zπ(x,z) \begin{align} q_1 (x;y) & =\frac{\pi (x,y)}{\sum_z \pi (z,y)} \\ q_2 (y;x) & =\frac{\pi (x,y)}{\sum_z \pi (x,z)} \end{align} ギブスサンプリングを理解すると、遷移確率は次のように記述できます Prob{(y1,y2)→(x1,x2)}=q1(x1;y2)q2(x2;x1)Prob{(y1,y2)→(x1,x2)}=q1(x1;y2)q2(x2;x1) Prob\{(y_1, y_2) \to (x_1, x_2)\} = q_1(x_1; y_2) q_2(x_2; x_1) 問題は、 しかし私が得ることができる最も近いものは これは微妙に異なり、詳細なバランスを意味するものではありません。ご意見ありがとうございます！π(y1,y2)Prob{(y1,y2)→(x1,x2)}=?π(x1,x2)Prob{(x1,x2)→(y1,y2)},π(y1,y2)Prob{(y1,y2)→(x1,x2)}=?π(x1,x2)Prob{(x1,x2)→(y1,y2)}, \pi(y_1,y_2) Prob\{(y_1, y_2) \to (x_1, x_2)\} \overset{?}{=} \pi(x_1,x_2) Prob\{(x_1, x_2) \to (y_1, y_2)\}, π(y1,y2)Prob{(y1,y2)→(x1,x2)}=π(y1,y2)q2(x2;x1)q1(x1;y2)=π(x1,x2)∑zπ(x1,z)π(x1,y2)∑zπ(z,y2)π(y1,y2)=π(x1,x2)q2(y2;x1)q1(y1;y2)π(y1,y2)Prob{(y1,y2)→(x1,x2)}=π(y1,y2)q2(x2;x1)q1(x1;y2)=π(x1,x2)∑zπ(x1,z)π(x1,y2)∑zπ(z,y2)π(y1,y2)=π(x1,x2)q2(y2;x1)q1(y1;y2) …

17 mcmc  gibbs 

ヒットを実装してMCMCアルゴリズムを実行しようとしていますが、その方法を理解するのに少し苦労しています。一般的な考え方は次のとおりです。 MHで提案ジャンプを生成するには、次のようにします。 単位球Oの表面上の分布から方向を生成するdddOO\mathcal{O} 制約された空間に沿って符号付き距離を生成します。λλ\lambda ただし、これをR（または他の言語）で実装する方法についてはわかりません。 誰かが私を正しい方向に向けるコードのスニペットを持っていますか？ ところで、私はこのメソッドを実行するライブラリにあまり興味がありません。自分でそれをコード化してみたいと思います。 どうもありがとう。

16 r  bayesian  mcmc 

ここからダウンロードできるStanドキュメントを調べていました。Gelman-Rubin診断の実装に特に興味がありました。元の論文Gelman＆Rubin（1992）は、潜在的な縮尺率（PSRF）を次のように定義しています。 ましょうであるサンプリング番目のマルコフ連鎖、および全体的な存在であるとするサンプリング独立チェーン。ましょうから平均する番目の鎖、及び全体平均です。定義、 ここで そして、定義Xi,1,…,Xi,NXi,1,…,Xi,NX_{i,1}, \dots , X_{i,N}iiiMMMX¯i⋅X¯i⋅\bar{X}_{i\cdot}ˉ X ⋅ ⋅ W = 1iiiX¯⋅⋅X¯⋅⋅\bar{X}_{\cdot \cdot}s 2 m =1W=1M∑m=1Ms2m,W=1M∑m=1Msm2,W = \dfrac{1}{M} \sum_{m=1}^{M} {s^2_m}, B B = Ns2m=1N−1∑t=1N(X¯mt−X¯m⋅)2.sm2=1N−1∑t=1N(X¯mt−X¯m⋅)2.s^2_m = \dfrac{1}{N-1} \sum_{t=1}^{N} (\bar{X}_{m t} - \bar{X}_{m \cdot})^2\,. BBB B=NM−1∑m=1M(X¯m⋅−X¯⋅⋅)2.B=NM−1∑m=1M(X¯m⋅−X¯⋅⋅)2.B = \dfrac{N}{M-1} \sum_{m=1}^{M} (\bar{X}_{m \cdot} - \bar{X}_{\cdot \cdot})^2 \,. 定義 PSRFはで推定されここで ここで、。√V^=(N−1N)W+(M+1MN)B.V^=(N−1N)W+(M+1MN)B.\hat{V} = \left(\dfrac{N-1}{N} \right)W …

16 mcmc  convergence  gibbs  metropolis-hastings  stan 

私の理解では、近似ベイズ計算（ABC）とマルコフ連鎖モンテカルロ（MCMC）の目的は非常に似ています。以下では、これらの方法についての私の理解と、実際のデータに対するそれらのアプリケーションの違いをどのように認識するかについて説明します。 近似ベイズ計算 ABCは、事前にパラメータをサンプリングし、θθ\theta数値シミュレーションを通じて統計xixix_iを計算します。これは、観測されたと比較されxobsxobsx_{obs}ます。拒否アルゴリズムに基づいて、xixix_iは保持または拒否されます。保持されたxixix_iのリストが事後分布を作成しました。 マルコフ連鎖モンテカルロ MCMCは、パラメーター事前分布のサンプリングで構成されますθθ\theta。これは、最初のサンプルかかるθ1θ1\theta_1計算、P(xobs|θ1)P(θ1)P(xobs|θ1)P(θ1)P(x_{obs} | \theta_1)P(\theta_1)新しい値に（いくつかの規則に従って）ジャンプ次いで及びθ2θ2\theta_2のためのP(xobs|θ2)P(θ2)P(xobs|θ2)P(θ2)P(x_{obs} | \theta_2)P(\theta_2)を再度計算されます。比率P(xobs|θ2)P(θ2)P(xobs|θ1)P(θ1)P(xobs|θ2)P(θ2)P(xobs|θ1)P(θ1)\frac{P(x_{obs} | \theta_2)P(\theta_2)}{P(x_{obs} | \theta_1)P(\theta_1)}が計算され、いくつかのしきい値に応じて、次のジャンプが最初または2番目の位置から発生します。値の探索は次々と行われ、最後までに、保持された値の分布は事後分布（理由はまだわかりません）。θθ\thetaθθ\thetaP(θ|x)P(θ|x)P(\theta | x) 私の説明は、これらの各用語の下に存在するさまざまな方法を表すのを逃していることに気付きます（特にMCMCの場合）。 ABC対MCMC（賛否両論） ABCには、を解析的に解く必要がないという利点があります。そのため、ABCはMCMCが作成できない複雑なモデルに便利です。P(x|θ)P(θ)P(x|θ)P(θ)P(x | \theta)P(\theta) MCMCでは、統計的検定（尤度比検定、G検定、...）を行うことができますが、ABCではこれが実現可能ではないと思います。 私は今のところ正しいですか？ 質問 ABCとMCMCのアプリケーションの違いは何ですか？どのようにして1つまたは別の方法を使用することを決定しますか？

15 bayesian  mcmc  computational-statistics 

私の基本的な質問は、不適切な分布からどのようにサンプリングするのですか？不適切な分布からサンプリングすることも理にかなっていますか？ ここでの西安のコメントは、この種の問題に対処するものですが、これについての詳細を探していました。 MCMCに固有： MCMCについて話し、論文を読む際に、著者は適切な事後分布を取得したことを強調します。著者が後部が適切かどうかを確認するのを忘れた有名なGeyer（1992）の論文があります（そうでない場合は優れた論文）。 しかし、尤度と事前分布が不適切であり、結果の事後分布も不適切であり、MCMCを使用して分布からサンプリングするとします。この場合、サンプルは何を示していますか？このサンプルに役立つ情報はありますか？ここで、マルコフ連鎖は一時的またはヌル再帰的であることを認識しています。null再発の場合、肯定的なテイクアウェイはありますか？f(x|θ)f(x|θ)f(x|\theta)θθ\theta 最後に、ここでのニールGの回答では、彼は 通常、MCMCを使用して、たとえ不適切であったとしても、後方からサンプリングできます。 彼は、このようなサンプリングはディープラーニングでは一般的だと述べています。これが正しい場合、これはどのように意味がありますか？

15 distributions  bayesian  mcmc  markov-process  improper-prior 

ベイジアン構造時系列モデルに関するこのブログ投稿を読んだ後、以前にARIMAを使用していた問題のコンテキストでこれを実装することを検討しました。 私はいくつかの既知の（しかしノイズの多い）季節的要素に関するデータを持っています-これには間違いなく年次、月次、週次の要素があり、特別な日（連邦政府や宗教の祝日など）による影響もあります。 bstsパッケージを使用してこれを実装しましたが、コンポーネントと予測は単に期待どおりに見えませんが、間違ったことは何もしていないと言えます。私の実装が間違っているか、不完全であるか、その他の問題があるかどうかは明確ではありません。 フルタイムシリーズは次のようになります。 データの一部のサブセットでモデルをトレーニングできます。モデルは一般に適合性の点で見栄えがよくなります（プロットは下にあります）。これを行うために使用しているコードは次のとおりです。 library(bsts) predict_length = 90 training_cut_date <- '2015-05-01' test_cut_date <- as.Date(training_cut_date) + predict_length df = read.csv('input.tsv', sep ='\t') df$date <- as.Date(as.character(df$date),format="%Y-%m-%d") df_train = df[df$date < training_cut_date,] yts <- xts(log10(df_train$count), order.by=df_train$date) ss <- AddLocalLinearTrend(list(), yts) ss <- AddSeasonal(ss, yts, nseasons = 7) ss <- AddSeasonal(ss, yts, nseasons …

15 r  time-series  bayesian  mcmc  bsts