タグ付けされた質問 「mcmc」

SVDを適用する前に欠損値を処理する方法に関する素晴らしいコメントを読みましたが、簡単な例でどのように機能するか知りたいです。 Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 上記のマトリックスを考えると、NAの値を削除すると、User2とUser5しかなくなります。これは、私のUが2×kになることを意味します。しかし、欠損値を予測する場合、Uは5×kである必要があります。これは、特異値とVで乗算できます。 上記のマトリックスで、最初に欠損値のあるユーザーを削除してからSVDを適用して、欠損値を記入する人はいますか？数学記号を使いすぎずに、適用した手順の非常に簡単な説明を提供し、答えを実用的なものにしてください（つまり、数値に別の数値を掛けると答えが得られます）。 次のリンクを読みました。 stats.stackexchange.com/q/33142 stats.stackexchange.com/q/31096 stats.stackexchange.com/q/33103

8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 

メトロポリス-ヘイスティングスマルコフチェーンモンテカルロでは、提案の分布はガウシアン（Wikipediaによると）を含めて何でもかまいません。 Q：Gaussian以外のものを使用する動機は何ですか？Gaussianは機能し、評価が簡単で、高速で、誰もが理解しています。なぜ他のことを検討するのですか？ Q：プロポーザル分布は何でもかまいませんが、均一分布を使用できますか？

8 sampling  mcmc  monte-carlo  metropolis-hastings 

MCMCがWishart分布から共分散行列をサンプリングするとします。 すべての反復で、Wishart分布から新しいサンプル行列を取得します。SiSiS_i 質問：すべてのサンプルを含むトレースがある場合、これらのサンプルの自己相関をプロットできますか？S1,...SnS1,...SnS_1,...S_n の自己相関を使用している人を見たことがありが、正当な理由は見つかりませんでした。log(det(S))log⁡(det(S))\log(\det(S))

8 bayesian  autocorrelation  mcmc 

特定のコピュラ、つまりで定義された多変量cdfからのシミュレーションに関する相互検証された質問と共に、私はより大きな図、つまり、そのような関数が与えられた場合、対応する確率分布からシミュレーションする一般的なアルゴリズムを計算できますか？、[ 0 、1 ]C(u1,…,uk)C(u1,…,uk)C(u_1,\ldots,u_k)[0,1]k[0,1]k[0,1]^k 明らかに、一つの解決策は、区別することである対応するPDF生成するために時間をし、その後からのサンプルを生成するメトロポリス・ヘイスティングスような一般的なMCMCアルゴリズムを呼び出す（又は）。k個のκ （U 1、... 、U K）C κCCC kkkκ(u1,…,uk)κ(u1,…,uk)\kappa(u_1,\ldots,u_k)CCCκκ\kappa 余談：別の解決策は、シミュレーションにラプラススティエルス変換を使用して、アルキメデスのコピュラに固執することですが、これは実際には常に可能であるとは限りません。上記の質問を解決しようとしたときに私が見つけたように。 私の質問は、可能であれば、この差別化ステップを一般的な方法で回避することです。

8 multivariate-analysis  simulation  mcmc  copula 

私は、ベイズは人口規模推定達成するためのモデル持っているNNNと検出の確率θθ\thetaのみ観測されたオブジェクトの観測された数に基づいて、二項分布でのyyy： p(N,θ|y)∝Bin(y|N,θ)Np(N,θ|y)∝Bin(y|N,θ)N p(N,\theta|y)\propto \frac{ \text{Bin}(y|N,\theta)}{N} のために {N|N∈Z∧N≥max(y)}×(0,1){N|N∈Z∧N≥max(y)}×(0,1) \left\{N|N\in\mathbb{Z}\land N\ge \max(y)\right\}\times(0,1) 。簡単にするために、NNNは各y_iに対して同じ未知の値に固定されていると仮定しyiyiy_iます。この例では、y=53,57,66,67,73y=53,57,66,67,73y=53,57,66,67,73です。 このモデルをで推定するrstanと、事後のグリッド近似から得られた結果とは異なります。理由を突き止めようとしています。（興味を持った読者は、この質問は、後続の私の答えにあることを見つけるかもしれないここに。） rstan 近似 参考までに、これはrstanコードです。 raftery.model <- " data{ int I; int y[I]; } parameters{ real<lower=max(y)> N; simplex[2] theta; } transformed parameters{ } model{ vector[I] Pr_y; for(i in 1:I){ Pr_y[i] <- binomial_coefficient_log(N, y[i]) +multiply_log(y[i], theta[1]) +multiply_log((N-y[i]), theta[2]); } increment_log_prob(sum(Pr_y)); increment_log_prob(-log(N)); …

8 bayesian  mcmc  hierarchical-bayesian  stan 

私effectiveSize()は、MCMCシミュレーションの有効なサンプルサイズを見つけるためにcodaパッケージを使用しました。実際のサンプルサイズが実際のサンプルサイズよりも大きい（9813.626が9501よりも大きいなど）。これは理にかなっているのでしょうか。 私の理解では、有効なサンプルサイズは実際のサンプルサイズを超えることはできず、より多くの自己相関がある場合は小さくなります。

8 simulation  mcmc 

提案分布のパラメーターを変更することにより、ランダムウォークメトロポリスアルゴリズムの受け入れ率を変更できますか？ ターゲットの分布をます。してみましょう新しい状態のための提案密度も現在の状態で。受け入れ率は ππ\pip(x2|x1)p(x2|x1)p(x_2 | x_1)x2x2x_2x1x1x_1α=min(1,π(x2)p(x1|x2)π(x1)p(x2|x1))α=min(1,π(x2)p(x1|x2)π(x1)p(x2|x1)) \alpha = \min(1, \frac{\pi(x_2) p(x_1|x_2)}{\pi(x_1) p(x_2|x_1)}) 私が正しい場合、ランダムウォークメトロポリスアルゴリズムでは、提案密度はp（x_2 | x_1）= p（x_1 | x_2）の意味で対称であるp(x2|x1)=p(x1|x2)p(x2|x1)=p(x1|x2)p(x_2 | x_1) = p(x_1 | x_2)ため、受け入れ率は提案密度に依存せず、サンプリングするターゲット分布ππ\piしたがって、提案分布のパラメータを変更しても、受け入れ率\ alphaは変更されませんαα\alpha。 たとえば、現在の状態x_1での提案分布x1x1x_1が、一定の分散を持つ現在の状態を中心とするガウス分布である場合、つまりN(x1,σ2)N(x1,σ2)N(x_1, \sigma^2)は、上記の意味で対称であり、ガウス提案分布の分散σ2σ2\sigma^2を変更しても、受け入れ率は変化しませんαα\alpha？ ありがとう！

8 mcmc 

階層モデルのMCMC実装では、通常の変量効果と共分散行列の前にWishartがあり、通常、ギブスサンプリングが使用されます。 ただし、変量効果の分布を（たとえば、Student's-tまたは別のものに）変更すると、共役性は失われます。この場合、Metropolis-Hastingsアルゴリズムでの変量効果の共分散行列の適切な（つまり、簡単に調整可能な）提案分布は何でしょうか。また、目標許容率は0.234でしょうか。 すべてのポインタを事前に感謝します。

8 mcmc  hierarchical-bayesian  metropolis-hastings 

DPの離散的な性質は、ベイジアンノンパラメトリックスの一般的なアプリケーションには適していませんが、混合モデリングで混合コンポーネントに優先順位を付ける問題に適しています。 この引用は、階層的ディリクレプロセス（Teh、et al、（2006）[ 1 ]）からのものであり、それが何を意味するかについての説明を探していました。ベイジアンノンパラメトリックスは、著者が何を参照しているかを理解するのに私にはあいまいすぎる用語のようです。[ 1 ][1]^{[1]} Teh、YW、Jordan、MI、Beal、MJ、Blei、DM（2006）：「階層的ディリクレプロセス」。Journal of the American Statistical Association、101、pp。1566–1581。[ 1 ][1]{[1]}

8 machine-learning  mcmc  dirichlet-process 

なぜ階層的なのか？：私はこの問題を調査してみましたが、私が理解しているところによると、これは「階層的な」問題です。なぜなら、あなたはその集団から直接観察するのではなく、集団からの観察について観察しているからです。リファレンス：http : //www.econ.umn.edu/~bajari/iosp07/rossi1.pdf なぜベイジアンなのか？：また、各セルに十分な観測値が割り当てられている「実験計画」には漸近/頻出解が存在する可能性があるため、ベイジアンとしてタグ付けしましたが、実際の目的では、実世界/非実験データセット（または最小のもの）はまばらに移入されています 集計データは多数ありますが、個々のセルが空白であるか、観測値が少ない場合があります。 抽象的モデル： Uを単位母集団とする。。。u NのそれぞれにAまたはBのいずれかの処理Tを適用でき、それぞれから1または0の別名の成功と失敗のiid観測を観測します。ましょうP I TのためのI ∈ { 1 ... Nは}オブジェクトから観察する確率であるI処置下Tの成功をもたらします。なお、P Iu1,u2,u3...uNu1,u2,u3...uN{u_1, u_2, u_3 ... u_N}TTTAAABBBpiTpiTp_{iT}i∈{1...N}i∈{1...N}i \in \{1...N\}iiiTTTpiApiAp_{iA}と相関している可能性があります。piBpiBp_{iB} 分析を実行可能にするために、（a）分布とp Bはそれぞれベータ分布などの特定の分布のファミリーのインスタンスであると想定し、（b）ハイパーパラメーターのいくつかの以前の分布を選択します。pApAp_ApBpBp_B モデルの例 マジック8ボールの大きなバッグを持っています。各8ボールを振ると、「はい」または「いいえ」が表示されます。また、ボールを上下逆さまにしたり、上下逆さまに振ったりすることもできます（Magic 8 Ballが上下逆さまに動作すると仮定します...）。ボールの向きが完全に「はい」か「いいえ」で結果の確率を変更することがあり（つまり、最初にあなたがいることを全く信じていないと相関しているのp のi Bを）。piApiAp_{iA}piBpiBp_{iB} 質問： 誰かが集団から無作為にのユニットをサンプリングし、各ユニットについて、処理Aの下で任意の数の観測値と処理Bの下で任意の数の観測値を取得して記録しました。（実際には、私たちのデータセットでは、ほとんどのユニットは1つの処理でのみ観測されます）nnnAAABBB このデータから、次の質問に答える必要があります。 母集団からランダムに新しい単位を取得する場合、p x Aとp x Bの同時事後分布を（分析的または確率的に）どうやって計算できますか？（主に、予想される比率の差を決定できるようにするため、Δ = p x A − p x B）uxuxu_xpxApxAp_{xA}pxBpxBp_{xB}Δ=pxA−pxBΔ=pxA−pxB\Delta=p_{xA}-p_{xB} 特定のユニットの、Y ∈ { 1 …

8 bayesian  mcmc  jags  hierarchical-bayesian  pymc 

MCMCでは、バーンイン時間はどのように選択されますか？言い換えれば、マルコフ連鎖がその限界分布に到達したと考えるまで、どれくらい待つ必要がありますか？ありがとう！

8 mcmc 

閉まっている。この質問はトピックから外れています。現在、回答を受け付けていません。 この質問を改善してみませんか？ 質問を更新することがありますので、話題のクロス検証済みのため。 7か月前に閉鎖。 私は現在、JAGSでサッカーの結果を予測するモデルの実装を進めています。実際、いくつか実装しましたが、まだ最も難しい課題に達しています。Rue＆Salvesenの論文「リーグでのサッカーの試合の予測と遡及分析」で説明されているモデルです。彼らのモデルは、5ゴール後の攻撃/防御力を条件としたポアソン分布を切り捨てるために混合モデルを使用しています。彼らはまた、Dixon＆Coles（1997）の法律を採用して、スコアの低いゲームで0-0と1-1の結果が出る確率を高めています。 私の問題は次のとおりです、私は混合モデルを実装しようとしています： ここで、は、チームAとBの間のゲームでホームチームが獲得したゴールの数を示し、は、チームの強さ。私はゼロゼロのトリックを使用してJAGSでこれらの2つの法則を実装しようとしましたが、今のところ運がありません（）。これまでの私のJAGSモデル：πg1（xA 、B、yA 、B| λ（x ）A 、B、λ（y）A 、B）= κ （xA 、B、yA 、B| λ（x ）A 、B、λ（y）A 、B）Po （xA 、B| λ（x ）A 、B）Po （yA 、B| λ（y）A 、B）πg1（バツあ、B、yあ、B|λあ、B（バツ）、λあ、B（y））=κ（バツあ、B、yあ、B|λあ、B（バツ）、λあ、B（y））Po（バツあ、B|λあ、B（バツ））Po（yあ、B|λあ、B（y）） \pi_{g1}(x_{A,B},y_{A,B}|\lambda_{A,B}^{(x)},\lambda_{A,B}^{(y)}) = \kappa(x_{A,B},y_{A,B}|\lambda_{A,B}^{(x)},\lambda_{A,B}^{(y)})Po(x_{A,B}|\lambda_{A,B}^{(x)})Po(y_{A,B}|\lambda_{A,B}^{(y)}) バツA 、Bバツあ、Bx_{A,B}l o g（λ（x ）A 、B）log（λあ、B（バツ））log(\lambda_{A,B}^{(x)})error: illegal parent values data { C <- 10000 for(i in 1:noGames) …

8 mixed-model  mcmc  jags 

私はMCMCデータ拡張に関する質問を検討してきました。質問の一般的な形式は次のとおりです。 プロセスで収集されたデータがを示唆しており、rateパラメーターの事前として示唆されているとします。データは標準的な形式（つまり、からまでの各値の出現数）で記録および表示されますが、収集されたデータは、X_ {i} \ leq 1（つまりX_ {i} = 0およびX_ {i} = 1のすべてのオカレンスは1つのカテゴリーにグループ化されます）。Xi∼Pois(λ)Xi∼Pois(λ)X_{i} \sim \text{Pois}(\lambda)λ∼Exp(λ0)λ∼Exp(λ0)\lambda \sim \text{Exp}(\lambda_{0})XiXiX_{i}000nnnXi≤1Xi≤1X_{i} \leq 1Xi=0Xi=0X_{i} = 0Xi=1Xi=1X_{i} = 1 上記のデータ、可能性、事前情報を考慮して、質問では次のことが求められます。 後部形λλ\lambda、 X_ {i} = 0である発生回数Xi=0Xi=0X_{i} = 0。 私はこの質問にどのように答えるかは本当にわかりませんが、ギブスサンプリングがデータ拡張に使用できることを知っています。これをどのように行うことができるかについて誰かが何か情報を持っていますか？ 編集： 私はそれが主に2番目の部分（X_ {i} = 0である発生の数Xi=0Xi=0X_{i} = 0）であることを確信できません。最初の部分（\ lambdaの後方形式λλ\lambda）については、可能性と以前の提案が与えられたので、私は推論しました（ただし、修正してよかったのですが）。 与えられた： π(λ|x⃗ )∝p(x⃗ |λ)×p(λ)π(λ|x→)∝p(x→|λ)×p(λ) \pi(\lambda|\vec{x}) \propto p(\vec{x}|\lambda) \times p(\lambda) したがって、上記のモデルの場合： π（λ …

8 self-study  mcmc  monte-carlo  data-augmentation 

Rにおいて、私はN× KN×KN \times K行列P I「の行Pの上の分布に対応\ {1、...、K \を}。基本的に、各行から効率的にサンプリングする必要があります。素朴な実装は次のとおりです。PPP私iiPPP{ 1 、。。。、K}{1,...,K}\{1, ..., K\} X = rep(0, N); for(i in 1:N){ X[i] = sample(1:K, 1, prob = P[i, ]); } これは非常に遅いです。原則として、これをCに移動できますが、これを行う既存の方法があるはずです。私は次のコードの精神で何かを望みます（これは機能しません）： X = sample(1:K, N, replace = TRUE, prob = P) 編集：動機付けのために、N= 10000N=10000N = 10000とK = 100を取るK= 100K=100K = 100。私が持っているP1、。。。、P5000P1,...,P5000P_1, ..., P_{5000}すべての行列N× KN×KN …

8 r  mcmc 

データに当てはめたモデルの2D信頼領域（1シグマ、2シグマ）をプロットしたいと思います。PyMCを使用して、6つのパラメーターを持つモデルの50k MCMC事後サンプルを生成しました。 私は信頼領域を作成するプロセスが次のようなものであることを知っています：1.）2D空間でサンプルのヒストグラムを作成する2.）等密度の等高線を特定する3.）選択した開始点（たとえば、平均）から外側に向かって積分するサンプルポイントの必要な部分が領域に含まれるまで、等密度コンターに垂直。 numpy / scipy / pymc / pylab / etcの世界で、2D信頼領域プロットを作成する便利な関数はありますか？または、後でプロットするために等高線を計算するコード化アルゴリズムまたはスタンドアロンツールはどこにありますか？

8 confidence-interval  mcmc  python