タグ付けされた質問 「importance-sampling」

私はMCMCの方法を学ぼうとしており、Metropolis Hastings、Gibbs、Importance、およびRejectionのサンプリングに出会いました。これらの違いの一部は明らかです。つまり、完全な条件式がある場合にGibbsがMetropolis Hastingsの特殊なケースであるのに対し、その他はGibbsサンプラー内でMHを使用する場合など、それほど明白ではありません。これらのそれぞれの違いの大部分を見る簡単な方法は？ありがとう！

36 mcmc  monte-carlo  gibbs  metropolis-hastings  importance-sampling 

私は強化学習を学ぼうとしていますが、このトピックは本当に混乱しています。統計を紹介しましたが、このトピックを直感的に理解できませんでした。

23 variance  simulation  monte-carlo  unbiased-estimator  importance-sampling 

私は過去1年間、重要性のサンプリングにかなり密接に取り組んでおり、いくつかの自由回答形式の質問があります。 重要度サンプリングスキームに関する私の実際の経験は、それらが時折素晴らしい低分散と低バイアスの推定値を生成できることです。ただし、より頻繁に、サンプル分散が低いが非常に高いバイアスを持つ高エラー推定値を生成する傾向があります。 重要性サンプリング推定の有効性に影響を与える要因の種類を誰かが正確に説明できるかどうか疑問に思っていますか？特に、私は疑問に思っています： 1）バイアス分布が元の分布と同じサポートを持っている場合、重要度サンプリング推定値は正しい結果に収束することが保証されていますか？もしそうなら、なぜこれが実際にそれほど時間がかかるように見えるのですか？ 2）重要度サンプリングを通じて生成された推定値の誤差とバイアス分布の「品質」（つまり、ゼロ分散分布と一致する程度）の間に定量化可能な関係がありますか 3）1）および2）に部分的に基づいています-単純なモンテカルロ法よりも重要度サンプリングの設計を使用するほうがよい前に、分布について知る必要がある「量」を定量化する方法があります。

13 monte-carlo  information-theory  importance-sampling 

私のバックグラウンドはコンピュータサイエンスです。私はモンテカルロサンプリング手法にかなり慣れていないので、数学は理解していますが、重要性サンプリングの直感的な例を思い付くのに苦労しています。より正確には、誰かが以下の例を提供できますか？ 元の分布はサンプリングできないが、推定できる この元の分布からサンプリングして適切な重要度分布。

12 probability  distributions  sampling  importance-sampling 

私は最近、以下の論文で説明されているパレート平滑化重要度サンプリングのリーブワンアウト相互検証（PSIS-LOO）の使用を開始しました。 Vehtari、A.および＆Gelman、A.（2015）。パレート平滑化重要度サンプリング。arXivプレプリント（リンク）。 Vehtari、A.、Gelman、A.、およびGabry、J.（2016）。Leave-one-out交差検証とWAICを使用した実用的なベイズモデル評価。arXivプレプリント（リンク） これは、MCMCを1回実行するだけでLOO-CVを実行できるため、サンプル外のモデル評価に対する非常に魅力的なアプローチを表しており、WAICなどの既存の情報基準よりも優れているとされています。 PSIS-LOOには、近似が信頼できるかどうか、つまり、重要度の経験的分布の裾にフィットするパレート分布の推定指数（データポイントごとに1つの重み）によって与えられるかどうかを診断する機能があります。つまり、推定重量場合、悪いことが発生する可能性があります。k^ik^i\hat{k}_ik^i≳0.7k^i≳0.7\hat{k}_i \gtrsim 0.7 悲しいことに、この方法を私の問題に適用したところ、関心のあるモデルの大部分で、\ hat {k} _i \ gg 0.7の大部分が見つかりましたk^i≫0.7k^i≫0.7\hat{k}_i \gg 0.7。当然のことながら、報告されたLOOの対数尤度の一部は、明らかに他のデータセットと比較して無意味でした。ダブルチェックとして、私は従来の（そして時間のかかる）10分割交差検証を実行しましたが、実際に上記のケースでは、PSIS-LOOがひどく間違った結果を与えていたことがわかりました（良い面では、結果は10と非常によく一致しました）すべてのk^i≪0.7k^i≪0.7\hat{k}_i \ll 0.7）のモデルのCVを折りたたみます。参考までに、Aki VehtariによるPSIS-LOOのMATLAB実装を使用しています。 多分私は、この方法を適用する私の現在の最初の問題がPSIS-LOOにとって「困難」であるという点で非常に不運なだけかもしれませんが、このケースは比較的一般的かもしれないと思います。私のような場合、Vehtary、Gelman＆Gabryの論文は単に次のように述べています： PSIS推定値に有限の分散がある場合でも、場合、ユーザーは問題のあるについてから直接サンプリングすることを検討する必要があります倍交差を使用します検証、またはより堅牢なモデルを使用します。k^>0.7k^>0.7\hat{k} > 0.7p(θs|y−i)p(θs|y−i)p(\theta^s |y_{−i})iiikkk これらは明白ですが、時間がかかるか、追加の操作が必要であるため、実際には理想的なソリューションではありません（MCMC とモデルの評価はすべて操作に関するものですが、少ないほど優れています）。 PSIS-LOOの失敗を防ぐために事前に適用できる一般的な方法はありますか？暫定的なアイデアはいくつかありますが、人々が採用している実証的な解決策はすでにあるのでしょうか。

10 machine-learning  cross-validation  mcmc  pareto-distribution  importance-sampling 

私はRの重要性サンプリング法と積分を評価する質問に答えようとしていました。基本的に、ユーザーは計算する必要があります ∫π0f(x)dx=∫π01cos(x)2+x2dx∫0πf(x)dx=∫0π1cos⁡(x)2+x2dx\int_{0}^{\pi}f(x)dx=\int_{0}^{\pi}\frac{1}{\cos(x)^2+x^2}dx 指数分布を重要度分布として使用する q(x)=λ exp−λxq(x)=λ exp−λxq(x)=\lambda\ \exp^{-\lambda x} そして、積分のより良い近似を与えるの値を見つけます（それはです）。私は、平均値の評価などの問題を書き直すμのF （X ）上に[ 0 、π ]：積分次いでだけでπ μ。 λλ\lambdaself-studyμμ\muf(x)f(x)f(x)[0,π][0,π][0,\pi]πμπμ\pi\mu このように、聞かせてのPDFであるX 〜U（0 、π ）、およびlet Y 〜のF （X ）の目標は、現在推定することです。p(x)p(x)p(x)X∼U(0,π)X∼U(0,π)X\sim\mathcal{U}(0,\pi)Y∼f(X)Y∼f(X)Y\sim f(X) μ=E[Y]=E[f(X)]=∫Rf(x)p(x)dx=∫π01cos(x)2+x21πdxμ=E[Y]=E[f(X)]=∫Rf(x)p(x)dx=∫0π1cos⁡(x)2+x21πdx\mu=\mathbb{E}[Y]=\mathbb{E}[f(X)]=\int_{\mathbb{R}}f(x)p(x)dx=\int_{0}^{\pi}\frac{1}{\cos(x)^2+x^2}\frac{1}{\pi}dx 重要性サンプリングを使用します。Rでシミュレーションを実行しました。 # clear the environment and set the seed for reproducibility rm(list=ls()) gc() graphics.off() set.seed(1) # function to be integrated f <- function(x){ 1 …

9 r  simulation  exponential  importance-sampling 

次の離散分布があります。ここで、は既知の定数です。α 、βα,β\alpha,\beta p （x ; α 、β）= ベータ（α + 1 、β+ x ）ベータ（α 、β）以下のため のx = 0 、1 、2 、...p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,… p(x;\alpha,\beta) = \frac{\text{Beta}(\alpha+1, \beta+x)}{\text{Beta}(\alpha,\beta)} \;\;\;\;\text{for } x = 0,1,2,\dots この分布から効率的にサンプリングするためのいくつかのアプローチは何ですか？

9 sampling  mcmc  computational-statistics  importance-sampling  rejection-sampling 

私がしたい効率的にサンプルを描くx∈Rdx∈Rdx \in \mathbb{R}^dからN(μ,Σ)N(μ,Σ)\mathcal{N}(\mu, \Sigma)の制約を受けること||x||2=1||x||2=1||x||_2 = 1。

9 distributions  normal-distribution  sampling  multivariate-normal  importance-sampling 

これはかなり珍しい、探索的な質問だと思いますので、ご容赦ください。 ギブスサンプリングに重要性サンプリングのアイデアを適用できるかどうか疑問に思っています。意味は次のとおりです。ギブスサンプリングでは、一度に1つの変数（または変数のブロック）の値を変更し、残りの変数が与えられた条件付き確率からサンプリングします。 ただし、正確な条件付き確率からサンプリングすることは不可能または簡単ではない場合があります。そのため、代わりに提案分布からサンプリングし、たとえばMetropolis-Hastings（MH）を使用します。qqq ここまでは順調ですね。しかし、これは分岐したパスです：MHを使用する代わりに、重要度サンプリングで使用されたのと同じアイデアを使用するとどうなりますか？つまり、からサンプリングし、現在のサンプルの重要度重みを保持しますか？qqqp / qp/qp/q より詳しく：となるように、変数と因数分解分布があるとます。各変数現在の値をサンプリングするために使用される提案確率を保持します。各ステップで、変数のサブセットを変更し、を更新します影響を受けると係数のみ）。サンプルとその重要度の重みを使用して、興味のある統計を計算します。バツ1、… 、xんx1,…,xnx_1,\dots,x_nφ1、… 、ϕメートルϕ1,…,ϕm\phi_1,\dots,\phi_mp ∝ ∏メートルi = 1φ私p∝∏i=1mϕip \propto \prod_{i=1}^m \phi_iq私qiq_iバツ私xix_ip （x ）/ q（x ）p(x)/q(x)p(x)/q(x)pppqqq このアルゴリズムは正しいでしょうか？そうでない場合、なぜそうではないかという明確な理由はありますか？重要なサンプリングと同じことをしているように見えますが、代わりに依存するサンプルを使用しているので、直感的にそれは私には理にかなっています。 私はこれをガウスランダムウォークモデルに実装し、重みがどんどん小さくなる（ただし、単調ではない）ので、最初のサンプルの重要性が高くなりすぎて統計が支配的になることに気付きました。各ステップで、更新された重みを明示的なブルートフォース計算と比較するため、実装にバグがないと確信しています。重みは、であり、と両方が有限数の密度の積であるため、無制限にゼロに下がらないことに注意してください。各サンプルは、まれにしかゼロにならない正規分布から取得されます。p / qp/qp/qpppqqq だから私はなぜ重みがそのように下がるのか、そしてこれがこの方法が実際に正しくない結果であるのかどうかを理解しようとしています。 次に、より正確なアルゴリズムの定義を示します。これは、変数ガウスランダムウォークに適用されます。コードは以下のとおりです。バツ1、… 、XんX1,…,XnX_1,\dots,X_n モデルは単にで、は固定されてい。バツ私〜N（Xi − 1、σ2）、i = 1 、… 、nXi∼N(Xi−1,σ2),i=1,…,nX_i \sim \mathcal N(X_{i-1}, \sigma^2), i = 1,\dots,nバツ0X0X_0000 現在のサンプルの重みは。ここで、はガウス密度、は現在の値のサンプリング元の分布です。最初は、値を順方向にサンプリングするだけなので、で、初期の重みはです。Π私p （x私）Π私q（x私）∏ip(xi)∏iq(xi)\frac{\prod_i p(x_i)}{\prod_i q(x_i)}pppqqqq= pq=pq = p111 次に、各ステップで、変更するを選択します。私は新しい値サンプルするためのから、この密度はのための新たな使用提案分布となるように。J ∈ …

8 mcmc  gibbs  importance-sampling 

SVDを適用する前に欠損値を処理する方法に関する素晴らしいコメントを読みましたが、簡単な例でどのように機能するか知りたいです。 Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 上記のマトリックスを考えると、NAの値を削除すると、User2とUser5しかなくなります。これは、私のUが2×kになることを意味します。しかし、欠損値を予測する場合、Uは5×kである必要があります。これは、特異値とVで乗算できます。 上記のマトリックスで、最初に欠損値のあるユーザーを削除してからSVDを適用して、欠損値を記入する人はいますか？数学記号を使いすぎずに、適用した手順の非常に簡単な説明を提供し、答えを実用的なものにしてください（つまり、数値に別の数値を掛けると答えが得られます）。 次のリンクを読みました。 stats.stackexchange.com/q/33142 stats.stackexchange.com/q/31096 stats.stackexchange.com/q/33103

8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning