タグ付けされた質問 「numerical-integration」

私は興味のある結果が二分されglmnetているLASSO回帰の使用に手を出し始めています。以下に小さな模擬データフレームを作成しました。 age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) m_edu <- c(0, 1, 1, 2, 2, 3, 2, 0, 1) p_edu <- c(0, 2, 2, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

私は最近、モンテカルロシミュレーションを見ていて、ππ\pi（長方形内の円、比例領域）などの定数を近似するために使用しています。 ただし、モンテカルロ積分を使用してeee [オイラー数]の値を近似する対応する方法を考えることはできません。 これをどのように行うことができるかについての指針はありますか？

35 simulation  monte-carlo  algorithms  random-generation  numerical-integration 

を統合したい関数g(x)g(x)g(x)あるとし もちろん、がエンドポイントでゼロになり、爆発がなく、素晴らしい機能であると仮定します。私がいじっていた1つの方法は、Metropolis-Hastingsアルゴリズムを使用して、正規化定数が欠落している比例する分布からサンプルリストを生成することです これをと呼び、これらのについて統計を計算します。 g（x） x 1、 x 2、…、 x n∫∞−∞g(x)dx.∫−∞∞g(x)dx. \int_{-\infty}^\infty g(x) dx.g(x)g(x)g(x)x1,x2,…,xnx1,x2,…,xnx_1, x_2, \dots, x_nN = ∫ ∞ - ∞ G （X ）D 、X P （X ）F （xは）xは1g(x)g(x)g(x)N=∫∞−∞g(x)dxN=∫−∞∞g(x)dxN = \int_{-\infty}^{\infty} g(x)dx p(x)p(x)p(x)f(x)f(x)f(x)xxx1n∑i=0nf(xi)≈∫∞−∞f(x)p(x)dx.1n∑i=0nf(xi)≈∫−∞∞f(x)p(x)dx. \frac{1}{n} \sum_{i=0}^n f(x_i) \approx \int_{-\infty}^\infty f(x)p(x)dx. 以来、、私は置換することができるキャンセルする形の発現をもたらす、積分から そのため、その領域に沿ってに統合される場合、結果を取得する必要があります。これは、必要な答えを得るために逆数を取ることができます。したがって、サンプルの範囲を取得して（ポイントを最も効果的に使用するため）、とし、描画した各サンプルに対してU（x）= 1 / rとします。そのようにU（x）f （x ）= U （x ）/ g …

16 simulation  monte-carlo  metropolis-hastings  numerical-integration 

順列テスト（ランダム化テスト、再ランダム化テスト、または正確なテストとも呼ばれます）は非常に便利で、たとえば、必要な正規分布の仮定がt-test満たされていない場合や、ランク付けによる値の変換時に役立ちますノンパラメトリックテストのようにMann-Whitney-U-test、より多くの情報が失われます。ただし、この種の検定を使用する場合、帰無仮説の下でのサンプルの交換可能性の仮定は1つだけの仮定を見落とすべきではありません。coinRパッケージで実装されているようなサンプルが3つ以上ある場合にも、この種のアプローチを適用できることも注目に値します。 この仮定を説明するために、平易な英語で比fig的な言葉や概念的な直観を使ってください。これは、私のような非統計学者の間で見過ごされているこの問題を明確にするのに非常に役立つでしょう。 注： 置換テストの適用が同じ仮定の下で保持または無効にならない場合に言及することは非常に役立ちます。 更新： 私の地区の地元の診療所から無作為に50人の被験者を収集したとします。彼らは、1：1の比率で薬またはプラセボを無作為に割り当てられました。それらはすべてPar1、V1（ベースライン）、V2（3か月後）、およびV3（1年後）のパラメーター1について測定されました。50個の被験者はすべて、機能Aに基づいて2つのグループにサブグループ化できます。Aポジティブ= 20およびAネガティブ=30。これらは、機能Bに基づいて別の2つのグループにサブグループ化することもできます。Bポジティブ= 15およびBネガティブ=35 。今、私はPar1すべての訪問ですべての被験者からの値を持っています。交換可能性の仮定の下で、次のPar1場合に順列検定を使用するレベルを比較でき ますか？-薬物と被験者をV2でプラセボを投与した被験者と比較する ますか？-機能Aの対象とV2の機能Bの対象を比較しますか？ -V2で機能Aを持つ対象とV3で機能Aを持つ対象を比較しますか？ -この比較はどのような状況で無効であり、交換可能性の仮定に違反しますか？

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

ベイジアン推論について読んでいて、「限界尤度の数値積分は高すぎる」というフレーズに出会いました 私は数学のバックグラウンドを持っていませんが、ここで高価とはどういう意味か疑問に思っていましたか？それは単に計算能力の観点からですか、それとも何かありますか。

12 bayesian  numerical-integration  variational-bayes  approximate-inference 

誰かがトレイルをたどりたい場合に備えて、私はこの質問から来ています。 基本的に、N個のオブジェクトで構成されたデータセットがあり、各オブジェクトには特定の数の測定値（この場合は2つ）が付加されています。ΩΩ\OmegaNNN Ω = o1[ x1、y1] 、o2[ x2、y2] 、。。。、oN[ xN、yN]Ω=o1[バツ1、y1]、o2[バツ2、y2]、。。。、oN[バツN、yN]\Omega = o_1[x_1, y_1], o_2[x_2, y_2], ..., o_N[x_N, y_N] Iは、確率を決定する方法が必要新しいオブジェクトに属するΩを私はその質問に助言されたように、確率密度得るためにFをp [ xp、yp]p[バツp、yp]p[x_p, y_p]ΩΩ\Omegaf^f^\hat{f}私は私が既に持っていると信じてカーネル密度推定スルーを、 。 私の目標は、この新しいオブジェクトの確率（得ることであるので、設定されたこの2次元データへの帰属）Ωを、私はPDFファイルに統合するように言われたFを "上のサポートの値はその密度のためにあなたが観察したものよりも少ない」。"観察"密度は、fは、新しいオブジェクトで評価P、すなわち：F（XはP、Y P）。だから私は方程式を解く必要があります：p [ xp、yp]p[バツp、yp]p[x_p, y_p]ΩΩ\Omegaf^f^\hat{f}f^f^\hat{f}pppf^（xp、yp）f^（バツp、yp）\hat{f}(x_p, y_p) ∬x 、y：f^（x 、y）&lt; f^（xp、yp）f^（x 、y）dバツdy∬バツ、y：f^（バツ、y）&lt;f^（バツp、yp）f^（バツ、y）dバツdy\iint_{x, y:\hat{f}(x, y) < \hat{f}(x_p, y_p)} \hat{f}(x,y)\,dx\,dy 2DデータセットのPDF（pythonのstats.gaussian_kdeから取得）モジュール）は次のようになります。 ここで、赤い点は新しいオブジェクトp [ x p、y p ]を表しますp [ xp、yp]p[バツp、yp]p[x_p, …

12 probability  maximum-likelihood  kernel-smoothing  numerical-integration 

Iは、フォームの積分方程式有する F nは経験的累積分布関数であり、gは関数です。私は収縮マッピングを持っているので、バナッハの固定小数点定理シーケンスを使用して積分方程式を解こうとしています。T1(x)=∫x0g(T1(y)) dF^n(y)T1(x)=∫0xg(T1(y)) dF^n(y) T_1(x) = \int_0^x g(T_1(y)) \ d\hat{F}_n(y) F^nF^n\hat{F}_nggg しかし、この非常にゆっくりとRで実行され、私は私がのために合計を使用して（）関数を統合していますので、それは考えて何度も繰り返し。x∈F^nx∈F^nx \in \hat{F}_n 経験的な分布を使用して、integrate（）などの関数と統合するより速い方法はありますか？

10 r  numerical-integration 

これがより適切なフォーラムに移動するのを遠慮しなくてもよいなら、私が尋ねる正しい場所であることを願っています。 私はかなり以前から、モンテカルロ積分で非正方形の可積分関数を処理する方法を考えていました。MCはまだ適切な見積もりを出していることは知っていますが、これらの種類の関数の場合、エラーは実現不可能（発散？）です。 1つの次元に制限しましょう。モンテカルロ積分は、積分を近似することを意味します 私= ∫10d xf（x ）私=∫01dバツf（バツ） I = \int_0^1 \mathrm{d}x \, f(x) 見積もりを使用 E= 1NΣi = 1Nf（x私）E=1NΣ私=1Nf（バツ私） E = \frac{1}{N} \sum_{i=1}^N f(x_i) 均一に分布したランダムポイント。大きな数の法則は、ことを確認し。標本分散E ≈ Iバツ私∈ [ 0 、1 ]バツ私∈[0、1]x_i \in [0,1]E≈ 私E≈私E \approx I S2= 1N− 1Σi = 1N（f（x私）− E）2S2=1N−1Σ私=1N（f（バツ私）−E）2 S^2 = \frac{1}{N-1} \sum_{i=1}^N (f (x_i) - E)^2 によって引き起こされる分布の分散を近似します。ただし、が二乗可積分でない場合、つまり二乗関数の積分が発散する場合、これは、F …

9 monte-carlo  numerical-integration 

SVDを適用する前に欠損値を処理する方法に関する素晴らしいコメントを読みましたが、簡単な例でどのように機能するか知りたいです。 Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 上記のマトリックスを考えると、NAの値を削除すると、User2とUser5しかなくなります。これは、私のUが2×kになることを意味します。しかし、欠損値を予測する場合、Uは5×kである必要があります。これは、特異値とVで乗算できます。 上記のマトリックスで、最初に欠損値のあるユーザーを削除してからSVDを適用して、欠損値を記入する人はいますか？数学記号を使いすぎずに、適用した手順の非常に簡単な説明を提供し、答えを実用的なものにしてください（つまり、数値に別の数値を掛けると答えが得られます）。 次のリンクを読みました。 stats.stackexchange.com/q/33142 stats.stackexchange.com/q/31096 stats.stackexchange.com/q/33103

8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 

最初に、固定部分とランダム部分を持つロジスティック回帰のデータをシミュレートします。 set.seed(1) n &lt;- 100 x &lt;- runif(n) z &lt;- sample(c(0,1), n, replace=TRUE) b &lt;- rnorm(2) beta &lt;- c(0.4, 0.8) X &lt;- model.matrix(~x) Z &lt;- cbind(z, 1-z) eta &lt;- X%*%beta + Z%*%b pr &lt;- 1/(1+exp(-eta)) y &lt;- rbinom(n, 1, pr) ランダムな部分がないロジスティック回帰を近似したいだけの場合は、次のglm関数を使用できます。 glm(y~x, family="binomial") glm(y~x, family="binomial")$coefficients # (Intercept) x # -0.2992785 …

8 generalized-linear-model  maximum-likelihood  glmm  mixed-model  numerical-integration