タグ付けされた質問 「bootstrap」

ブートストラップ、置換テスト、ジャックナイフなど、実際によく使用されるいくつかの一般的なリサンプリング手法があります。たとえば、Philip I Good（2010）Permutation、Parametric、Bootstrap Tests仮説の 私の質問は、どのリサンプリング手法がより人気があり、実装しやすいのですか？ブートストラップまたは置換テスト？

37 hypothesis-testing  nonparametric  bootstrap  permutation-test 

この質問は、決定的な答えを得るにはあまりにもオープンエンドかもしれませんが、そうでないことを願っています。 SVM、GBM、ランダムフォレストなどの機械学習アルゴリズムには、一般に、いくつかの経験則を超えて、各データセットに合わせて調整する必要があるいくつかの無料のパラメーターがあります。これは、一般的に、ある種の再サンプリング手法（ブートストラップ、CVなど）で行われ、最良の一般化エラーを与えるパラメーターのセットに適合します。 私の質問は、あなたがここにすぎ行くことができるのですか？人々はグリッド検索を行うことなどについて話しますが、なぜこれを最適化問題として扱い、可能な限り最良のパラメータセットにドリルダウンしないのですか？私はこのいくつかの仕組みについて尋ね、この質問が、それは多くの注目を集めていません。質問はひどく聞かれたかもしれませんが、おそらく質問自体は人々が一般にしない悪いアプローチを表しているのでしょうか？ どのような私を気にすることは正則の欠如です。再サンプリングすると、このデータセットのGBMで成長するのに最適なツリーの数は647で、相互作用の深さは4ですが、これが新しいデータに当てはまることをどのように確認できますか（新しい母集団を仮定して） ）トレーニングセットと同一ですか？「縮小」する合理的な価値がない場合（または、情報を提供する事前情報がない場合）、リサンプリングは私たちができる最善の方法のようです。私はこのことについて何も話を聞いていないので、何か足りないものがあるのではないかと思います。 明らかに、多くの反復を行ってモデルの予測力の最後のビットを絞り出すことに関連する大きな計算コストがあるため、これは明らかに、最適化とすべてのビットを行うための時間/うなりを持っている場合にあなたがすることですパフォーマンスの改善は貴重です。

34 machine-learning  cross-validation  bootstrap  optimization  resampling 

これを含むいくつかの情報源で、ランダムフォレストは外れ値の影響を受けないことを読みました（たとえば、ロジスティック回帰や他のMLメソッドのように）。 ただし、2つの直観がそれ以外のことを教えてくれます。 決定木が作成されるたびに、すべてのポイントを分類する必要があります。これは、外れ値でも分類されるため、ブースティング中に選択された決定木に影響を与えることを意味します。 ブートストラップは、RandomForestがサブサンプリングを行う方法の一部です。ブートストラップは外れ値の影響を受けやすくなっています。 異論のある情報源で、外れ値に対する感度に関する私の直感を調整する方法はありますか？

33 random-forest  bootstrap  outliers  cart 

これは、誰も実際に簡単な答えを出すことができない、かなりホットなトピックであることを知っています。それにもかかわらず、次のアプローチが役に立たないのではないかと思っています。 ブートストラップ法は、サンプルが元の母集団とほぼ同じ分布をたどる（正確に読む）場合にのみ役立ちます。これを確実にするには、サンプルサイズを十分に大きくする必要があります。しかし、十分な大きさは何ですか？ 私の前提が正しければ、中央限界定理を使用して母平均を決定するときに同じ問題が生じます。サンプルサイズが十分に大きい場合にのみ、サンプル平均の母集団が正規分布（母集団平均付近）であることを確認できます。言い換えると、サンプルは母集団（分布）を十分に表す必要があります。しかし、再び、何が十分な大きさですか？ 私の場合（管理プロセス：需要を完了するのに必要な時間対需要の量）私はマルチモーダル分布（2011年に終了するすべての需要）のある人口を持っています。人口よりも通常分布している（現在の日と過去の日の間で終了するすべての要求、理想的にはこのタイムスパンはできるだけ小さい）研究したい。 2011年の人口は、サンプルサイズサンプルを作成するのに十分な単位ではありません。値を選択し、 （）と仮定します。ここで、試行錯誤を行って適切なサンプルサイズを決定します。を取り、サンプル平均母集団がKolmogorov-Smirnovを使用して正規分布しているかどうかを確認します。そうであれば、サンプルサイズで同じ手順を繰り返しますが、サンプルサイズ（など）で繰り返しません。バツバツxnnnバツバツx101010x = 10バツ=10x=10n = 50n=50n=50404040606060 しばらくして、2011年の母集団を多かれ少なかれ適切に表現するために、が絶対最小サンプルサイズであると結論付けました。関心のある母集団（現在の日と過去の日の間に終了するすべての要求）のばらつきが少ないことがわかっているため、ブートストラップにサンプルサイズを安全に使用できます。（間接的に、はタイムスパンのサイズを決定します：要求を完了するのに必要な時間。）n = 45n=45n=45n = 45n=45n=45n = 45n=45n=45454545 要するに、これは私の考えです。しかし、私は統計学者ではなく、統計学の授業がその先の日に行われたエンジニアなので、多くのゴミを生成した可能性を排除することはできません:-)。皆さんはどう思いますか？私の前提が理にかなっている場合、より大きいを選択する必要がありますか？あなたの答え次第です（恥ずかしいと思う必要がありますか？:-)さらにディスカッションのアイデアを投稿します。バツバツx101010 最初の回答に対する回答返信いただきありがとうございます。あなたの回答は、特に本のリンクに関して非常に役に立ちました。 しかし、私は情報を提供しようとして、質問を完全に曇らせたことに不満を感じています。ブートストラップサンプルが母集団サンプルの分布を引き継ぐことを知っています。私は完全にあなたに従いますが... 元の母集団サンプルは、母集団サンプルの分布が母集団の「実際の」分布に対応する（等しい）ことをある程度確実にするのに十分な大きさである必要があります。 これは、サンプル分布が母集団分布と一致することを合理的に確認するために、元のサンプルサイズがどれだけ大きくする必要があるかを判断する方法に関する単なるアイデアです。 二峰性の人口分布があり、一方の頂点が他方の頂点よりもはるかに大きいとします。サンプルサイズが5の場合、5つのユニットすべてが大きなトップに非常に近い値を持つ可能性が高くなります（ユニットをランダムに描画する広告のチャンスは最大です）。この場合、サンプル分布はモノモーダルになります。 サンプルサイズが100の場合、サンプル分布もバイモーダルである可能性ははるかに大きくなります!! ブートストラップの問題は、サンプルが1つしかないことです（そして、そのサンプルをさらにビルドします）。サンプル分布が実際に母集団分布と一致しない場合、問題が発生しています。これは、サンプルサイズを無限に大きくすることなく、「悪いサンプル分布」の可能性をできるだけ低くするためのアイデアです。

33 bootstrap  sample-size  methodology 

最近、ブートストラップ手法を使用して、推定量の標準誤差と信頼区間を計算することを学びました。私が学んだことは、データがIIDである場合、サンプルデータを母集団として扱い、置換を使用してサンプリングを行うことができ、これにより検定統計量の複数のシミュレーションを取得できることです。 時系列の場合、自己相関が存在する可能性が高いため、明らかにこれを行うことはできません。時系列があり、固定日付の前後のデータの平均を計算したいと思います。修正版のブートストラップを使用してこれを行う正しい方法はありますか？

33 time-series  bootstrap 

確率と統計、（現在利用可能な春2014から18.05入門用MITオープンコースウェア・ノートでは、ここで）、それは述べて： ブートストラップパーセンタイル方式は、そのシンプルさから魅力的です。しかし、それはのブートストラップ分布に依存に基づいて、特定の真の分布によく近似される試料ˉ X。ライスは、「信頼限界を備えたブートストラップサンプリング分布の分位数のこの直接方程式は、最初は魅力的に思えるかもしれませんが、その根拠はやや不明瞭です。」[2]要するに、ブートストラップパーセンタイル方法を使用しないでくださいx¯∗x¯∗\bar{x}^{*}x¯x¯\bar{x}。代わりに経験的ブートストラップを使用します（経験的ブートストラップをパーセンタイルブートストラップと混同しないことを期待して、両方を説明しました）。 [2] John Rice、数学的統計とデータ分析、第2版、p。272 少しオンラインで検索した後、これはパーセンタイルブートストラップを使用すべきではないと明言している唯一の引用です。 Clarke et al。のテキスト「データマイニングと機械学習の原理と理論」から読んだことを思い出します。ブートストラップの主な理由は、その事実であるということです F N1n∑i=1nF^n(x)→pF(x)1n∑i=1nF^n(x)→pF(x)\dfrac{1}{n}\sum_{i=1}^{n}\hat{F}_n(x) \overset{p}{\to} F(x)F^nF^n\hat{F}_n経験CDFです。（これ以上の詳細は思い出せません。） パーセンタイルブートストラップメソッドを使用すべきでないのは本当ですか？もしそうなら、が必ずしも知られていない（つまり、パラメトリックブートストラップを実行するのに十分な情報が利用できない）場合、どのような選択肢がありますか？FFF 更新 明確化が要求されているので、これらのMITノートから"経験的ブートストラップ"とは、以下の手順を参照：彼らコンピュート及びδ 2 = （θ * - θ）1 - α / 2とθ *のブートストラップ推定値をθとθのフルサンプル推計θδ1=(θ^∗−θ^)α/2δ1=(θ^∗−θ^)α/2\delta_1 = (\hat{\theta}^{*}-\hat{\theta})_{\alpha/2}δ2=(θ^∗−θ^)1−α/2δ2=(θ^∗−θ^)1−α/2\delta_2 = (\hat{\theta}^{*}-\hat{\theta})_{1-\alpha/2}θ^∗θ^∗\hat{\theta}^{*}θθ\thetaθ^θ^\hat{\theta}θθ\theta、得られた推定された信頼区間は次のようになり[θ^−δ2,θ^−δ1][θ^−δ2,θ^−δ1][\hat{\theta}-\delta_2, \hat{\theta} - \delta_1]。 本質的には、主なアイデアは、このです：経験的ブートストラップは、点推定値と実際のパラメータとの差に比例量を推定し、すなわちθ^−θθ^−θ\hat{\theta}-\theta、下部及び上部のCIの境界を思い付くこの違いを使用しています。 "パーセンタイルブートストラップ"は以下を意味する：使用の信頼区間としてθ。この状況では、ブートストラップを使用して関心のあるパラメーターの推定値を計算し、信頼区間のこれらの推定値のパーセンタイルを取得します。[θ^∗α/2,θ^∗1−α/2][θ^α/2∗,θ^1−α/2∗][\hat{\theta}^*_{\alpha/2}, \hat{\theta}^*_{1-\alpha/2}]θθ\theta

31 confidence-interval  bootstrap 

ブートストラップは推定器のバイアスの推定値を提供できるとしばしば主張されます。 もしいくつかの統計の推定値であり、そして（とブートストラップ複製である）、次いで、バイアスのブートストラップ推定値である これは非常にシンプルで強力なようで、不安にさせるほどです。 〜T II∈{1、⋯、N}BIAST≈1t^t^\hat tt~it~i\tilde t_ii∈{1,⋯,N}i∈{1,⋯,N}i\in\{1,\cdots,N\}biast≈1N∑it~i−t^biast≈1N∑it~i−t^\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i-\hat t \end{equation} 統計の偏りのない推定器をすでに持っていなければ、これがどのように可能かを頭に浮かぶことはできません。たとえば、推定値が観測値に依存しない定数を単に返す場合、上記のバイアスの推定値は明らかに無効です。 この例は病理学的ですが、ブートストラップの推定値が妥当であることを保証する推定器と分布についての合理的な仮定は何なのかわかりません。 正式な参考文献を読んでみましたが、私は統計学者でも数学者でもないので、何も明らかにされませんでした。 推定値がいつ有効になると予想されるかについて、だれでも概要を提供できますか？あなたが主題に関する良い参考文献を知っているなら、それも素晴らしいでしょう。 編集： 推定器の滑らかさは、ブートストラップが機能するための要件としてしばしば引用されます。変換のローカルな可逆性が必要なこともありますか？定数マップは明らかにそれを満たしていません。

31 bootstrap  bias 

対数正規分布などの非常に歪んだ分布では、正確なブートストラップ信頼区間が得られません。これは、Rでどのブートストラップ方法を試しても、左右のテール領域が理想的な0.025から遠く離れていることを示す例です。 require(boot) n <- 25 B <- 1000 nsim <- 1000 set.seed(1) which <- c('basic', 'perc', 'norm', 'bca', 'stud') mul <- 0; sdl <- 1.65 # on log scale dist <- c('normal', 'lognormal')[2] switch(dist, normal = {g <- function(x) x; mu <- mul}, lognormal = {g <- exp; mu <- …

30 confidence-interval  nonparametric  mean  bootstrap  median 

1つの平均の仮説をテストするためのブートストラップ法に関する原稿があり、それを出版のために送りたいのですが、道徳的なジレンマがあります。私はエルゼビアの非倫理的なビジネス慣行に対する抗議に署名しました。問題全体を読んで、他の営利の学術雑誌の倫理に疑問を投げかけました。そのため、名声に関する限り、そのようなジャーナルはまだ確立されているジャーナルと同等ではないと理解しているにもかかわらず、非営利、できればオープンソースのジャーナルに掲載したいと思います。幸いなことに、私はすでに終身在職権を持っているので、それは私にとって大きな考慮事項ではありません。 推奨事項をいただければ幸いです。

30 hypothesis-testing  bootstrap  journals 

パラメータをブートストラップして標準エラーを取得すると、パラメータの分布が得られます。取得しようとしているパラメーターの結果または推定値として、その分布の平均を使用しないのはなぜですか？分布は実際の分布に近似すべきではありませんか？したがって、「実際の」値の適切な推定値を取得できますか？それでも、サンプルから取得した元のパラメーターを報告します。何故ですか？ ありがとう

30 distributions  bootstrap  standard-error  expected-value 

最近ブートストラップを研究した後、私はまだ私を困惑させる概念的な質問を思いつきました： 人口があり、人口属性、つまりを知りたい場合、ここで人口を表すためにを使用します。このは、たとえば平均です。通常、母集団からすべてのデータを取得することはできません。したがって、母集団からサイズサンプルを描画します。簡単にするためにiidサンプルがあると仮定します。次に、推定器を取得します。あなたは利用したいについて推論を行うためにあなたがの変動知っていただきたいと思いますので、 。θ=g(P)θ=g(P)\theta=g(P)PPPθθ\thetaXXXNNNθ^=g(X)θ^=g(X)\hat{\theta}=g(X)θ^θ^\hat{\theta}θθ\thetaθ^θ^\hat{\theta} まず、真のサンプリング分布があります。概念的には、母集団から多くのサンプル（それぞれのサイズが）を描画できます。毎回異なるサンプルを取得するため、毎回実現します。最後に、真の分布を回復することができます。OK、これは少なくとも分布を推定するための概念的なベンチマークです。言い換えると、最終的な目標は、さまざまな方法を使用して真の分布を推定または近似することです。θ^θ^\hat{\theta}NNNθ^=g(X)θ^=g(X)\hat{\theta}=g(X) θθ^θ^\hat{\theta}θ^θ^\hat{\theta}θ^θ^\hat{\theta} さて、質問が来ます。通常、データポイントを含む1つのサンプルのみがあります。次に、このサンプルから何度もリサンプリングすると、ブートストラップ分布が作成されます。私の質問は、このブートストラップ分布はの真のサンプリング分布にどれだけ近いかということです。それを定量化する方法はありますか？XXXNNNθ^θ^\hat{\theta}θ^θ^\hat{\theta}

29 bootstrap  simulation  resampling 

t間隔をブートストラップ間隔と比較し、両方のカバレッジ確率を計算するクラスのデモを行いたいと思いました。歪んだ分布からデータを取得したいのでexp(rnorm(10, 0, 2)) + 1、シフトした対数正規分布からサイズ10のサンプルとしてデータを生成することにしました。1000個のサンプルを描画するスクリプトを作成し、各サンプルについて、1000回の繰り返しに基づいて95％のt間隔と95％のブートストラップパーセンタイル間隔の両方を計算しました。 スクリプトを実行すると、両方の方法の間隔は非常に似ており、両方のカバレッジ確率は50〜60％です。ブートストラップの間隔の方が良いと思ったので驚きました。 私の質問は コードを間違えた？ 間隔の計算を間違えましたか？ ブートストラップ間隔がより良いカバレッジプロパティを持つことを期待することでミスを犯しましたか？ また、この状況でより信頼性の高いCIを構築する方法はありますか？ tCI.total <- 0 bootCI.total <- 0 m <- 10 # sample size true.mean <- exp(2) + 1 for (i in 1:1000){ samp <- exp(rnorm(m,0,2)) + 1 tCI <- mean(samp) + c(1,-1)*qt(0.025,df=9)*sd(samp)/sqrt(10) boot.means <- rep(0,1000) for (j in 1:1000) boot.means[j] …

29 bootstrap  diagnostic 

線形回帰または他の回帰法（k最近傍、回帰木など）から得られたポイント予測の予測間隔を計算するために利用可能なブートストラップ手法はありますか？ どういうわけか、ポイント予測（たとえば、kNN回帰の予測区間を参照）を単にブートストラップするために時々提案される方法は、予測区間ではなく信頼区間を提供していると感じています。 Rの例 # STEP 1: GENERATE DATA set.seed(34345) n <- 100 x <- runif(n) y <- 1 + 0.2*x + rnorm(n) data <- data.frame(x, y) # STEP 2: COMPUTE CLASSIC 95%-PREDICTION INTERVAL fit <- lm(y ~ x) plot(fit) # not shown but looks fine with respect to all relevant …

29 bootstrap  prediction-interval 

「ブート」パッケージを使用して、近似の両側ブートストラップp値を計算しますが、結果はt.testを使用したp値から遠すぎます。Rコードで何が間違っていたかわかりません。誰かが私にこのヒントを教えてください time = c(14,18,11,13,18,17,21,9,16,17,14,15, 12,12,14,13,6,18,14,16,10,7,15,10) group=c(rep(1:2, each=12)) sleep = data.frame(time, group) require(boot) diff = function(d1,i){ d = d1[i,] Mean= tapply(X=d$time, INDEX=d$group, mean) Diff = Mean[1]-Mean[2] Diff } set.seed(1234) b3 = boot(data = sleep, statistic = diff, R = 5000, strata=sleep$group) pvalue = mean(abs(b3$t) > abs(b3$t0)) pvalue 両側のブートストラップp値（pvalue）= 0.4804ですが、t.testの両側p値は0.04342です。両方のp値は約11倍の差があります。これはどのように起こりますか？

28 r  hypothesis-testing  p-value  bootstrap  permutation-test 

GAMを使用すると、残留DFは（コードの最終行）になります。どういう意味ですか？GAMの例を超えて、一般に、自由度の数を整数以外の数にすることはできますか？26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 -1.6217 -0.8971 1.2445 6.0516 (Dispersion Parameter for gaussian family taken to be 6.6717) Null Deviance: 1126.047 on 31 degrees of freedom Residual Deviance: 177.4662 on 26.6 degrees of …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation