タグ付けされた質問 「confidence-interval」

値、タイプ1のエラー率、有意水準、検出力の計算、効果の大きさ、およびフィッシャーとネイマンピアソンの議論について読んでいます。これにより、私は少し圧倒されました。テキストの壁をおaびしますが、実際の質問に移る前に、これらの概念の現在の理解の概要を提供する必要があると感じました。ppp 私が収集したものから、値は単に驚きの尺度であり、帰無仮説が真であれば、少なくとも極端な結果が得られる確率です。フィッシャーはもともと、それが継続的な測定であることを意図していた。ppp Neyman-Pearsonフレームワークでは、事前に有意水準を選択し、これを（任意の）カットオフポイントとして使用します。有意水準はタイプ1のエラー率に等しくなります。これは、長時間の実行頻度によって定義されます。つまり、実験を1000回繰り返して帰無仮説が真である場合、それらの実験のうち約50がサンプリングのばらつきのために大きな効果をもたらします。有意水準を選択することにより、一定の確率でこれらの誤検知から身を守ります。値は伝統的にこのフレームワークには現れません。PPP 0.01の値が見つかった場合、これはタイプ1のエラー率が0.01であることを意味するものではなく、タイプ1のエラーは事前に示されます。p値は0.05 *、0.01 **、0.001 ***として報告されることが多いため、これはフィッシャー対NPの議論における主要な議論の1つであると思います。これは、特定の有意値ではなく、特定のp値で効果が有意であると人々を誤解させる可能性があります。ppppppppp また、値がサンプルサイズの関数であることも認識しています。したがって、絶対測定として使用することはできません。小さなp値は、大規模なサンプル実験での小さな、無関係な効果を示している可能性があります。これに対抗するには、実験のサンプルサイズを決定するときに、出力/効果サイズの計算を実行することが重要です。P値は、効果の大きさではなく、効果があるかどうかを示します。Sullivan 2012を参照してください。ppppppPPP 私の質問： p値が驚きの尺度（より小さい=より説得力がある）であると同時に、絶対的な測定値と見なすことができないという事実をどのように調整できますか？ppp 私が混乱しているのは、次のとおりです。小さな値の方が大きな値よりも自信がありますか？漁師の意味では、そうです、私たちはもっと驚いています。NPフレームワークでは、より低い有意水準を選択することは、偽陽性に対してより強力に保護していることを意味します。ppp しかし、一方で、値はサンプルサイズに依存します。それらは絶対的な尺度ではありません。したがって、0.001593が0.0439 より重要であると単純に言うことはできません。しかし、これはフィッシャーのフレームワークで暗示されていることです。このような極端な価値にもっと驚かれることでしょう。用語についても、議論があります非常に重要な誤った名称であること：それは「非常に重要」であるとの結果を参照するために間違ってますか？ppp 一部の科学分野の値は0.0001より小さい場合にのみ重要と見なされるのに対し、他の分野では0.01前後の値はすでに非常に重要であると見なされていると聞きました。ppp 関連する質問： 統計的検定に対するフィッシャーとネイマン・ピアソンのアプローチ間の「ハイブリッド」は、実際には「インコヒーレントなミッシュマッシュ」ですか？ FisherとNeyman-Pearsonフレームワークを使用する場合 「p値」の正確な値は無意味ですか？ タイプIエラーに関連したp値の頻度特性 2つの平均の信頼区間とP値 なぜp値が低いほどnullに対する証拠ではないのですか？Johansson 2011の引数（@amoeba提供）

31 hypothesis-testing  statistical-significance  confidence-interval  p-value  effect-size 

信頼区間と検定統計仮説が強く関連していることはよく知られています。私の質問は、数値変数に基づいた2つのグループの平均の比較に焦点を当てています。このような仮説はt検定を使用してテストされると仮定しましょう。一方、両方のグループの平均の信頼区間を計算できます。信頼区間の重複と平均が等しいという帰無仮説の棄却との間に関係はありますか？（異なることを意味する代替案を支持して-両側検定）たとえば、信頼区間が重ならない場合、検定は帰無仮説を棄却できます。

31 hypothesis-testing  confidence-interval 

私はベイジアン統計に非常に新しいので、これはばかげた質問かもしれません。それでも： 一様分布を指定する事前確率を使用した信頼できる間隔を検討します。たとえば、0から1で、0から1は効果の可能な値の全範囲を表します。この場合、95％の信頼区間は95％の信頼区間に等しいでしょうか？

31 bayesian  confidence-interval  estimation  prior  credible-interval 

確率と統計、（現在利用可能な春2014から18.05入門用MITオープンコースウェア・ノートでは、ここで）、それは述べて： ブートストラップパーセンタイル方式は、そのシンプルさから魅力的です。しかし、それはのブートストラップ分布に依存に基づいて、特定の真の分布によく近似される試料ˉ X。ライスは、「信頼限界を備えたブートストラップサンプリング分布の分位数のこの直接方程式は、最初は魅力的に思えるかもしれませんが、その根拠はやや不明瞭です。」[2]要するに、ブートストラップパーセンタイル方法を使用しないでくださいx¯∗x¯∗\bar{x}^{*}x¯x¯\bar{x}。代わりに経験的ブートストラップを使用します（経験的ブートストラップをパーセンタイルブートストラップと混同しないことを期待して、両方を説明しました）。 [2] John Rice、数学的統計とデータ分析、第2版、p。272 少しオンラインで検索した後、これはパーセンタイルブートストラップを使用すべきではないと明言している唯一の引用です。 Clarke et al。のテキスト「データマイニングと機械学習の原理と理論」から読んだことを思い出します。ブートストラップの主な理由は、その事実であるということです F N1n∑i=1nF^n(x)→pF(x)1n∑i=1nF^n(x)→pF(x)\dfrac{1}{n}\sum_{i=1}^{n}\hat{F}_n(x) \overset{p}{\to} F(x)F^nF^n\hat{F}_n経験CDFです。（これ以上の詳細は思い出せません。） パーセンタイルブートストラップメソッドを使用すべきでないのは本当ですか？もしそうなら、が必ずしも知られていない（つまり、パラメトリックブートストラップを実行するのに十分な情報が利用できない）場合、どのような選択肢がありますか？FFF 更新 明確化が要求されているので、これらのMITノートから"経験的ブートストラップ"とは、以下の手順を参照：彼らコンピュート及びδ 2 = （θ * - θ）1 - α / 2とθ *のブートストラップ推定値をθとθのフルサンプル推計θδ1=(θ^∗−θ^)α/2δ1=(θ^∗−θ^)α/2\delta_1 = (\hat{\theta}^{*}-\hat{\theta})_{\alpha/2}δ2=(θ^∗−θ^)1−α/2δ2=(θ^∗−θ^)1−α/2\delta_2 = (\hat{\theta}^{*}-\hat{\theta})_{1-\alpha/2}θ^∗θ^∗\hat{\theta}^{*}θθ\thetaθ^θ^\hat{\theta}θθ\theta、得られた推定された信頼区間は次のようになり[θ^−δ2,θ^−δ1][θ^−δ2,θ^−δ1][\hat{\theta}-\delta_2, \hat{\theta} - \delta_1]。 本質的には、主なアイデアは、このです：経験的ブートストラップは、点推定値と実際のパラメータとの差に比例量を推定し、すなわちθ^−θθ^−θ\hat{\theta}-\theta、下部及び上部のCIの境界を思い付くこの違いを使用しています。 "パーセンタイルブートストラップ"は以下を意味する：使用の信頼区間としてθ。この状況では、ブートストラップを使用して関心のあるパラメーターの推定値を計算し、信頼区間のこれらの推定値のパーセンタイルを取得します。[θ^∗α/2,θ^∗1−α/2][θ^α/2∗,θ^1−α/2∗][\hat{\theta}^*_{\alpha/2}, \hat{\theta}^*_{1-\alpha/2}]θθ\theta

31 confidence-interval  bootstrap 

私の質問はAndrew Gelmanのブログ投稿のこのコメントから流れています。AndrewGelmanのブログ投稿では、95％の信頼区間の代わりに50％の信頼区間の使用を提唱しています。 次の3つの理由から、50％から95％の間隔が好ましいです。 計算の安定性、 より直感的な評価（50％間隔の半分に真の値を含める必要があります）、 用途では、パラメータと予測値がどこにあるのかを把握することが最善であり、非現実的なほぼ確実性を試みるのではないという意味。 コメント者の考えは、信頼区間の構築の基礎となる仮定に関する問題は、50％CIである場合よりも95％CIである場合により大きな影響を与えると思われる。しかし、彼はその理由を本当に説明していません。 [...]間隔を大きくすると、一般的にモデルの詳細や仮定に敏感になります。たとえば、99.9995％の間隔を正しく識別したとは思わないでしょう。または、少なくともそれが私の直感です。正しい場合、50パーセントが95パーセントよりも適切に推定されるべきであると主張します。それとも、おそらくノイズに関する仮定の影響を受けにくいため、「より堅牢に」推定されるのでしょうか？ 本当ですか？なぜ/なぜないのか？

30 confidence-interval  assumptions  robust 

対数正規分布などの非常に歪んだ分布では、正確なブートストラップ信頼区間が得られません。これは、Rでどのブートストラップ方法を試しても、左右のテール領域が理想的な0.025から遠く離れていることを示す例です。 require(boot) n <- 25 B <- 1000 nsim <- 1000 set.seed(1) which <- c('basic', 'perc', 'norm', 'bca', 'stud') mul <- 0; sdl <- 1.65 # on log scale dist <- c('normal', 'lognormal')[2] switch(dist, normal = {g <- function(x) x; mu <- mul}, lognormal = {g <- exp; mu <- …

30 confidence-interval  nonparametric  mean  bootstrap  median 

私が正しく理解している場合、パラメーターの信頼区間は、指定された割合のサンプルの真の値を含む区間を生成する方法によって構築された区間です。したがって、「信頼」は、特定のサンプルから計算する間隔ではなく、方法に関するものです。 統計のユーザーとして、すべてのサンプルのスペースは仮想的なものであるため、私は常にこれにだまされていると感じています。私が持っているのは1つのサンプルであり、そのサンプルがパラメーターについて教えてくれることを知りたいです。 この判断は間違っていますか？少なくとも状況によっては、統計のユーザーにとって意味のある信頼区間を調べる方法はありますか？ [この質問は、math.seの回答で信頼区間を分析した後の2番目の考えから生じますhttps://math.stackexchange.com/questions/7564/calculating-a-sample-size-based-on-a-confidence-level/7572 ＃7572 ]

30 confidence-interval  interpretation 

次のrコードを使用して、二項比率の信頼区間を推定しました。これは、母集団の病気の検出を見る受信者動作特性曲線設計を設計するときに「電力計算」の代わりになることを理解しているためです。 nは150であり、この病気は人口の25％であると考えられています。私は、75％の感度と90％の特異性の値を計算しました（これは人々がしているように見えるからです）。 binom.test(c(29,9), p=0.75, alternative=c("t"), conf.level=0.95) binom.test(c(100, 12), p=0.90, alternative=c("t"), conf.level=0.95) 私もこのサイトを訪れました： http://statpages.org/confint.html これは、二項信頼区間を計算するJavaページであり、同じ答えを提供します。 とにかく、その長いセットアップの後、なぜ信頼区間が対称ではないのか、たとえば感度が 95 percent confidence interval: 0.5975876 0.8855583 sample estimate probability: 0.7631579 これが馬鹿げた質問であれば申し訳ありませんが、私が見ているどこでも彼らは対称的であると示唆しているようで、私の同僚は彼らもそうだと思っているようです。

30 confidence-interval  binomial 

例で問題を説明します。いくつかの属性（年齢、性別、国、地域、都市）を与えられた個人の収入を予測するとします。あなたはそのようなトレーニングデータセットを持っています train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID Age Gender Income 1 1 1 1 23 M 31 2 1 1 1 48 F 42 3 1 1 2 62 M 71 4 …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

推定の信頼区間を正式に導出している間、値の計算方法に非常によく似た式になりました。ppp したがって、質問：それらは形式的に同等ですか？すなわち仮説拒否され臨界値とと同等臨界値と信頼区間に属さない？H0= 0H0=0H_0 = 0αα\alpha000αα\alpha

29 hypothesis-testing  confidence-interval  p-value 

キャレットを使用して、データセットに対してクロス検証されたランダムフォレストを実行しています。Y変数は要因です。データセットにNaN、Inf、またはNAはありません。ただし、ランダムフォレストを実行すると、 Error in randomForest.default(m, y, ...) : NA/NaN/Inf in foreign function call (arg 1) In addition: There were 28 warnings (use warnings() to see them) Warning messages: 1: In data.matrix(x) : NAs introduced by coercion 2: In data.matrix(x) : NAs introduced by coercion 3: In data.matrix(x) : NAs introduced by …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

仮説検定に関する論争について読んだことがありますが 、一部の解説者は仮説検定を使用すべきではないと示唆しています。一部の解説者は、代わりに信頼区間を使用することを提案しています。 信頼区間と仮説検定の違いは何ですか？参照と例による説明をいただければ幸いです。

28 hypothesis-testing  confidence-interval 

私の問題：主要な結果の非常に右斜めの分布を持つ並行グループ無作為化試験。正規性を前提とせず、正規ベースの95％CIを使用します（1.96 X SEを使用） 中心傾向の尺度を中央値として表現するのは問題ありませんが、私の質問は、2つのグループ間の中央値の差の95％CIをどのように構築するかです。 最初に思い浮かぶのは、ブートストラップです（置換でリサンプリングし、2つのグループそれぞれの中央値を決定し、一方を他方から減算し、1000回繰り返し、バイアス補正済み95％CIを使用します）。これは正しいアプローチですか？他の提案はありますか？

27 confidence-interval  bootstrap  median  clinical-trials 

ペアワイズ統計の事後推論などの多重比較シナリオ、または合計比較を行う多重回帰のようなシナリオがとします。また、信頼区間を使用してこれらの倍数での推論をサポートしたいとします。mmm 1. CIに複数の比較調整を適用しますか？これは、複数の比較がの再定義強要と同じように、あるのいずれかに家族的なエラー率（FWER）または偽発見率（FDR）の意味ない自信（または信頼性1、または不確実性、または予測を、または推測...間隔を選択してください）複数の比較によって同様に変更されますか？ここで否定的な答えをすると、残りの質問が無意味になることがわかります。αα\alpha 2.仮説検定から区間推定への多重比較調整手順の簡単な翻訳はありますか？たとえば、信頼区間内の項の変更に焦点を合わせます：？CIレベルCIレベル\text{CI-level}CIθ= （θ^± t（1 − CIレベル）/ 2σ^θ）CIθ=（θ^±t（1−CIレベル）/ 2σ^θ）\text{CI}_{\theta} = (\hat{\theta} \pm t_{(1-\text{CI-level)/2}}\hat{\sigma}_{\theta}) 3. CIのステップアップまたはステップダウン制御手順にどのように対処しますか？仮説テストアプローチから推論への家族ごとのエラー率調整の一部は、静的なものであり、個々の推論に対してまったく同じ調整が行われます。たとえば、Bonferroniの調整は、拒否基準を以下から変更することにより行われます。 が次の場合に拒否します：P ≤α2p≤α2p\le \frac{\alpha}{2} であれば拒否P ≤ α2mp≤α2mp\le \frac{\frac{\alpha}{2}}{m} しかし、ホルム-ボンフェローニのステップアップ調整は「静的」ではなく、次の方法で行われます。 最初に値を最小から最大に並べ、次にppp 場合、（は値の順序をインデックス付けします）まで拒否しますp ≤ 1 - （1 - α2）1m + 1 − ip≤1−（1−α2）1m+1−私p\le 1 - (1- \frac{\alpha}{2})^{\frac{1}{m+1-i}}私私ippp 帰無仮説を棄却できず、その後のすべての帰無仮説を自動的に棄却できません。 CIで拒否/拒否の失敗は発生しないため（より正式には、以下の参照を参照）、それはステップワイズプロシージャが変換されないことを意味します（つまり、すべてのFDRメソッドを含む）。ここで、CIを仮説検定に変換する方法を尋ねていないことに注意する必要があります（以下に引用する「視覚的仮説検定」の代表者は、その重要な質問に答えます）。 4. 1で括弧で言及した他の間隔についてはどうですか？ 1まあ、この言葉をここで使うことで、甘くて甘いベイジアンスタイルのロッキンに悩まされないことを願っています。:) 参照 Afshartous、D.およびPreston、R.（2010）。依存データの信頼区間：統計的有意性のある非重複の等化。計算統計とデータ分析、54（10）：2296-2305。 カミング、G。（2009）。目による推論：独立した信頼区間の重複を読み取ります。Statistics In Medicine、28（2）：205–220。 …

26 confidence-interval  multiple-comparisons  inference 

私はWaekmakersのWebサイトからダウンロードした、「信頼区間のロバストな誤解」に関するHoekstraらの2014年の論文を読んでいます。 最後から2番目のページに次の画像が表示されます。 著者によると、Falseはこれらすべてのステートメントに対する正しい答えです。陳述が偽である理由はよくわかりませんが、私が知る限り、残りの論文ではこれを説明しようとはしていません。 1-2と4は、真の平均が未知の明確な値を持っているときに、真の平均の可能性のある値について何かを主張するため、正しくないと思います。これは説得力のある違いですか？ 3に関して、私は帰無仮説が間違っている可能性について主張するつもりはないことを理解していますが、その理由はあまりわかりません。 同様に、6は、真の平均が実験ごとに変化していることを意味するため、真ではありえません。 私がまったく理解していないのは5です。なぜそれが間違っているのですか？95％の時間で真の平均を含むCIを生成するプロセスがある場合、人口値が0.1から0.4の間である95％の信頼性があると言わないのはなぜですか？真の平均値を含まない5％の1つである可能性が高いと思わせる、採取したサンプルに関する特別な情報がある可能性があるからでしょうか。たとえば、0.13は信頼区間に含まれており、何らかの理由で、特定の研究のコンテキスト内では0.13は妥当な値とは見なされません。たとえば、その値は以前の理論と矛盾するためです。 とにかく、この文脈で自信は何を意味しますか？

26 hypothesis-testing  confidence-interval