タグ付けされた質問 「hypothesis-testing」

私は3つのカテゴリでカイ二乗適合度（GOF）テストを実施しており、具体的には各カテゴリの母集団の割合が等しい（つまり、割合が各グループの1/3である）ヌルをテストします。 観測データ グループ1 グループ2 グループ3 合計 686928 1012 2626 したがって、このGOFテストの場合、予想されるカウントは2626（1/3）= 875.333であり、テストでは<0.0001の非常に有意なp値が得られます。 現在、グループ1が2および3と大きく異なることは明らかであり、2と3が大きく異なることはほとんどありません。ただし、これらすべてを正式にテストし、各ケースにp値を提供できるようにしたい場合、適切な方法は何でしょうか？ 私はオンラインで検索しましたが、意見が異なるようですが、正式な文書はありません。これに対処するテキストまたは査読済みの論文があるかどうか疑問に思っています。 どのような私には合理的と思われることは行うには、重要な全体的なテストの光の中で、あるzの可能性を修正して、割合の各ペアの差を-testsを値（多分ボンフェローニ、例えば）。αα\alpha

16 hypothesis-testing  chi-squared  goodness-of-fit  post-hoc 

サンプリングがIID（独立および同一分散）であることをどのようにテストまたはチェックしますか？ガウス分布および同一分布を意味するのではなく、単にIIDであることに注意してください。 そして、思い浮かぶのは、サンプルを同じサイズの2つのサブサンプルに繰り返し分割し、Kolmogorov-Smirnov検定を実行して、p値の分布が均一であることを確認することです。 そのアプローチに関するコメント、および提案を歓迎します。 バウンティを開始した後の明確化： 非時系列データに適用できる一般的なテストを探しています。

16 hypothesis-testing  independence  kolmogorov-smirnov  resampling  iid 

私は薬理学者であり、私の経験では、基本的な生物医学研究のほとんどすべての論文で、スチューデントのt検定を使用しています（推論をサポートするため、または期待に準拠するために...）。数年前、スチューデントのt検定は使用できる最も効率的なテストではないことに気付きました：順次テストでは、あらゆるサンプルサイズでより大きな検出力、または同等の検出力で平均してはるかに小さなサンプルサイズが得られます。 さまざまな複雑さの連続手順が臨床研究で使用されていますが、基本的な生物医学研究の出版物で使用されている手順を見たことはありません。私は、彼らが最も基本的な科学者が見そうなすべての入門レベルの統計教科書にも欠席していることに注意します。 私の質問は3つあります。 順次テストの非常に大きな効率の利点を考えると、なぜより広く使用されないのですか？ 非統計学者によるそれらの使用が推奨されないことを意味する逐次的方法の使用に関連する欠点はありますか？ 統計の学生は、シーケンシャルなテスト手順について教えられていますか？

16 hypothesis-testing  teaching  statistical-significance 

コルモゴロフ–スミルノフ分布は、コルモゴロフ–スミルノフ検定から知られています。しかし、それはブラウン橋の最高点の分布でもあります。 これは（私には）明らかではないので、この偶然の直観的な説明をお願いしたいと思います。参照も歓迎します。

16 distributions  hypothesis-testing  mathematical-statistics  stochastic-processes 

計算統計において乱数ジェネレーター（RNG）はどのようにそしてなぜ重要ですか？ 多くの統計的検定のサンプルを選択する際にどちらかの仮説への偏りを避けるためにランダム性が重要であることを理解していますが、乱数ジェネレーターが重要な計算統計の他の領域はありますか？

15 hypothesis-testing  monte-carlo  algorithms  random-generation  computational-statistics 

glm()R を使用して帰無仮説を変更することに興味があります。 例えば： x = rbinom(100, 1, .7) summary(glm(x ~ 1, family = "binomial")) という仮説をテストします。nullを =何らかの任意の値に変更したい場合はどうすればよいですか？ p=0.5p=0.5p = 0.5pppglm() これはprop.test()and でも実行できることはわかっていますが、カテゴリデータに関連するすべての仮説をテストchisq.test()するために使用glm()するアイデアを探求したいと思います。

15 r  hypothesis-testing  generalized-linear-model  chi-squared  offset 

caretR のパッケージを介して勾配ブースティングマシンアルゴリズムを試しています。 小さな大学入学データセットを使用して、次のコードを実行しました。 library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary) grid <- expand.grid(n.trees = seq(5000,1000000,5000), interaction.depth = 2, shrinkage …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

私の背景は主に機械学習であり、ベイジアン仮説検定の意味を学ぼうとしていました。確率のベイジアン解釈に問題はなく、確率的グラフィカルモデルのコンテキストでそれを熟知しています。しかし、私を混乱させているのは、統計的推論の文脈で「仮説」という言葉が意味するものです。 機械学習でよく使われる語彙と、統計や推論で通常使用される語彙について、ほとんど混乱していると思います。 教師あり学習の文脈では、私は通常、仮説を例にそのラベルにマップする予測関数、つまりと考えますh:X→Yh:X→Yh:\mathcal{X} \rightarrow \mathcal{Y}。しかし、私がしているリーディングでは、仮説という用語は同じ意味を持たないように思われます。読んでいる読みの抜粋を貼り付けてみましょう。 注意深く読むと、次のようにも表示されます。 観測データには異なるモデルがあります... 彼らは単語モデルを使用していました。私にとって、モデルという言葉は、特定の予測関数を選択した場合の一連の関数を考えさせてくれます。すなわち、関数の仮説クラス。たとえば、は2次関数の仮説クラス（次数2の多項式）です。ただし、この抽出では同義語として単語モデルと仮説を使用しているように思われます（私にとってはまったく異なる単語です）。Hd2Hd2\mathcal{H_{d2}} 次に、仮説に優先順位を付けることができることに言及します（ベイジアン設定で行うには完全に合理的なことです）： pH(Hm), m={0,1,...,M−1}pH(Hm), m={0,1,...,M−1}p_H(H_m), \ \ \ \ \ m=\{0, 1, ..., M-1 \} また、現在の仮説でデータを特徴付けることができます。 py|H(⋅|Hm), m={0,1,...,M−1}py|H(⋅|Hm), m={0,1,...,M−1}p_{y|H}( \cdot |H_m), \ \ \ \ \ m=\{0, 1, ..., M-1 \} いくつかのデータ（およびBayeのルール）を与えられた現在の信念を更新します。 pH|y(Hm|y), m={0,1,...,M−1}pH|y(Hm|y), m={0,1,...,M−1}p_{H|y}(H_m|y), \ \ \ \ \ m=\{0, 1, ..., …

15 hypothesis-testing 

ユーザーの参加（例：投稿数）に関する、非常に歪んだ（指数分布のように見える）データセットのサンプルがあり、サイズが異なる（ただし200以上）ので、平均を比較したいと思います。そのために、2つのサンプルの対応のないt検定を使用しています（サンプルの分散が異なる場合は、ウェルチ係数を使用したt検定）。私が聞いたように、本当に大きなサンプルの場合、サンプルが正規分布していないことは問題ではありません。 私がやったことを検討している人が、私が使用しているテストは私のデータには適さないと言った。彼らは、t検定を使用する前に私のサンプルをログ変換することを提案しました。 私は初心者なので、研究の質問に「参加指標のログ」で答えるのは本当に混乱しているように思えます。 彼らは間違っていますか？私が間違っている？それらが間違っている場合、私がそれらを引用/表示できる本または科学論文はありますか？私が間違っている場合、どのテストを使用する必要がありますか？

15 hypothesis-testing  t-test  nonparametric  mean  skewness 

片側KSテストを実行することは意味があり、可能ですか？そのようなテストの帰無仮説は何でしょうか？または、KSテストは本質的に両側テストですか？ 私はDの分布を理解するのに役立つ答えから恩恵を受けるでしょう（私はMasseyの1951年の論文で作業しており、たとえばとが差異の上限と下限です経験的CDFの違いの非絶対値の？）D+D+D^{+}D−D−D^{-} 追加の質問：および値はどのようにして取得されますか？私が遭遇している出版物の多くは、、および CDFではなく、テーブル化された値を提示しています。D + D − D n D + D −pppD+D+D^{+}D−D−D^{-}DnDnD_{n}D+D+D^{+}D−D−D^{-} 更新：関連する質問を発見しました。片側コルモゴロフ-スミルノフ検定の帰無仮説は何ですか？、これを書く前に最初のスキャンで見落としていました。

15 hypothesis-testing  goodness-of-fit  kolmogorov-smirnov 

順列テスト（ランダム化テスト、再ランダム化テスト、または正確なテストとも呼ばれます）は非常に便利で、たとえば、必要な正規分布の仮定がt-test満たされていない場合や、ランク付けによる値の変換時に役立ちますノンパラメトリックテストのようにMann-Whitney-U-test、より多くの情報が失われます。ただし、この種の検定を使用する場合、帰無仮説の下でのサンプルの交換可能性の仮定は1つだけの仮定を見落とすべきではありません。coinRパッケージで実装されているようなサンプルが3つ以上ある場合にも、この種のアプローチを適用できることも注目に値します。 この仮定を説明するために、平易な英語で比fig的な言葉や概念的な直観を使ってください。これは、私のような非統計学者の間で見過ごされているこの問題を明確にするのに非常に役立つでしょう。 注： 置換テストの適用が同じ仮定の下で保持または無効にならない場合に言及することは非常に役立ちます。 更新： 私の地区の地元の診療所から無作為に50人の被験者を収集したとします。彼らは、1：1の比率で薬またはプラセボを無作為に割り当てられました。それらはすべてPar1、V1（ベースライン）、V2（3か月後）、およびV3（1年後）のパラメーター1について測定されました。50個の被験者はすべて、機能Aに基づいて2つのグループにサブグループ化できます。Aポジティブ= 20およびAネガティブ=30。これらは、機能Bに基づいて別の2つのグループにサブグループ化することもできます。Bポジティブ= 15およびBネガティブ=35 。今、私はPar1すべての訪問ですべての被験者からの値を持っています。交換可能性の仮定の下で、次のPar1場合に順列検定を使用するレベルを比較でき ますか？-薬物と被験者をV2でプラセボを投与した被験者と比較する ますか？-機能Aの対象とV2の機能Bの対象を比較しますか？ -V2で機能Aを持つ対象とV3で機能Aを持つ対象を比較しますか？ -この比較はどのような状況で無効であり、交換可能性の仮定に違反しますか？

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

Neyman-Pearson補題は、単純なヌルと単純な代替が同じ分布ファミリーに属さない場合に適用できますか？その証拠から、なぜできないのかわかりません。 たとえば、単純なヌルが正規分布であり、単純な代替が指数分布である場合。 尤度比テストは、両方が異なる分布のファミリーに属している場合、複合代替に対して複合ヌルをテストする良い方法ですか？ よろしくお願いします！

15 hypothesis-testing  mathematical-statistics 

文献では、ランダム化と順列という用語は同じ意味で使用されています。多くの著者が「順列（ランダム化）テスト」、またはその逆を述べています。 せいぜい、違いは微妙であり、データに関する想定と引き出すことができる潜在的な結論にあると信じています。私の理解が正しいかどうか、または私が見落としているより深い違いがあるかどうかを確認する必要があります。 順列検定では、基礎となる母集団分布（母集団モデル）からデータがランダムにサンプリングされることを想定しています。これは、置換テストから得られた結論が一般的に母集団からの他のデータに適用可能であることを意味します[3]。 ランダム化テスト（ランダム化モデル）は、「典型的な心理学的研究の信じがたい仮定を落とすことを許します---指定された分布からのランダムサンプリング」[2]。ただし、これは、得られた結論がテストで使用されたサンプルにのみ適用されることを意味します[3]。 確かに、違いは人口の定義に関してのみです。人口を「病気のすべての患者であり、治療に適している」と定義した場合、順列検定はその人口に対して有効です。しかし、人口を治療に適した人口に制限しているため、これは実際に無作為化テストです。 参考資料： [1] Philip Good、順列検定：仮説を検定するための再サンプリング方法の実用的なガイド。 [2] Eugene EdgingtonおよびPatric Onghena、ランダム化テスト。 [3] Michael Ernst、順列法：正確な推論の基礎

15 hypothesis-testing  sampling  terminology  permutation-test 

同じ期間に2つの証券AとBの価格の時系列があり、同じ頻度でサンプリングされています。2つの価格の間に統計的に有意な差があるかどうかをテストしたいと思います（私の帰無仮説は差がヌルであるということです）。具体的には、価格効率を市場効率のプロキシとして使用しています。AとBが証券であり、それらと同等の合成物であると想像してください（つまり、両方ともまったく同じキャッシュフローに対する主張です）。市場が効率的である場合、両方ともまったく同じ価格（異なる取引コストなどを除く）にするか、価格差をゼロにする必要があります。これは私がテストしたいものです。そうするための最良の方法は何ですか？ 私は直感的にABの時系列上、すなわち、「違い」を時系列に両側t検定を実行し、テストのためかもしれません = 0。しかし、ホモロスケスティクスエラーの可能性や外れ値の存在などを考慮した、より堅牢なテストがあるかもしれないという疑いがあります。一般的に、証券の価格を扱う際に注意すべきことはありますか？μ0μ0\mu_0

15 time-series  hypothesis-testing  statistical-significance 

ペアt検定とは何ですか？また、どのような状況でペアt検定を使用する必要がありますか？ペアt検定とペアワイズt検定に違いはありますか？

15 hypothesis-testing  anova  t-test