タグ付けされた質問 「normality-assumption」

自然界のいくつかの現象が正規分布を持っているかどうかは知りたくありませんが、例えば、Galtonボックスで見られるように、どこかで正規曲線の形状を見ることができるかどうかは知りたくありません。ウィキペディアのこの図を参照してください。 自然では、多くの数学的な形状や曲線が直接見られることに注意してください。たとえば、カタツムリには黄金平均や対数らせんがあります。 最初の素朴な答えは、スキューのない丘がしばしば正規分布に「適合する」かどうかです:-)。

20 distributions  normality-assumption 

私は、観測値が正規分布しているという事実に依存するアルゴリズムに取り組んでおり、この仮定に対するアルゴリズムの堅牢性を経験的にテストしたいと思います。YYY これを行うために、の正規性を徐々に破壊する一連の変換を探していました。たとえば、が正常である場合、歪度および尖度になり、両方を漸進的に増加させる変換シーケンスを見つけると便利です。Y Y = 0 = 3T1（）、… 、Tn（）T1(),…,Tn()T_1(), \dots, T_n()YYYYYY= 0=0= 0= 3=3= 3 私のアイデアは、通常およそ分散されたデータをシミュレートし、そのアルゴリズムをテストすることでした。変換された各データセットT 1（Y ）、… 、T n（y ）のテストアルゴリズムよりも、出力がどの程度変化しているかを確認します。YYYT1(Y),…,Tn(y)T1(Y),…,Tn(y)T_1(Y), \dots, T_n(y) シミュレートされたの分布を制御していないことに注意してください。そのため、正規化を一般化する分布（歪んだ一般化誤差分布など）を使用してシミュレーションできません。YYY

20 data-transformation  normality-assumption  skewness  kurtosis 

精度は次のように定義されます： p = true positives / (true positives + false positives) それは、それを修正しているtrue positivesとfalse positives、精度が1に近づくアプローチ0？ リコールに関する同じ質問： r = true positives / (true positives + false negatives) 現在、これらの値を計算する必要がある統計テストを実装していますが、分母が0である場合があり、この場合にどの値を返すのか迷っています。 PS：不適切なタグをすみません、、およびを使用したいのですがrecall、新しいタグをまだ作成できません。precisionlimit

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

一部の書籍では、中心極限定理が適切に近似するために、サイズ30以上のサンプルサイズが必要であると述べてい。 X¯X¯\bar{X} これはすべてのディストリビューションに十分ではないことを知っています。 サンプルサイズが大きい場合（おそらく100、1000、またはそれ以上）でも、サンプル平均の分布がかなり歪んでいる分布の例をいくつか見たいと思います。 私は以前にそのような例を見たことがあることを知っていますが、どこにあるか思い出せず、見つけることができません。

19 mean  sample-size  normality-assumption  central-limit-theorem 

生物学的な詳細と実験をすべて削除し、目前の問題と統計的に行ったことを引用します。その権利があるかどうか、もしそうでない場合は、どうすればよいかを知りたい。データ（または私の説明）が十分に明確でない場合は、編集して説明を改善します。 サイズおよび 2つのグループ/観測、XおよびYがあるとします。これら2つの観測値の平均が等しいかどうかを知りたいです。私の最初の質問は：Nバツ= 215Nバツ=215N_x=215Ny= 40Ny=40N_y=40 仮定が満たされている場合、ここでパラメトリック2サンプルt検定を使用することは適切ですか？私の理解から、サイズが小さいときに通常適用されるので、これを尋ねますか？ XとYの両方のヒストグラムをプロットしましたが、2標本t検定の仮定の1つである正規分布ではありませんでした。私の混乱は、それらを2つの母集団であると考え、それが正規分布を確認した理由です。しかし、その後、2つのサンプルのt検定を実行しようとしています... これは正しいですか？ 中心極限定理から、サンプリング（母集団のサイズに応じて繰り返しの有無を問わず）を複数回実行し、毎回サンプルの平均を計算すると、ほぼ正規分布になることがわかります。また、このランダム変数の平均は、母平均の適切な推定値になります。そこで、XとYの両方でこれを1000回行うことにし、サンプルを取得し、各サンプルの平均にランダム変数を割り当てました。プロットは非常に正規分布していました。XとYの平均は4.2と15.8（母集団±0.15と同じ）で、分散は0.95と12.11でした。 これらは非常に異なるため（0.95と12.11）、分散が等しくないこれら2つの観測値（それぞれ1000データポイント）でt検定を実行しました。そして、帰無仮説は棄却されました。 これはまったく理にかなっていますか？これは正しい/意味のあるアプローチですか、2サンプルのz検定で十分ですか、それともまったく間違っていますか？ また、念のため（元のXとYで）ノンパラメトリックウィルコクソン検定を実行しましたが、帰無仮説も同様に説得力をもって拒否されました。私の以前の方法がまったく間違っていた場合、統計的な検出力を除いて、ノンパラメトリック検定を行うのが良いと思いますか？ どちらの場合も、平均は大きく異なりました。ただし、どちらかまたは両方のアプローチに問題があるか、まったく間違っているかどうかを知りたい場合はどうすればよいですか？

19 hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem 

エラーをモデル化するときに、なぜガウスの仮定を使用するのでしょうか。でスタンフォード大学のMLコース、教授ンは2つの方法で、基本的にそれを説明します。 数学的に便利です。（最小二乗法に関連しており、疑似逆行列で簡単に解決できます） 中心極限定理により、プロセスに影響を与える多くの潜在的な事実があり、これらの個々の誤差の合計は、平均がゼロの正規分布のように振る舞う傾向があると仮定できます。実際にはそうです。 私は実際に第二部に興味があります。私が知る限り、中央極限定理はiidサンプルに対して機能しますが、基になるサンプルがiidであることを保証することはできません。 誤差のガウス仮定に関する考えはありますか？

17 regression  normality-assumption  pac-learning 

Box and Whiskerプロットの外れ値の標準定義は、範囲外側の点です。ここで、およびは最初の四分位数、データの3番目の四分位数です。 I Q R = Q 3 − Q 1 Q 1 Q 3{ Q 1 − 1.5 IQ R 、Q 3 + 1.5 IQ R }{Q1−1.5IQR,Q3+1.5IQR}\left\{Q1-1.5IQR,Q3+1.5IQR\right\}私Q R = Q 3 − Q 1IQR=Q3−Q1IQR= Q3-Q1Q 1Q1Q1Q 3Q3Q3 この定義の根拠は何ですか？多数のポイントがある場合、完全に正規分布でも外れ値が返されます。 たとえば、次のシーケンスで開始するとします。 xseq<-seq(1-.5^1/4000,.5^1/4000, by = -.00025) このシーケンスにより、4000ポイントのデータのパーセンタイルランキングが作成されます。 qnormこのシリーズの正規性をテストすると、次の結果が得られます。 shapiro.test(qnorm(xseq)) Shapiro-Wilk normality …

17 outliers  normality-assumption  qq-plot  boxplot 

が大きい場合でも、分散の差のF検定が正規分布の仮定に非常に敏感なのはなぜですか？NNN 私はウェブを検索してライブラリーにアクセスしようとしましたが、良い答えはありませんでした。このテストは、正規分布の仮定の違反に対して非常に敏感であると言っていますが、その理由はわかりません。誰かがこれに対して良い答えを持っていますか？

16 normality-assumption  f-test 

統計を習得しようとしているのは、統計があまりにも普及しているため、適切に理解しなければ、いくつかのことを学ぶことができないからです。サンプル平均のサンプリング分布のこの概念を理解するのに苦労しています。一部の書籍やサイトで説明されている方法がわかりません。私は理解していると思いますが、正しいかどうかはわかりません。以下はそれを理解しようとする私の試みです。 正規分布をとる現象について話すとき、それは一般に（常にではないが）母集団に関するものです。 推測統計を使用して、特定の母集団に関する情報を予測したいのですが、すべてのデータがありません。ランダムサンプリングを使用し、サイズnの各サンプルが選択される可能性が等しくなります。 したがって、多くのサンプル、たとえば100を取得すると、これらのサンプルの平均の分布は中心極限定理に従ってほぼ正規になります。サンプル平均の平均は母平均に近似します。 さて、私が理解していないのは、「100人のサンプル...」と表示されることが多いことです。平均の人口を概算するために、100人のサンプルを10から100枚必要としないでしょうか。それとも、十分な大きさの単一のサンプル（たとえば1000）を取得し、その平均が母平均に近似すると言うことができるのでしょうか？または、1000人のサンプルを取得してから、元の1000人のサンプルから各サンプルの100人のランダムなサンプルを100個取得し、それを近似値として使用しますか？ （ほぼ）平均を近似するのに十分な大きさのサンプルを取得することは常に機能しますか？これが機能するためには、人口も正常である必要がありますか？

16 distributions  normal-distribution  sampling  normality-assumption 

反復測定ANOVAの正規性の仮定について混乱しています。具体的には、どのような正常性を正確に満たす必要があるのか​​と思っています。CVに関する文献と回答を読んで、この仮定の3つの明確な文言に出会いました。 各（繰り返し）条件内の従属変数は、正規分布する必要があります。 rANOVAにはANOVAと同じ仮定に加えて球形性があるとよく言われます。これは、FieldのDiscovering統計と、Wikipediaの主題とLowryのテキストに関する記事の主張です。 残差（考えられるすべてのペア間の差？）は正規分布である必要があります。 私は、CV（上の複数回答でこの文を見つけました1、2）。rANOVAと対になったt検定との類推により、これも直感的に見えるかもしれません。 多変量正規性を満たす必要があります。 ウィキペディアとこのソースはこれに言及しています。また、rANOVAはMANOVA と交換できることを知っています。これはこの主張に値するかもしれません。 これらは何とか同等ですか？私はそれをその多変量正規の手段を知っているすべての私が正しく、後者を理解している場合3.自然に2が含まれるので、のDVの線形結合が正常に配布されます。 これらが同じでない場合、rANOVAの「真の」仮定はどれですか。参照を提供できますか？ 私には、最初の主張に対する支持がほとんどあるようです。ただし、これは通常ここで提供される回答と一致していません。 線形混合モデル @utobiのヒントにより、rANOVAを線形混合モデルとして再表現する方法を理解できました。具体的には、経時的モデル方法血圧変化に、私は期待値をモデル化することになる： Y 、I 、Jの血圧の測定値であるが、私の平均血i番目の被験者の圧力、およびi番目の被験者が測定されたj番目の時間としてのt i j、b iE[yij]=ai+bitij,E[yij]=ai+bitij, \mathrm{E}\left[y_{ij}\right]=a_{i}+b_i t_{ij}, yijyijy_{ij}aiaia_{i}iiitijtijt_{ij}jjjiiibibib_i血圧の変化も被験者間で異なることを示しています。被験者のサンプルは母集団のランダムなサブセットにすぎないため、両方の効果はランダムと見なされます。 最後に、私はこれが正常性にとって何を意味するか考えようとしましたが、ほとんど成功しませんでした。McCulloch and Searle（2001、p。35. Eq。（2.14））を言い換えると： E[yij|ai]yij|aiai=ai∼indep. N(ai,σ2)∼i.i.d. N(a,σ2a)E[yij|ai]=aiyij|ai∼indep. N(ai,σ2)ai∼i.i.d. N(a,σa2)\begin{align} \mathrm{E}\left[y_{ij}|a_i\right] &= a_i \\[5pt] y_{ij}|a_i &\sim \mathrm{indep.}\ \mathcal{N}(a_i,\sigma^2) \\[5pt] a_i &\sim \mathrm{i.i.d.}\ \mathcal{N}(a,\sigma_a^2) \end{align} 私はこれを意味すると理解しています 4.各個人のデータは正規に配布する必要がありますが、これは少数の時点でテストするのは不合理です。 私はそれを意味する3番目の表現を取ります 5.個々の被験者の平均は通常分布しています。これらは、上記の3つに加えて別の2つの異なる可能性があることに注意してください。 McCulloch、CE＆Searle、SR（2001）。一般化モデル、線形モデル、および混合モデル。ニューヨーク：John …

15 anova  repeated-measures  assumptions  normality-assumption 

線形モデルの残差に対してShapiro WilkのW検定とKolmogorov-Smirnov検定を実行して、正規性を確認したいと思います。私はこれにどの残差を使用すべきかと思っていました-生の残差、ピアソンの残差、スチューデント化された残差、または標準化された残差？Shapiro-WilkのW検定の場合、生およびピアソンの残差の結果は同一であるように見えますが、他の結果はそうではありません。 fit=lm(mpg ~ 1 + hp + wt, data=mtcars) res1=residuals(fit,type="response") res2=residuals(fit,type="pearson") res3=rstudent(fit) res4=rstandard(fit) shapiro.test(res1) # W = 0.9279, p-value = 0.03427 shapiro.test(res2) # W = 0.9279, p-value = 0.03427 shapiro.test(res3) # W = 0.9058, p-value = 0.008722 shapiro.test(res4) # W = 0.9205, p-value = 0.02143 KSについても同じ質問です。また、次のように残差を正規分布（pnorm）に対してテストする必要があるかどうか ks.test(res1, "pnorm") # …

13 r  regression  residuals  normality-assumption  lm 

私はを使用してモデルのチューニングを行ってきましたがcaret、gbmパッケージを使用してモデルを再実行しています。caretパッケージが使用gbmし、出力が同じである必要があることは私の理解です。ただし、を使用した簡単なテスト実行でdata(iris)は、評価指標としてRMSEとR ^ 2を使用したモデルで約5％の不一致が示されています。を使用して最適なモデルのパフォーマンスを見つけたいが、部分的な依存関係プロットを利用するためにcaret再実行しgbmます。再現性のために以下のコード。 私の質問は次のとおりです。 1）これらの2つのパッケージは同じであっても違いがあるのはなぜですか（確率的ですが、5％がやや大きな違いであることがわかります。特に、次のような素晴らしいデータセットを使用していない場合 iris、モデリングの） 。 2）両方のパッケージを使用する利点または欠点はありますか？ 3）無関係：irisデータセットを使用した場合、最適な値interaction.depthは5ですが、読み取り値が最大値floor(sqrt(ncol(iris)))である2 を超えるはずです。これは厳密な経験則ですか、それとも非常に柔軟ですか。 library(caret) library(gbm) library(hydroGOF) library(Metrics) data(iris) # Using caret caretGrid <- expand.grid(interaction.depth=c(1, 3, 5), n.trees = (0:50)*50, shrinkage=c(0.01, 0.001), n.minobsinnode=10) metric <- "RMSE" trainControl <- trainControl(method="cv", number=10) set.seed(99) gbm.caret <- train(Sepal.Length ~ ., data=iris, distribution="gaussian", method="gbm", trControl=trainControl, verbose=FALSE, tuneGrid=caretGrid, metric=metric, bag.fraction=0.75) …

12 r  caret  gbm  matrix  linear-algebra  logistic  modeling  logit  ordered-logit  r  confidence-interval  survival  population  weibull  classification  separation  hypothesis-testing  correlation  statistical-significance  p-value  python  r  data-visualization  r  regression  multiple-regression  chi-squared  multivariate-analysis  distributions  random-variable  experiment-design  distributions  poisson-regression  residuals  excel  time-series  garch  var  survival  modeling  cox-model  interaction  r  pca  normality-assumption 

Kutnerらによる線形統計モデルの適用。ANOVAモデルの正規性の仮定から、次に関する逸脱を述べている：誤差分布の尖度は、（どちらか多かれ少なかれ、正規分布よりもピークに達した）推論への影響の点では分布の歪度よりも重要です。 私はこの声明に少し戸惑っていて、本やオンラインで関連情報を見つけることができませんでした。裾が重いQQプロットは線形回帰モデルにとって正規性の仮定が「十分」であることを示すのに対し、歪んだQQプロットはより重要である（つまり、変換が適切である）こともわかったため、混乱しています。 同じ推論がANOVAにも当てはまり、それらの単語の選択（推論への影響の観点からより重要）が不適切に選択されただけであることは正しいですか？つまり、歪んだ分布はより深刻な結果をもたらすため、避ける必要がありますが、少量の尖度は許容できる場合があります。 編集：rolando2によって扱われるように、すべての場合において一方が他方よりも重要であると述べることは困難ですが、私は単に一般的な洞察を探しています。私の主な問題は、単純な線形回帰では、F検定がこれに対して非常にロバストであるため、より重いテール（尖度？）を持つQQプロットはOKであることを教えられたことです。一方、歪んだQQプロット（放物線形状）は通常、大きな懸念事項です。これは、ANOVAモデルを回帰モデルに変換でき、同じ仮定を持つ必要があるにもかかわらず、私の教科書がANOVAに提供するガイドラインに直接反するようです。 私は何かを見落としているか、または誤った仮定を持っていると確信していますが、それが何であるかを理解することはできません。

12 anova  normality-assumption  skewness  kurtosis 

ブートストラップCI（およびバーティキュラーのBCa）が通常の分散データに対してどのように機能するのか疑問に思っていました。さまざまなタイプのディストリビューションでのパフォーマンスを調査する多くの作業があるようですが、通常の分布データでは何も見つかりませんでした。最初に勉強するのは明らかなことのように思えるので、私は論文が古すぎると思います。 Rブートパッケージを使用していくつかのモンテカルロシミュレーションを行ったところ、ブートストラップCIは正確なCIと一致していることがわかりましたが、小さなサンプル（N <20）の場合、少し寛大な（小さなCI）傾向があります。サンプルが十分に大きい場合、それらは本質的に同じです。 これは、ブートストラップを常に使用しない理由があるのではないかと思います。分布が正常であるかどうかの評価の難しさ、およびこの背後にある多くの落とし穴を考えると、分布に関係なくブートストラップCIを決定および報告しないことは理にかなっています。ノンパラメトリックテストは電力が少ないため、体系的に使用しないことの動機を理解していますが、シミュレーションではブートストラップCIの場合はそうではないことがわかります。彼らはさらに小さいです。 私を悩ませる同様の質問は、なぜ中心傾向の尺度として中央値を常に使用しないのかということです。多くの場合、非正規分布データの特性評価に使用することをお勧めしますが、中央値は正規分布データの平均と同じなので、なぜ区別するのですか？分布が正規であるかどうかを決定する手順を取り除くことができれば、非常に有益と思われます。 これらの問題についてのあなたの考えと、それらが以前に議論されたかどうかについて、私は非常に興味があります。参考文献をいただければ幸いです。 ありがとう！ ピエール

12 confidence-interval  bootstrap  normality-assumption  resampling 

非常に大きなデータセットがあり、約5％のランダムな値が欠落しています。これらの変数は互いに相関しています。次のRデータセットの例は、ダミーの相関データを使用した単なるおもちゃの例です。 set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, sep ="") rownames(xmat) <- paste("sample", 1:200, sep = "") #M variables are correlated N <- 2000000*0.05 # 5% random missing values inds <- round ( runif(N, 1, length(xmat)) …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf