タグ付けされた質問 「normality-assumption」

自然界における正規分布の重要性については多くのことが言われてきました。身長や体重のような多くの測定値は、ほぼ正常に分布しています。しかし、私が理解している限り、それらのどれも正確に正常ではありません。 正規分布は最大エントロピー分布の 1つであることを考えると、自然が「好き」であるべきだと考えられます。しかし、いくつか考えた結果、「本当に」通常の確率変数の例を思い付くことができませんでした。 私の質問は、そこに正確に正規分布された確率変数の良い例は何ですか？

9 normal-distribution  normality-assumption 

t検定の場合、ほとんどのテキストによれば、母集団データは正規分布しているという仮定があります。なぜだかわかりません。t検定は、標本平均の標本分布が母集団ではなく正規分布であることのみを要求しませんか？ t検定が最終的にサンプリング分布の正規性のみを必要とする場合は、母集団は任意の分布のように見えますか？適切なサンプルサイズがある限り。それは中心極限定理が述べていることではありませんか？ （ここでは1標本または独立標本のt検定を参照しています）

9 hypothesis-testing  t-test  assumptions  normality-assumption  central-limit-theorem 

私は現在、ピアソン相関の仮定について読んでいます。次のt検定の重要な仮定は、両方の変数が正規分布に由来することです。そうでない場合は、Spearman rhoなどの代替手段の使用が推奨されます。スピアマン相関はピアソン相関のように計算され、XとY自体の代わりにXとYのランクを使用するだけですよね？ 私の質問は、ピアソン相関への入力変数を正規分布する必要がある場合、入力変数がランクであるにもかかわらず、スピアマン相関の計算が有効なのはなぜですか？私のランクは確かに正規分布からのものではありません... これまでに出てきた唯一の説明は、ローの有意性はピアソン相関t検定のそれとは異なる方法で検定される可能性があることです（正規性を必要としない方法で）が、これまでのところ式は見つかりませんでした。ただし、いくつかの例を実行した場合、rhoおよびランクのピアソン相関のt検定のp値は常に一致し、最後の数桁を除いて保存します。私にとって、これは画期的に異なる手順のようには見えません。 あなたが持っているかもしれないどんな説明やアイデアもいただければ幸いです！

9 correlation  normality-assumption  spearman-rho  ranks 

Rのさまざまなサンプルサイズでの正規性検定の精度を評価したい（正規性検定が誤解を招く可能性があることを理解しています）。たとえば、Shapiro-Wilkテストを確認するために、次のシミュレーション（および結果のプロット）を実行しています。サンプルサイズが増加すると、nullを拒否する確率が減少すると予想されます。 n <- 1000 pvalue_mat <- matrix(NA, ncol = 1, nrow = n) for(i in 10:n){ x1 <- rnorm(i, mean = 0, sd = 1) pvalue_mat[i,] <- shapiro.test(x1)$p.value } plot(pvalue_mat) 私の考えでは、サンプルサイズが大きくなると、拒否率は低くなるはずですが、かなり均一に見えます。私はこれを誤解していると思います-どんな考えでも歓迎します。

9 r  simulation  power-analysis  normality-assumption 

そのため、ハミング距離を使用して生体認証特性から個人を認証しようとしている16のトライアルがあります。しきい値は3.5に設定されています。私のデータは以下であり、トライアル1のみが真陽性です。 Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 10 0.45 11 0.42 12 0.37 13 0.66 14 0.39 15 0.44 16 0.39 私の混乱のポイントは、このデータからROC曲線（FPR対TPR OR FAR対FRR）を作成する方法が本当にわからないということです。どちらでもかまいませんが、どうやって計算するのか混乱しています。任意の助けいただければ幸いです。

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

自然界で発生する量の多くは正規分布していると聞いています。これは通常、中心極限定理を使用して正当化されます。これは、多数のiid確率変数を平均化すると正規分布になることを示しています。したがって、たとえば、遺伝子値はiid確率変数のように振る舞う可能性があるため、多数の遺伝子の相加効果によって決定される特性は、ほぼ正規分布する可能性があります。 ここで私を混乱させるのは、正規分布であるという特性は、単調変換では明らかに不変ではないということです。したがって、単調変換に関連するものを測定する方法が2つある場合、両方が正規分布している可能性は低いです（単調変換が線形でない限り）。たとえば、雨滴のサイズを直径、表面積、または体積で測定できます。すべての雨滴について同様の形状を想定すると、表面積は直径の2乗に比例し、体積は直径の3乗に比例します。したがって、これらすべての測定方法を正規分布させることはできません。 したがって、私の質問は、分布が正規になる特定のスケーリング方法（つまり、単調変換の特定の選択）が物理的な意味を持つ必要があるかどうかです。たとえば、高さは正規分布か、高さの2乗か、高さの対数か、高さの平方根か？高さに影響を与えるプロセスを理解することによってその質問に答える方法はありますか？

9 data-transformation  normality-assumption 

正規性チェックは、連続データ（比率、測定の間隔レベル）のみに使用し、カテゴリーデータ（名義、順序）には使用しないでください。 カテゴリカルデータの正常性を確認する方法はありますか？

9 assumptions  normality-assumption 

2つのクラスとw 2が既知のパラメーター（それらの平均として、と、はそれらの共分散）を持つ正規分布を持っている場合、それらのベイズ分類器の誤差を理論的にどのように計算できますか？w1w1w_1w2w2w_2M 2 Σ 1 Σ 2M1M1M_1M2M2M_2Σ1Σ1\Sigma_1Σ2Σ2\Sigma_2 また、変数がN次元空間にあるとします。 注：この質問のコピーはhttps://math.stackexchange.com/q/11891/4051からも入手できますが、未回答です。これらの質問のいずれかが回答されると、他の質問は削除されます。

9 probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier 

構造方程式モデルでは、ML推定器がよく使用されます。変数が多変量正規ではない場合、MLを使用できますか？ 多くの場合、使用できるインジケーターは多変量正規ではありません。その場合の対処方法がわかりません。

8 maximum-likelihood  sem  normality-assumption  multivariate-normal 

2つの条件があり、2つの条件のサンプルサイズが非常に小さいとします。最初の条件で14個の観測しかなく、他の11個の観測があるとしましょう。t検定を使用して、平均差が互いに有意に異なるかどうかを検定します。 最初に、t検定の正規性の仮定について少し混乱しています。そのため、完全にブートストラップを取得できません。t検定の前提は、（A）データが正規母集団からサンプリングされている、または（B）サンプル分布がガウス特性を持っているということですか？（B）の場合、それは実際には仮定ではありませんよね？データのヒストグラムをプロットして、それが正常かどうかを確認できます。サンプルサイズが小さい場合でも、サンプル分布が正常かどうかを確認するのに十分なデータポイントがありません。 これがブートストラップの出番だと思います。ブートストラップを実行して、サンプルが正常かどうかを確認できますよね？最初、ブートストラップは常に正規分布になると思っていましたが、そうではありません（ブートストラップリサンプリングを使用して、データセットの分散の信頼区間を計算できますか？ statexchange statexchange）。したがって、ブートストラップを行う理由の1つは、サンプルデータの正規性をより確実にすることです。 この時点で私は完全に混乱します。Rでt.test関数を使用してt検定を実行し、ブートストラップされたサンプルベクトルを2つの独立したサンプルとして配置した場合、t値は非常に重要になります。ブートストラップt検定を正しく行っていませんか？すべてのブートストラップが実行しているため、t値を大きくするだけなので、すべてのケースでこれが発生するのではないでしょうか。ブートストラップされたサンプルに対してt検定を実行しませんか？ 最後に、ブートストラップで信頼区間を計算することと、元のサンプルで信頼区間を計算することの利点は何ですか？これらの信頼区間から、元のサンプルデータの信頼区間では何がわかりませんか？ （A）ブートストラップを使用するとt値がより重要になる理由がわからない（B）独立したサンプルのt検定を実行するときにブートストラップを使用する正しい方法がわからない、（C）わからない独立したt検定の状況でのブートストラップの正当化、実行、および結果を報告する方法。

8 confidence-interval  t-test  bootstrap  normality-assumption  reporting 

私が正しく理解している場合、線形判別分析（LDA）は、最適性基準のすべてのクラスについて、正規分布データ、独立特徴、および同一の共分散を想定しています。 平均と分散はトレーニングデータから推定されるため、既に違反ではありませんか？ 記事に引用文を見つけました（Li、Tao、Shenghuo Zhu、Mitsunori Ogihara。「判別分析を使用したマルチクラス分類：実験的調査」。Knowledgeand Information Systems 10、no。4（2006）：453–72 。） 「線形判別分析は、グループ間の共通の共分散行列と正常性の仮定に違反することが多いにもかかわらず、顔と物体の認識のタスクで優れたパフォーマンスを頻繁に達成します（Duda、et al。、2001）」 -残念ながら、Duda et。に対応するセクションが見つかりませんでした。al。「パターン分類」。 次元削減のコンテキストで非通常のデータにLDA（vs.正則化LDAまたはQDA）を使用することについての経験または考えはありますか？

8 dimensionality-reduction  normality-assumption  discriminant-analysis 

現在のプロジェクトでは、特定のグループの行動を予測するモデルを構築する必要があるかもしれません。トレーニングデータセットには6つの変数のみが含まれます（idは識別目的のみです）。 id, age, income, gender, job category, monthly spend その中で monthly spend応答変数です。ただし、トレーニングデータセットには約300万行が含まれid, age, income, gender, job category、予測されるデータセット（応答変数は含まれるが、含まれない）には100万行が含まれます。私の質問は、統計モデルにあまりにも多くの行（この場合は300万行）を投げた場合に潜在的な問題はありますか？計算コストが懸念事項の1つであることを理解していますが、他に懸念事項はありますか？データセットのサイズの問題を完全に説明している本/紙はありますか？

8 modeling  large-data  overfitting  clustering  algorithms  error  spatial  r  regression  predictive-models  linear-model  average  measurement-error  weighted-mean  error-propagation  python  standard-error  weighted-regression  hypothesis-testing  time-series  machine-learning  self-study  arima  regression  correlation  anova  statistical-significance  excel  r  regression  distributions  statistical-significance  contingency-tables  regression  optimization  measurement-error  loss-functions  image-processing  java  panel-data  probability  conditional-probability  r  lme4-nlme  model-comparison  time-series  probability  probability  conditional-probability  logistic  multiple-regression  model-selection  r  regression  model-based-clustering  svm  feature-selection  feature-construction  time-series  forecasting  stationarity  r  distributions  bootstrap  r  distributions  estimation  maximum-likelihood  garch  references  probability  conditional-probability  regression  logistic  regression-coefficients  model-comparison  confidence-interval  r  regression  r  generalized-linear-model  outliers  robust  regression  classification  categorical-data  r  association-rules  machine-learning  distributions  posterior  likelihood  r  hypothesis-testing  normality-assumption  missing-data  convergence  expectation-maximization  regression  self-study  categorical-data  regression  simulation  regression  self-study  self-study  gamma-distribution  modeling  microarray  synthetic-data 

研究デザイン：海面上昇に関するいくつかの情報を参加者に示し、時間スケールと潜在的な上昇の大きさの両方の観点から、さまざまな方法で情報に焦点を合わせました。したがって、2（時間：2050または2100）x 2（マグニチュード：中または高）のデザインがありました。情報を受け取らなかった2つのコントロールグループもあり、私のDVへの質問に答えるだけでした。 質問： 私は常にセル内の正規性をチェックしました。このデザインの2x2の部分では、4つのグループ内の正規性を探すことになります。ただし、ここでいくつかの議論を読んだことで、自分の方法を2番目に推測してしまいました。 最初に、私は残差の正規性を見なければならないことを読みました。（SPSSまたはその他の場所で）残差の正規性を確認するにはどうすればよいですか？4つのグループ（コントロールを含めて6つ）ごとにこれを行う必要がありますか？ また、グループ内の正規性は残差の正規性を意味することも読みました。これは本当ですか？（文献参照）繰り返しますが、これは4つのセルのそれぞれを個別に見ることを意味しますか？ つまり、（2x2）データが正常性の仮定に違反していないかどうかを判断するためにどのような手順を実行しますか？ たとえ私を正しい方向に向けるだけであっても、参照は常に高く評価されています。

8 anova  spss  residuals  assumptions  normality-assumption 

環境： 構造方程式モデリングのコンテキスト内では、マルディア検定によると非正規性がありますが、歪度と尖度の1変量インデックスは2.0未満です。 質問： パラメータ推定（係数推定）は、バイアス補正された方法でブートストラップ（1000反復）を使用して評価する必要がありますか？ 従来のカイ2乗検定の代わりに、Bollen-Stineブートストラップバージョンを使用する必要がありますか？

8 bootstrap  normality-assumption  sem 

十分に大きなサンプルサイズがわずかな非正規性を強調する正規性テストの誤用を避けたいです。分布は「十分に正常」であると言えるようにしたいと思います。 母集団が非正規の場合、サンプルサイズが増加するにつれて、Shapiro-Wilk検定のp値は0になる傾向があります。p値は、分布が「十分に正規」であるかどうかを判断するのに役立ちません。 解決策は、非正規性の効果サイズを測定し、しきい値よりも非正規性であるものはすべて拒否することだと思います。 Shapiro Wilk検定は検定統計量生成し。これは非正規性の効果サイズを測定する方法ですか？WWW これをRでテストするには、均一な分布から抽出されたサンプルに対してシャピロウィルクテストを行います。サンプル数は10から5000の範囲で、結果は下にプロットされています。Wの値は定数に収束し、向かう傾向はありません。小さなサンプルに対してがバイアスされているかどうかはわかりませんが、小さなサンプルサイズに対しては低くなるようです。場合、私は下の何かを受け入れるようにしたい場合は問題になる可能性効果の大きさの偏った推定値である「通常は十分」と。111WWWWWWW=0.1W=0.1W=0.1 私の2つの質問は次のとおりです。 ある非正規の効果の大きさの尺度？WWW さ小さなサンプルサイズのバイアス？WWW

8 hypothesis-testing  normality-assumption  effect-size