タグ付けされた質問 「goodness-of-fit」

もともとは通常配布されていると思っていたデータのコレクションがあります。次に、実際にそれを見て、そうではないことに気づきました。ほとんどの場合、データが歪んでいるためです。また、shapiro-wilksテストも行いました。 それでも統計的手法を使用して分析したいので、スキュー正規性の仮説検定を行いたいと思います。 したがって、スキューの正常性をテストする方法があるかどうか、また可能であれば、テストを行うためのライブラリがあるかどうかを知りたいのです。

11 hypothesis-testing  normal-distribution  goodness-of-fit  skewness  skew-normal 

サンプルサイズの増加に伴い、p値とks検定の統計が減少するのはなぜですか？例としてこのPythonコードを見てみましょう： import numpy as np from scipy.stats import norm, ks_2samp np.random.seed(0) for n in [10, 100, 1000, 10000, 100000, 1000000]: x = norm(0, 4).rvs(n) y = norm(0, 4.1).rvs(n) print ks_2samp(x, y) 結果は次のとおりです。 Ks_2sampResult(statistic=0.30000000000000004, pvalue=0.67507815371659508) Ks_2sampResult(statistic=0.080000000000000071, pvalue=0.89375155241057247) Ks_2sampResult(statistic=0.03499999999999992, pvalue=0.5654378910227662) Ks_2sampResult(statistic=0.026599999999999957, pvalue=0.0016502962880920896) Ks_2sampResult(statistic=0.0081200000000000161, pvalue=0.0027192461984023855) Ks_2sampResult(statistic=0.0065240000000000853, pvalue=6.4573678008760032e-19) 直観的に私は、nが大きくなるにつれて、2つの分布が異なることを「より確実」にテストすることを理解しています。しかし、サンプルサイズが非常に大きい場合、これなどの類似性テストのポイントは何であり、アンダーソンダーリングテストまたはt検定と言えます。このような場合、nが非常に大きい場合、分布は常に「大幅に」違う！？現在、p値のポイントは一体何なのかと思っています。これはサンプルサイズに大きく依存します... p> 0.05でそれを小さくしたい場合は、より多くのデータを取得します。そして、p <0.05でより高くしたい場合は、一部のデータを削除します。 また、2つの分布が同一である場合、ks-test統計は0で、p値は1になります。ただし、私の例では、nが増加するにつれて、ks-test統計は、分布が時間とともにますます類似する（減少する）ことを示唆しています。 、しかしp値に従って、それらは時間とともにより大きくなり、（また減少し）ます。

11 python  p-value  goodness-of-fit  intuition  scipy 

Anderson–Darling検定とCramér–von Mises基準に来たとき、適合度検定のWebページを読んでいます。 これまでのところ私は要点を得ました。アンダーソンダーリング検定とクラメールフォンミーゼス基準は似ていますが、重み関数異なるだけです。また、ワトソン検定と呼ばれるクラメル・フォン・ミーゼス基準の変形があります。www 基本的に私はここに2つの質問があります これらの2つの方法に関するGoogleの結果は多くありません。彼らはまだ最先端のものですか？またはすでにいくつかのより良いアプローチに置き換えられましたか？ Shapiro–Wilk、Kolmogorov–Smirnov、LillieforsおよびAnderson-Darlingの各テストの電力比較に関するこの論文によると、ADは非常にうまく機能しています。LillieforsとKSより常に優れており、特に正規分布用に設計されたSWテストに非常に近い。 そのようなテストの信頼区間はどのくらいですか？ AD、CM、およびワトソンテストでは、wikiページで定義されたテスト統計変数を確認しましたが、信頼区間が見つかりませんでした。 KSテストの方が簡単です。Wikiページでは、信頼区間はによって定義されます。これは累積分布関数から定義されます。KαKαK_\alphaKKK

10 goodness-of-fit  anderson-darling 

ベイジアンロジスティック回帰問題の場合、私は事後予測分布を作成しました。私は予測分布からサンプリングし、観測ごとに（0,1）の数千のサンプルを受け取ります。適合度を視覚化することは、面白くありません。次に例を示します。 このプロットは、10,000個のサンプル+観測されたデータム点を示しています（左側の方に赤い線が表示されます：観測です）。問題は、このプロットが情報を提供することがほとんどないことであり、データポイントごとに1つずつ、計23を用意します。 23データポイントと後方サンプルを視覚化するより良い方法はありますか？ 別の試み： ここの論文に基づく別の試み

10 bayesian  data-visualization  classification  goodness-of-fit  binary-data 

ここで何が質問されているのかを理解することは困難です。この質問は、あいまいで、あいまいで、不完全で、過度に広い、または修辞的であり、現在の形では合理的に回答することができません。再開できるようにこの質問を明確にするヘルプについては、ヘルプセンターに アクセスしてください。 7年前休業。 私は非線形モデルを持っています。ここで、Φは標準正規分布の累積分布関数であり、fは非線形です（以下を参照）。このモデルとパラメーターaの適合度をデータ（x 1、y 1）、（x 2、y 2）、… 、（x n、y n）でテストしたいy= Φ （f（x 、a ））+ εy=Φ(f(x,a))+εy=\Phi(f(x,a)) + \varepsilonΦΦ\Phiaaa（x1、y1）、（x2、y2）、… 、（xん、yん）(x1,y1),(x2,y2),…,(xn,yn)(x_1,y_1),(x_2,y_2),\dots,(x_n,y_n)、検索するために使用最尤推定を持った後。適切なテストは何でしょうか？このテストを使用して、不良適合を不良としてラベル付けし、さらにデータを収集する必要があるかどうかを判断します。aaa 私は使用適合度のその対応する試験で、飽和モデルに対してこのモデルを比較して逸脱を用いに見てきた分布。これは適切でしょうか？私が逸脱について読んだことのほとんどは、それをGLMに適用していますが、それは私が持っているものではありません。逸脱度テストが適切である場合、テストを有効にするためにどのような仮定を保持する必要がありますか？χ2n − 1χn−12\chi^2_{n-1} 更新：のためのx>1、>0の場合にこのことができます。f= x − 1X2+ 1√f=x−1ax2+1f = \frac{x-1}{a\sqrt{x^2+1}}x > 1 、a > 0x>1,a>0x>1,a>0

10 nonlinear-regression  goodness-of-fit  deviance 

ad.test（）が正常性のテストに使用できることは知っています。 ad.testで2つのデータサンプルの分布を比較することはできますか？ x <- rnorm(1000) y <- rgev(2000) ad.test(x,y) 2つのサンプルでアンダーソンダーリング検定を実行するにはどうすればよいですか？

10 r  goodness-of-fit 

必要なパッケージをロードします。 library(ggplot2) library(MASS) ガンマ分布に適合した10,000個の数値を生成します。 x <- round(rgamma(100000,shape = 2,rate = 0.2),1) x <- x[which(x>0)] xがどの分布に適合するかわからないと仮定して、確率密度関数を描画します。 t1 <- as.data.frame(table(x)) names(t1) <- c("x","y") t1 <- transform(t1,x=as.numeric(as.character(x))) t1$y <- t1$y/sum(t1[,2]) ggplot() + geom_point(data = t1,aes(x = x,y = y)) + theme_classic() グラフから、xの分布がガンマ分布に非常に似ていることがわかるのでfitdistr()、パッケージでを使用してMASS、ガンマ分布の形状と速度のパラメーターを取得します。 fitdistr(x,"gamma") ## output ## shape rate ## 2.0108224880 0.2011198260 ## (0.0083543575) …

10 r  mathematical-statistics  goodness-of-fit  gamma-distribution  ggplot2 

Rに離散時間モデルを適合させようとしていますが、その方法がわかりません。 従属変数を時間監視ごとに1つずつ異なる行に編成し、glm関数をlogitまたはcloglogリンクで使用できることを読みました。この意味で、私は3つの列があります：ID、Event（各time-obsで1または0）およびTime Elapsed（観測の開始以降）、および他の共変量。 モデルに合うようにコードを書くにはどうすればよいですか？従属変数はどれですか？Event従属変数として使用できTime Elapsed、共変量に含めることができると思います。しかし、どうなりIDますか？必要ですか？ ありがとう。

10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation 

尤度比（別名逸脱）統計と適合度（または適合度）検定は、Rのロジスティック回帰モデル（関数を使用して適合）を取得するのはかなり簡単です。ただし、いくつかのセル数が十分に少なくなり、テストの信頼性が低下します。適合度不足の尤度比検定の信頼性を検証する1つの方法は、その検定統計量とP値をピアソンのカイ二乗（または\ chi ^ 2）適合度検定のそれらと比較することです。G2G2G^2glm(..., family = binomial)χ2χ2\chi^2 glmオブジェクトもそのsummary()メソッドも、ピアソンのカイ二乗検定の適合性の検定統計量を報告しません。私の検索では、思いついたのはchisq.test()（statsパッケージ内の）関数だけです。そのドキュメントには、「chisq.testカイ2乗分割表テストと適合度テストを実行する」と記載されています。ただし、そのようなテストを実行する方法についてのドキュメントはまばらです。 場合はx一つの行または列を持つ行列である場合、またはxベクターであり、yその後、与えられていない適合度（テストが行われるx一次元分割表として扱われます）。のエントリは、x負でない整数でなければなりません。この場合、テストされる仮説は、母集団の確率がの確率と等しいか、与えられないp場合pはすべて等しいかどうかです。 の引数にオブジェクトのyコンポーネントを使用できると思います。ただし、エラーが発生するため、の引数にオブジェクトのコンポーネントを使用できません： " "glmxchisq.testfitted.valuesglmpchisq.testprobabilities must sum to 1. （Rで）手動でステップを実行することなく、少なくともピアソンの検定の統計を計算して適合性の欠如を調べるにはどうすればよいですか？χ2χ2\chi^2

10 r  chi-squared  logistic  generalized-linear-model  goodness-of-fit 

私は生存分析の初心者ですが、分類と回帰についてはある程度の知識があります。 回帰については、MSEとRの2乗統計があります。しかし、生存モデルAは、ある種のグラフィカルプロット（KM曲線）に加えて、生存モデルBよりも優れていると言えるでしょうか。 可能であれば、違いを例で説明してください（Rのrpartパッケージなど）。1つのCARTサバイバルツリーが別のCARTサバイバルツリーよりも優れていることをどのように示すことができますか？どの指標を使用できますか？

9 regression  survival  goodness-of-fit  cart  rpart 

次のようなデータセットの例があります。 Volume <- seq(1,20,0.1) var1 <- 100 x2 <- 1000000 x3 <- 30 x4 = sqrt(x2/pi) H = x3 - Volume r = (x4*H)/(H + Volume) Power = (var1*x2)/(100*(pi*Volume/3)*(x4*x4 + x4*r + r*r)) Power <- jitter(Power, factor = 1, amount = 0.1) plot(Volume,Power) この図から、ある範囲の「ボリューム」と「パワー」の間の関係は線形であり、「ボリューム」が比較的小さくなると、関係は非線形になることが示唆されます。これを説明するための統計的検定はありますか？ OPへの応答に示されているいくつかの推奨事項に関して： ここに示されている例は単なる例であり、私が持っているデータセットは、ここで見られる関係に似ていますが、騒々しいです。これまでに行った分析では、特定の液体の体積を分析すると、体積が小さいと信号のパワーが大幅に増加することを示しています。つまり、ボリュームが15から20の間の環境しかなかったとしましょう。それは、ほぼ線形の関係のように見えます。ただし、ポイントの範囲を増やす、つまりボリュームを小さくすると、関係がまったく線形にならないことがわかります。これを統計的に示す方法に関する統計的なアドバイスを探しています。これが理にかなっているといいのですが。

9 r  hypothesis-testing  nonlinear-regression  goodness-of-fit  heteroscedasticity 

観測された確率変数のポアソン分布への適合度を測定するためのよく知られた統計的検定のいくつかは何ですか？コルモゴロフ-スミルノフ検定がその1つであることは知っていますが、他にもありますか

9 probability  poisson-distribution  goodness-of-fit 

そのため、ハミング距離を使用して生体認証特性から個人を認証しようとしている16のトライアルがあります。しきい値は3.5に設定されています。私のデータは以下であり、トライアル1のみが真陽性です。 Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 10 0.45 11 0.42 12 0.37 13 0.66 14 0.39 15 0.44 16 0.39 私の混乱のポイントは、このデータからROC曲線（FPR対TPR OR FAR対FRR）を作成する方法が本当にわからないということです。どちらでもかまいませんが、どうやって計算するのか混乱しています。任意の助けいただければ幸いです。

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

データ： この質問/コミュニケーションのために、データがrnbinom(1000,size=0.1,prob=0.01)Rのように見えると想定できます。これにより、負の二項分布から1,000観測のランダムサンプルが生成されます（size=0.1成功の確率ありprob=0.01）。これは、確率変数sizeが成功数の前の失敗数を表すパラメーター化です。尾は長く、1,000の観測値は多くのデータではありません。 問題： データ（{1,2、....}の整数）[上記を参照]（1,500データポイント）が与えられ、「最適な」分布とパラメーターの推定値を見つけるように求められました。データについて他に何も知りません。これは長い尾を持つデータの非常に大きなサンプルではないことを知っています。データが増える可能性があります。 私がやったこと： 2つの異なる分布をデータに当てはめて尤度比検定を使用することを検討しましたが、2つの分布がネストされていない限り、これは当てはまりません（適切な臨界p値を決定できないため） ... 次に、Kolmogorov-Smirnov検定（離散データ用に調整済み）の使用を検討しましたが、いずれにしても、Rで「tie with data」のp値を計算できないと不満がありました。 このコンテキストでさまざまなディストリビューションの適合性をテスト/決定するための最善の方法は何ですか？ここに私が検討した他のいくつかがあります： （たくさんの）より多くのデータを求める。しかし、これは役に立ちますか？たとえば、漸近的な結果を使用できますか？ ブートストラップ/リサンプリング/モンテカルロ方式を検討してください。もしそうなら、これを正しく行う方法を学ぶために私が読むことができる/読むべき標準リファレンスはありますか？ありがとう

9 hypothesis-testing  goodness-of-fit 

約100万のデータポイントがあります。ここにファイルdata.txtへのリンクがあります。それらのそれぞれは0から145までの値を取ることができます。これは離散データセットです。以下は、データセットのヒストグラムです。X軸はカウント（0-145）であり、Y軸は密度です。 データのソース：空間に約20の参照オブジェクトと100万のランダムオブジェクトがあります。これらの100万個のランダムオブジェクトのそれぞれについて、これらの20個の参照オブジェクトに対してマンハッタン距離を計算しました。しかし、私はこれら20の参照オブジェクトの中で最短距離のみを考慮しました。だから私は100万のマンハッタン距離を持っています（あなたはポストで与えられたファイルへのリンクで見つけることができます） Rを使用して、ポアソン分布と負の2項分布をこのデータセットに適合させようとしました。負の2項分布から生じる適合は妥当であることがわかりました。以下は、フィットした曲線です（青色）。 最終目標：この分布を適切にフィッティングしたら、この分布を距離のランダム分布と見なしたいと思います。次回、任意のオブジェクトからこれらの20個の参照オブジェクトまでの距離（d）を計算すると、（d）が有意であるか、ランダム分布の一部であるかを知ることができます。 適合度を評価するために、負の二項適合から得られた観測頻度と確率を使用して、Rを使用してカイ2乗検定を計算しました。青い曲線は分布にうまく適合していますが、カイ2乗検定から戻るP値は非常に低くなっています。 これは私を少し混乱させました。関連する質問が2つあります。 このデータセットの負の二項分布の選択は適切ですか？ カイ2乗検定のP値が非常に低い場合、別の分布を検討する必要がありますか？ 以下は私が使用した完全なコードです： # read the file containing count data data <- read.csv("data.txt", header=FALSE) # plot the histogram hist(data[[1]], prob=TRUE, breaks=145) # load library library(fitdistrplus) # fit the negative binomial distribution fit <- fitdist(data[[1]], "nbinom") # get the fitted densities. mu and size from …

9 r  statistical-significance  goodness-of-fit  negative-binomial