タグ付けされた質問 「chi-squared」

私はを使用してモデルのチューニングを行ってきましたがcaret、gbmパッケージを使用してモデルを再実行しています。caretパッケージが使用gbmし、出力が同じである必要があることは私の理解です。ただし、を使用した簡単なテスト実行でdata(iris)は、評価指標としてRMSEとR ^ 2を使用したモデルで約5％の不一致が示されています。を使用して最適なモデルのパフォーマンスを見つけたいが、部分的な依存関係プロットを利用するためにcaret再実行しgbmます。再現性のために以下のコード。 私の質問は次のとおりです。 1）これらの2つのパッケージは同じであっても違いがあるのはなぜですか（確率的ですが、5％がやや大きな違いであることがわかります。特に、次のような素晴らしいデータセットを使用していない場合 iris、モデリングの） 。 2）両方のパッケージを使用する利点または欠点はありますか？ 3）無関係：irisデータセットを使用した場合、最適な値interaction.depthは5ですが、読み取り値が最大値floor(sqrt(ncol(iris)))である2 を超えるはずです。これは厳密な経験則ですか、それとも非常に柔軟ですか。 library(caret) library(gbm) library(hydroGOF) library(Metrics) data(iris) # Using caret caretGrid <- expand.grid(interaction.depth=c(1, 3, 5), n.trees = (0:50)*50, shrinkage=c(0.01, 0.001), n.minobsinnode=10) metric <- "RMSE" trainControl <- trainControl(method="cv", number=10) set.seed(99) gbm.caret <- train(Sepal.Length ~ ., data=iris, distribution="gaussian", method="gbm", trControl=trainControl, verbose=FALSE, tuneGrid=caretGrid, metric=metric, bag.fraction=0.75) …

12 r  caret  gbm  matrix  linear-algebra  logistic  modeling  logit  ordered-logit  r  confidence-interval  survival  population  weibull  classification  separation  hypothesis-testing  correlation  statistical-significance  p-value  python  r  data-visualization  r  regression  multiple-regression  chi-squared  multivariate-analysis  distributions  random-variable  experiment-design  distributions  poisson-regression  residuals  excel  time-series  garch  var  survival  modeling  cox-model  interaction  r  pca  normality-assumption 

非常に大きなデータセットがあり、約5％のランダムな値が欠落しています。これらの変数は互いに相関しています。次のRデータセットの例は、ダミーの相関データを使用した単なるおもちゃの例です。 set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, sep ="") rownames(xmat) <- paste("sample", 1:200, sep = "") #M variables are correlated N <- 2000000*0.05 # 5% random missing values inds <- round ( runif(N, 1, length(xmat)) …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

χ2χ2\chi^2適合度検定は、次の使用統計： χ20=∑i=1n(Oi−Ei)2Eiχ02=∑i=1n(Oi−Ei)2Ei \chi_0^2=\sum_{i=1}^n\frac{(O_i-E_i)^2}{E_i} 試験では、条件が満たされていることを許可する、一つは使用χ2χ2\chi^2-分布を与えていることp値を計算するためにH0H0H_0真の一つは同じ大きさの代表的な試料中のこのような値を観察することになるです。 しかし、統計のために、χ20χ02\chi_0^2従うχ2χ2\chi^2 -distributionを（とn−1n−1n-1：自由度）、事実である必要があり 独立した標準の標準Zi（ウィキペディア）。テストの条件は次のとおりです（再び、Wikipediaから）。∑i=1n(Oi−Ei)2Ei=∑i=1n−1Z2i∑i=1n(Oi−Ei)2Ei=∑i=1n−1Zi2 \sum_{i=1}^n\frac{(O_i-E_i)^2}{E_i}=\sum_{i=1}^{n-1}Z_i^2 ZiZiZ_i 母集団のサンプル代表 大きなサンプルサイズ 予想される細胞数が十分に多い 各カテゴリー間の独立性 条件（1,2）から、サンプルから母集団への推論の条件を満たすことが明らかです。（3）分母にある離散カウントは各Z iに対してほぼ連続的な分布をもたらさず、十分に大きくなければ修正できるエラーがあるため、必要な仮定のようですイェーツ補正 -これはによってシフトので、連続的なものを『床の』離散分布は基本的であるという事実からであると思われる1 / 2それぞれについてはこれを補正します。EiEiE_iZiZiZ_i1/21/21/2 （4）の必要性は後で役立つように思えますが、どのように見えるかわかりません。 最初は、は、統計が分布と一致するために必要です。疑わしい前提にこのリード私をそのOI-EI〜N（0、√Zi=Oi−EiEi√Zi=Oi−EiEiZ_i=\frac{O_i-E_i}{\sqrt{E_i}}、これは実際に間違っていました。実際、等式の2辺のnからn−1への次元の縮小から、これが当てはまらないことは明らかです。Oi−Ei∼N(0,Ei−−√)Oi−Ei∼N(0,Ei)O_i-E_i\sim \mathcal{N}(0, \sqrt{E_i})nnnn−1n−1n-1 whuberの説明のおかげで、は各O i − E iに等しい必要はないことが明らかになりました。ZiZiZ_i用語ためχ20=ΣN-1私=1Z2I標準正規確率変数（注合計変数の数の減少）をZIである機能的に独立しました。Oi−EiEi√Oi−EiEi\frac{O_i-E_i}{\sqrt{E_i}}χ20=∑n−1i=1Z2iχ02=∑i=1n−1Zi2\chi_0^2=\sum_{i=1}^{n-1}Z_i^2ZiZiZ_i 私の質問は、それから、できる方法である続くχ 2分布を？各（O i − E i ）2のどのような組み合わせχ20χ02\chi_0^2χ2χ2\chi^2項は、2乗標準法線Z 2 iになりますか？これには、明らかにCLTを使用する必要があります（それは理にかなっていますが）。言い換えれば、各Ziは何と等しい（またはほぼ等しい）のでしょうか？(Oi−Ei)2Ei(Oi−Ei)2Ei\frac{(O_i-E_i)^2}{E_i}Z2iZi2Z_i^2ZiZiZ_i

12 hypothesis-testing  chi-squared 

興味深い実験（残念ながらソースはありません）について、かなり尊敬される（人気のある）科学雑誌（ドイツのPM、2013年2月、36ページ）を読みました。直感的に結果の重要性を疑ったので、それが私の注意を引きましたが、提供された情報は統計的検定を再現するのに十分でした。 研究者は、寒い気候で寒くなると風邪をひく確率が高くなるのではないかと考えました。そのため、180人の学生のグループをランダムに2つのグループに分割しました。1つのグループは、足を冷水に20分間保持しなければなりませんでした。もう一人は靴を履き続けた。ちょっとおかしな操作だと思いますが、一方で私は医者ではなく、医者はおもしろいと思います。倫理的な問題は別として。 とにかく、5日後、治療グループの学生のうち13人は風邪をひいていましたが、靴を履いたグループでは5人しかいませんでした。したがって、この実験のオッズ比は2.87です。 サンプルサイズがかなり小さいことを考えると、この違いが大きいのではないかと思い始めました。そこで、2つのテストを実施しました。 最初に、正規近似を使用した比率の等価性の簡単なテスト。このテストは、で。私の推測では、これは研究者がテストしたものです。これは本当に重要なことです。ただし、このz検定は、通常の近似のために間違えない限り、大きなサンプルでのみ有効です。さらに、有病率はかなり小さく、これが効果の信頼区間のカバー率に影響を与えないのではないかと思います。z=1.988z=1.988z=1.988p=0.0468p=0.0468p=0.0468 2番目の試みは、モンテカルロシミュレーションと標準のピアソンカイ2乗の両方を使用したカイ2乗独立性検定でした。ここで、についての値を見つけます。p=.082p=.082p=.082 今では、結果についてそれほど安心しているわけではありません。このデータをテストするためのオプションが他にあるかどうか、2つのテストについてのあなたの考えは何か（特に、最初の重要なテストの仮定）

12 hypothesis-testing  chi-squared  experiment-design  proportion  biostatistics 

私は、どの統計文献が次の問題に関連しているか、そしておそらくそれをどのように解決するかのアイデアを知りたいと思っています。 次の問題を想像してください。 一部の疾患には4つの治療法があります。どちらの治療がより良いかを確認するために、特別な試験を実施します。トライアルでは、被験者がいないことから始め、その後、1つずつ、より多くの被験者がトライアルに入力されます。各患者は、4つの可能な治療法のいずれかにランダムに割り当てられます。治療の最終結果は「健康」または「病気」であり、この結果をすぐに知ることができるとしましょう。つまり、任意の時点で、2 x 4の分割表を作成して、被験者の数がどの治療/最終結果に該当したかを示すことができます。 4つの可能な治療法の間に統計的に異なる治療法があるかどうかを確認するために、いつでも分割表を確認できます（たとえば、カイ2乗検定を使用）。それらのいずれかが他のすべてよりも優れている場合-トライアルを停止し、「勝者」として選択します。いくつかの試験が他の3つすべてよりも悪いことが示された場合、私たちは彼を試験から除外し、将来の患者への投与を停止します。 ただし、ここでの問題は、特定のポイントでテストを実行できること、テスト間に相関関係があること、プロセスの適応性がプロセスを操作することのためにp値をどのように調整するかですたとえば、何らかの治療が「悪い」と判明した場合）？

12 hypothesis-testing  chi-squared  p-value  multiple-comparisons  sequential-analysis 

私はフィッシャーの正確なテストをよりよく理解したかったので、次のおもちゃの例を考案しました。ここで、fとmは男性と女性に対応し、nとyは次のように「ソーダ消費」に対応します。 > soda_gender f m n 0 5 y 5 0 明らかに、これは大幅な簡略化ですが、コンテキストが邪魔になりたくありませんでした。ここで私は男性がソーダを飲まず、女性がソーダを飲まないと仮定し、統計手順が同じ結論になるかどうかを確認したかっただけです。 Rでフィッシャーの正確検定を実行すると、次の結果が得られます。 > fisher.test(soda_gender) Fisher's Exact Test for Count Data data: soda_gender p-value = 0.007937 alternative hypothesis: true odds ratio is not equal to 1 95 percent confidence interval: 0.0000000 0.4353226 sample estimates: odds ratio 0 ここでは、p値が0.007937であるため、性別とソーダ消費が関連付けられていると結論付けます。 フィッシャーの正確な検定が超幾何分布に関連していることを知っています。だから私はそれを使って同様の結果を得たいと思った。つまり、この問題は次のように表示できます。10個のボールがあり、5個が「男性」、5個が「女性」とラベル付けされており、交換せずに5つのボールをランダムに描画すると、0個の男性ボールが表示されます。 。この観察の可能性は何ですか？この質問に答えるために、次のコマンドを使用しました。 …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

私のFテーブルの自由度は、私の大きなサンプルに対して十分高くありません。 たとえば、自由度が5および6744のFがある場合、分散分析の5％の臨界値をどのようにして見つけますか？ 自由度の高いカイ2乗検定を行っている場合はどうなりますか？ [このような質問はしばらく前に投稿されましたが、OPはエラーを起こし、実際には小さなdfを持っていたため、それを重複に減らしました-しかし、元の大きなdfの質問は、サイトのどこかに回答があるはずです]

11 chi-squared  degrees-of-freedom  f-distribution  tables 

ここで私は、教師あり学習での結果選択に関する特徴選択にカイ二乗検定を使用するために他の人が一般的に何をするかについて尋ねています。私が正しく理解している場合、彼らは各機能と結果の間の独立性をテストし、各機能のテスト間のp値を比較しますか？ ではhttp://en.wikipedia.org/wiki/Pearson%27s_chi-squared_test、 ピアソンのカイ2乗検定は、カテゴリデータのセットに適用される統計的検定であり、セット間に観測された差が偶然に生じた可能性を評価します。 ... 独立性のテストでは、分割表で表された2つの変数のペアの観測値が互いに独立しているかどうかを評価します（たとえば、国籍が異なる応答をポーリングして、国籍が応答に関連しているかどうかを確認します）。 では、独立性がテストによってテストされる2つの変数は、カテゴリカルまたは離散（カテゴリカル以外の順序付けを許可）でなければならないが、連続ではないのでしょうか。 http://scikit-learn.org/stable/modules/feature_selection.html、彼ら アイリスデータセットに対してテストを実行して、2つの最良の特徴のみを取得します。χ2χ2\chi^2 虹彩データセットは、すべての機能が大切数値と連続しており、そして結果は、クラスラベル（カテゴリ）です。カイ二乗独立性検定は、連続特徴にどのように適用されますか？ データセットにカイ二乗独立検定を適用するには、最初にビニング（つまり、最初に特徴の連続ドメインをビンに離散化し、次に特徴をビン内の特徴の値の出現で置き換える）により、連続特徴を離散特徴に変換しますか？ ）？ いくつかのビンでの発生は多項式の特徴（各ビンで発生するかしないかのどちらか）を形成するため、カイ2乗独立検定をそれらに適用できます。 ところで、私はカイ二乗独立検定をあらゆる種類の機能と結果に適用できますか？ 結果の部分では、分類だけでなく、カイ二乗独立検定、連続結果をビニングすることにより、回帰の機能も選択できます。 scikit学習サイトにも書いてあります 各非負の特徴とクラスの間のカイ2乗統計を計算します。 このスコアが含まれている必要がありますXからテストカイ二乗統計値の最高値は、とn_features機能を選択するために使用することができる唯一の非負のようにブール値や周波数などの機能 （文書分類では例えば、用語カウント）、に対するクラス。 テストで非負の機能が必要なのはなぜですか？ 特徴に兆候はないが、カテゴリー的または離散的である場合、テストをそれらに適用できますか？（私のパート1を参照） 特徴が否定的である場合、それらのドメインを常にビニングし、それらをその出現に置き換えることができます（虹彩データセットにテストを適用するために私が推測するのと同じように、パート2を参照）。 注：Scikit Learnは一般的な原則に従っていると思います。それが私がここで求めていることです。そうでない場合は、それでも大丈夫です。

11 hypothesis-testing  chi-squared  feature-selection  independence  scikit-learn 

これは、ここでHairEyeColor説明する分割表データセットのモザイクプロットです。 残差を表す色をどのように解釈しますか？ピアソンの高残差と正の残差（青で表示）と赤で表示される残差の低さおよび負の違いは何ですか？

11 data-visualization  chi-squared  residuals  contingency-tables 

今回が初めてなので、フォーマットやタグなど、何らかの形で質問を明確にできるかどうか教えてください。（うまくいけば、後で編集できます！）参照を見つけて、誘導を使用して自分自身を解決しようとしましたが、両方で失敗しました。 私は、自由度の異なる独立した確率変数の無数に無限の集合の次数統計に減少するように見える分布を単純化しようとしています。具体的には、独立した中で番目に小さい値の分布は何ですか？ m個χ 2 2、χ 2 4、χ 2 6、χ 2 8、...χ2χ2\chi^2mmmχ22,χ24,χ26,χ28,…χ22,χ42,χ62,χ82,…\chi^2_2,\chi^2_4,\chi^2_6,\chi^2_8,\ldots 特別なケース興味があります：（独立した）の最小値の分布はどうですか？χ 2 2、χ 2 4、χ 2 6、...m=1m=1m=1χ22,χ24,χ26,…χ22,χ42,χ62,…\chi^2_2,\chi^2_4,\chi^2_6,\ldots 最小値の場合、累積分布関数（CDF）を無限積として書くことができましたが、それをさらに単純化することはできません。のCDF が （場合、これにより、期待値2の指数分布との等価性に関する以下の2番目のコメントが確認されます。）最小値のCDFは、として記述できます。 製品の最初の項はであり、「最後の」項は F 2 M（X ）= γ （M 、X / 2 ）/ Γ （M ）= γ （M 、X / 2 ）/（M - 1 ）！= 1 − e − x / …

11 distributions  chi-squared  exponential  order-statistics  minimum 

2 x 2 x 6の表に分類されたデータがあります。寸法responseをAと呼びましょうB。モデルを使用して、データにロジスティック回帰を適合させますresponse ~ A * B。そのモデルの逸脱の分析は、用語とその相互作用の両方が重要であることを示しています。 ただし、データの比率を見ると、Bこれらの重要な影響の原因となっているのはわずか2レベル程度です。どのレベルが犯人であるかを確認するためにテストしたいと思います。現在、私のアプローチは、2 x 2のテーブルで6つの2乗検定を実行しresponse ~ A、それらの検定からのp値を（ホルム調整を使用して）多重比較のために調整することです。 私の質問は、この問題へのより良いアプローチがあるかどうかです。より原理的なモデリング手法、または複数のカイ二乗検定比較手法はありますか？

11 categorical-data  logistic  multiple-comparisons  chi-squared 

私は4つの競合するモデルを使用して、n人の被験者のバイナリ結果変数（卒業後の雇用状況、1 =就業、0 =非就業など）を予測しています。モデルパフォーマンスの自然な測定基準は、ヒット率であり、これは各モデルの正しい予測の割合です。 データが分散分析の基礎となる仮定に違反しているため、この設定では分散分析を使用できないようです。上記の設定でANOVAの代わりに使用できる同等の手順で、4つのモデルすべてが同等に効果的であるという仮説をテストできますか？

11 anova  chi-squared  generalized-linear-model 

のmgcvパッケージにRは、テンソル積の相互作用をフィッティングするための2つの関数がte()ありti()ます。私は2つの作業の基本的な分業を理解しています（非線形の相互作用を当てはめるか、この相互作用を主効果と相互作用に分解するか）。私が理解していないのは、なぜte(x1, x2)、そしてti(x1) + ti(x2) + ti(x1, x2)（わずかに）異なる結果を生成するのかということです。 MWE（から適応?ti）： require(mgcv) test1 <- function(x,z,sx=0.3,sz=0.4) { x <- x*20 (pi**sx*sz)*(1.2*exp(-(x-0.2)^2/sx^2-(z-0.3)^2/sz^2)+ 0.8*exp(-(x-0.7)^2/sx^2-(z-0.8)^2/sz^2)) } n <- 500 x <- runif(n)/20;z <- runif(n); xs <- seq(0,1,length=30)/20;zs <- seq(0,1,length=30) pr <- data.frame(x=rep(xs,30),z=rep(zs,rep(30,30))) truth <- matrix(test1(pr$x,pr$z),30,30) f <- test1(x,z) y <- f + rnorm(n)*0.2 par(mfrow = c(2,2)) # …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

私はRでglmモデルを構築し、テストおよびトレーニンググループを使用してテストしたので、うまく機能すると確信しています。Rの結果は次のとおりです。 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -2.781e+00 1.677e-02 -165.789 < 2e-16 *** Coeff_A 1.663e-05 5.438e-06 3.059 0.00222 ** log(Coeff_B) 8.925e-01 1.023e-02 87.245 < 2e-16 *** log(Coeff_C) -3.978e-01 7.695e-03 -51.689 < 2e-16 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 …

11 r  generalized-linear-model  chi-squared 

Wassermannの本「All of Statistics」を読んでいると、p値の定義に微妙な違いがあることに気づきました。非公式には、Wassermannはp値を次のように定義します。 [..] 実際に観測されたものと同じかそれより極端な検定統計量の値を観測する確率（下）。H0H0H_0 強調が追加されました。同じことをより正式に（定理10.12）： サイズテストが次の形式であるとします。αα\alpha リジェクト場合にのみT （X N）≥ C α。H0H0H_0T(Xn)≥cαT(Xn)≥cαT(X^n) \ge c_\alpha そして、 p-value=supθ∈Θ0Pθ0[T(Xn)≥T(xn)]p-value=supθ∈Θ0Pθ0[T(Xn)≥T(xn)]\text{$p$-value} = \sup_{\theta\in\Theta_0} P_{\theta_0}[T(X^n) \ge T (x^n)] ここで、はX nの観測値です。もしΘ 0 = { θ 0 }次に 、P -値 = P θ 0 [ T （X N）≥ T （X N）]xnxnx^nXnXnX^nΘ0={θ0}Θ0={θ0}\Theta_0=\{\theta_0\}p-value=Pθ0[T(Xn)≥T(xn)]p-value=Pθ0[T(Xn)≥T(xn)]\text{$p$-value} = P_{\theta_0}[T(X^n) \ge T (x^n)] さらに、ワッセルマンはピアソンのp値を定義として試験（及び同様に他のテスト）。χ2χ2\chi^2 p-value=P[χ2k−1>T].p-value=P[χk−12>T].\text{$p$-value} …

11 hypothesis-testing  chi-squared  p-value