タグ付けされた質問 「hypothesis-testing」

Rに離散時間モデルを適合させようとしていますが、その方法がわかりません。 従属変数を時間監視ごとに1つずつ異なる行に編成し、glm関数をlogitまたはcloglogリンクで使用できることを読みました。この意味で、私は3つの列があります：ID、Event（各time-obsで1または0）およびTime Elapsed（観測の開始以降）、および他の共変量。 モデルに合うようにコードを書くにはどうすればよいですか？従属変数はどれですか？Event従属変数として使用できTime Elapsed、共変量に含めることができると思います。しかし、どうなりIDますか？必要ですか？ ありがとう。

10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation 

これは私が何度か遭遇した例にすぎないため、サンプルデータはありません。Rで線形回帰モデルを実行する： a.lm = lm(Y ~ x1 + x2) x1は連続変数です。x2カテゴリ型で、「低」、「中」、「高」の3つの値があります。ただし、Rによって与えられる出力は次のようになります。 summary(a.lm) Estimate Std. Error t value Pr(>|t|) (Intercept) 0.521 0.20 1.446 0.19 x1 -0.61 0.11 1.451 0.17 x2Low -0.78 0.22 -2.34 0.005 x2Medium -0.56 0.45 -2.34 0.005 私は、Rがそのような要因（要因x2であること）に何らかのダミーコーディングを導入していることを理解しています。私はただ疑問に思っていx2ます。「高」の値をどのように解釈しますか？たとえば、ここで示した例の「High」x2は応答変数にどのような影響を与えますか？ これの例を他の場所（例：ここ）で見ましたが、理解できる説明は見つかりませんでした。

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

でこの質問、彼らは（例えば、女性対男性のように）二つの独立したグループのためのピアソンrを比較する方法を尋ねます。返信とコメントは2つの方法を提案しました： rの「z変換」を使用して、フィッシャーのよく知られた式を使用します。 勾配の比較を使用します（回帰係数）。 後者は、飽和線形モデルを介して簡単に実行できます 。ここで、とは相関変数で、は2つのグループを示すダミー（0対1）変数です。（相互作用項係数）の大きさは、モデルが2つのグループで個別に実行され後の係数の差であり、その（）の有意性は、グループ間の勾配の差の検定です。Y= a + b X+ c G + dバツGY=a+bバツ+cG+dバツGY = a + bX + cG + dXGバツバツXYYYGGGdddbbbY= a + b XY=a+bバツY = a + bXddd さて、勾配または回帰係数。まだ相関係数ではありません。しかし、我々は標準であればとYを - 別に二つのグループに-そして、dは差に等しくなりますグループ1のRマイナスRグループ0で、したがって、その意義は、2つの相関の違いをテストします：我々しているテストの斜面が、相関関係をテストしているように見えます。バツバツXYYYddd 私が書いたのは正しいですか？ はいの場合、相関のより良いテストである質問が残っています-これは説明されたものですか、それともフィッシャーの質問ですか？それらは同じ結果をもたらさないからです。どう思いますか？ 後で編集：@Wolfgangの返信に感謝しますが、フィッシャーのテストが上記の標準化された勾配の比較アプローチよりもrのテストの方が正しい理由を理解できないと思います。したがって、より多くの回答を歓迎します。ありがとうございました。

10 regression  correlation  hypothesis-testing 

私はヨハンセン検定を使用して共和分をテストしています。テスト結果の解釈方法などの質問を見てきましたが、私の解釈では疑問がいくつかあります。r = 3からの私の結果では4.10 < 10.49、静止したシリーズを形成することはできません。これは、R = 2およびr = 1のしかしに対して同じであるr = 0、86.12 > 59.14ので、固定の組み合わせがあります。 しかしr = 0、共積分ベクトルがゼロであることを意味します。それは私のデータが相互統合されておらず、したがってVECMを構築できないことを意味しますか？ 以下に私の結果を見つけてください。 > cointegration <- ca.jo(Canada, type="trace",ecdet="trend",spec="transitory") > summary(cointegration) ###################### # Johansen-Procedure # ###################### Test type: trace statistic , with linear trend in cointegration Eigenvalues (lambda): [1] 4.483918e-01 2.323995e-01 1.313250e-01 4.877895e-02 -1.859499e-17 Values of teststatistic …

10 r  hypothesis-testing  cointegration 

時系列の最も単純な季節性テストは何ですか？ より具体的に、私specific time series the seasonal componentは意味があるかどうかをテストしたいと思います。 Python / Rで推奨されるパッケージは何ですか？

9 r  time-series  hypothesis-testing  python  seasonality 

平均して、私は、3つの独立したグループがあるとμ1、μ 2、μ ３μ1, μ2, μ3\mu_1,~ \mu_2,~\mu_3それぞれ。 どのようにしてテストすることができるかどうかをμ1&lt; μ2&lt; μ３μ1&lt;μ2&lt;μ3\mu_1 < \mu_2 <\mu_3、または使用していないん1、n 2、n ３n1, n2, n3n_1,~n_2,~n_3、各グループからのサンプル？ 詳細な計算ではなく、一般的な方法論を知りたい。仮説H0H0H_0とH1H1H_1設定方法がわかりませんでした。

9 hypothesis-testing  multiple-comparisons  isotonic 

母集団からサンプリングした後、信頼区間の形式でパラメーター推定値を生成できることを教えられました。たとえば、95％の信頼区間には、違反のない仮定があり、母集団内で推定している真のパラメーターが何であれ、95％の成功率が含まれているはずです。 つまり、 サンプルからポイント推定を作成します。 理論的には推定しようとしている真の値が95％の確率で含まれる値の範囲を生成します。 ただし、トピックが仮説テストに移ったとき、手順は次のように説明されました。 一部のパラメーターを帰無仮説と仮定します。 この帰無仮説が真であるとすると、さまざまな点推定値が得られる可能性の確率分布を生成します。 帰無仮説が真の場合に得られる点推定が5％未満の時間で生成される場合は、帰無仮説を拒否します。 私の質問はこれです： 帰無仮説を棄却するために、帰無仮説を使用して信頼区間を生成する必要がありますか？最初の手順を実行し、真のパラメーターの推定値を取得して（信頼区間の計算で仮定値を明示的に使用せずに）、帰無仮説がこの区間に入らない場合は棄却しませんか？ これは直感的には論理的には同等に思えますが、このように教えられる理由があると考えられるため、非常に根本的な何かを見逃しているのではないかと心配しています。

9 hypothesis-testing  confidence-interval  estimation  inference 

2つのデータセット（B1、B2）のどちらが別のセット（A）とより適切に相関している（ピアソンr）かを判断します。すべてのデータセットに欠落データがあります。結果の相関が大幅に異なるかどうかをどのように判断できますか？ たとえば、8426の値はAとB1の両方に存在し、r = 0.74です。8798はAとB2の両方に存在し、r = 0.72です。 この質問は役立つかもしれないと思いましたが、答えはありません：あるシステムが別のシステムよりもはるかに優れていることを知る方法は？

9 hypothesis-testing  correlation  statistical-significance  missing-data 

質問： p値についてよくある誤解の1つは、帰無仮説が真である確率を表しているということです。私はそれが正しくないことを知っています。また、帰無仮説が真である場合、p値はこれと同じくらい極端なサンプルを見つける確率を表すだけであることを知っています。しかし、直感的には、後者から最初のものを導出できるはずです。誰もこれをしていない理由があるに違いない。p値と関連データから仮説が真である確率を導き出すことを制限する、どのような情報が欠けているのでしょうか？ 例： 私たちの仮説は「ビタミンDは気分に影響を与える」です（帰無仮説は「影響なし」です）。1000人で適切な統計調査を行い、気分とビタミンレベルの相関関係を見つけたとします。他のすべてのものが等しい場合、0.01のp値は、0.05のp値よりも真の仮説の可能性が高いことを示します。たとえば、p値が0.05であるとします。仮説が真である実際の確率を計算できないのはなぜですか？どのような情報が不足していますか？ 頻度主義統計学者のための代替用語： 私の質問の前提を受け入れるなら、ここを読むのをやめることができます。以下は、仮説が確率解釈を持つ可能性があることを受け入れない人のためのものです。少し用語を忘れましょう。代わりに... 友達と賭けているとしましょう。あなたの友人はあなたに無関係な主題についての千の統計的研究を示します。各スタディでは、p値、サンプルサイズ、およびサンプルの標準偏差のみを確認できます。それぞれの研究について、あなたの友人はあなたに、研究で提示された仮説が真実であると賭ける確率を提供します。賭けをするかしないかを選択できます。1000件すべての研究に賭けをした後、オラクルがあなたに上って、どの仮説が正しいかを教えてくれます。この情報により、賭けを清算することができます。私の主張は、このゲームに最適な戦略があるということです。私の世界観では、これは仮説の確率が真であることを知ることと同じですが、私たちが同意しない場合は問題ありません。その場合、賭けの期待を最大化するためにp値を使用する方法について簡単に話すことができます。

9 hypothesis-testing  bayesian  p-value  frequentist 

例：仕事の説明に「英国のJavaシニアエンジニア」という文があります。 私は2つのカテゴリとして、それを予測することは、深い学習モデルを使用したい：English とIT jobs。従来の分類モデルを使用する場合softmax、最後のレイヤーで機能を持つ1つのラベルのみを予測できます。したがって、2つのモデルのニューラルネットワークを使用して、両方のカテゴリで「はい」/「いいえ」を予測できますが、さらに多くのカテゴリがあると、コストがかかりすぎます。では、2つ以上のカテゴリを同時に予測するためのディープラーニングまたは機械学習モデルはありますか？ 「編集」：従来のアプローチによる3つのラベルでは、[1,0,0]によってエンコードされますが、私の場合、[1,1,0]または[1,1,1]によってエンコードされます 例：3つのラベルがあり、文がこれらすべてのラベルに収まる場合。したがって、softmax関数からの出力が[0.45、0.35、0.2]である場合、3つのラベルまたは2つのラベルに分類する必要がありますか、それとも1つにすることができますか？それを行うときの主な問題は、1、2、または3つのラベルに分類するための適切なしきい値は何ですか？

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

有名なフィッシャーの実験では、観測可能なのは、2種類のカップAとBを持つ修正された推測カップ数です。通常、テストαのサイズを前提として、臨界領域を計算して帰無仮説（女性がランダムに推測している）を拒否することは興味深いことです。これは、超幾何分布を使用して簡単に実行できます。同じ方法で、クリティカル領域を指定してテストのサイズを計算できます。kkkAAABBBαα\alpha 別の質問は、対立仮説が与えられた場合の検定の検出力の計算方法ですか？たとえば、女性がシングルカップの確率で正しく推測できると仮定します（P （guess A | true A ）= P （guess B | true B ）= 0.9）。N = 8に等しいカップの総数と1種類のカップの総数n = N / 2 = 4と仮定して、テストの力は何ですかp=90%p=90%p=90\%P(guessA|trueA)=P(guess B|true B)=0.9P(guessA|trueA)=P(guess B|true B)=0.9P(\text{guess} A|\text{true} A)=P(\text{guess } B|\text{true } B)=0.9N=8N=8N=8n=N/2=4n=N/2=4n=N/2=4？（残念ながら）女性は知っています。nnn 言い換えれば、女性が1種類のカップがn個あることを知っている場合、（対立仮説での正しいカップの数）の分布は何ですか？k=k=k=nnn

9 hypothesis-testing  power  fishers-exact 

多くの場所で、帰無仮説を「受け入れる」とは決して言えないと私は読んだことがあります。代わりに、帰無仮説を「拒否できなかった」と言わなければなりません。 しかし、この単純な例でそれが二乗するかどうかはわかりません。糖尿病を24時間以内に完全に治癒するはずの薬剤をテストしているとしましょう。私たちは1000人の患者にそれを試します、そして彼ら全員はまだ薬を服用した後でも糖尿病を持っています。 この薬が糖尿病を治さないのは明らかではありませんか？つまり、帰無仮説を受け入れるということですか。 私は確かにこの薬を信用しません。 帰無仮説：薬剤は患者に影響を与えません。 対立仮説：薬物は糖尿病を治す

9 hypothesis-testing 

だから、楽しみのために、私は私が働いているコールセンターからの通話のデータの一部を取り、それらについていくつかの仮説テストを実行しようとしています。具体的には、1週間に受信した通話の数と、ポアソン分布を使用してそれに適合しています。私の仕事の主題により、2種類の週があります。そのうちの1つを、私がより多くの呼び出しがあると仮定する週にオンにし、より少ないと仮定する週外に呼び出します。 私が持っているという理論オン週間から（のは、それを呼びましょう）1からのオフ週のそれよりも大きいの（さんがそれを呼びましょう）λλ\lambdaλ1λ1\lambda_1λ2λ2\lambda_2 したがって、テストしたい仮説はH0:λ1&gt;λ2,H1:λ1≤λ2H0:λ1&gt;λ2,H1:λ1≤λ2H_0: \lambda_1 > \lambda_2, H_1: \lambda_1 \leq \lambda_2 1つのパラメーター（たとえば、）をテストする方法を知っていますが 、データセットを指定して2を実行する方法がわかりません。たとえば、からおよび、週におよびからそれぞれ2週間分のデータを取得するとします。誰かがこの簡単なバージョンを使って私をウォークして、より大きなデータセットに適用できるようにすることはできますか？どんな助けでもありがたいです、ありがとう。H0:λ1&gt;1,H1:λ1≤1H0:λ1&gt;1,H1:λ1≤1H_0: \lambda_1 > 1, H_1: \lambda_1 \leq 1 X1=2X1=2X_1 = 2X2=3X2=3X_2 = 3Y1=2Y1=2Y_1 = 2Y2=6Y2=6Y_2=6

9 hypothesis-testing  poisson-distribution 

今学期後半は、CS志向の大学生に教員補として統計を教えます。ほとんどの学生はクラスを受講し、その主題を学ぶインセンティブはなく、主要な要件のためだけに受講しました。私は、B +を合格させるために学んだクラスだけでなく、主題を面白く有用なものにしたいと考えています。 純粋数学の博士課程の学生として、私は実際の応用面についてはほとんど知りませんでした。学部統計の実際のアプリケーションをいくつかお願いしたいと思います。私が探している例は次のようなものです（精神的に）： 1）中心極限定理を示すことは、特定の大きなサンプルデータに役立ちます。 2）中心極限定理が適用できないという反例を示します（たとえば、コーシー分布に従うもの）。 3）Z検定、t検定などを使用して、有名な実例で仮説検定がどのように機能するかを示します。 4）過適合または誤った初期仮説がどのように誤った結果をもたらすかを示す。 5）p値と信頼区間が（よく知られている）実際のケースでどのように機能したか、およびそれらがあまり機能しない場合を示します。 6）同様に、タイプI、タイプIIのエラー、統計的検出力、拒否レベルなど。αα\alpha 私の問題は、確率の側面に多くの例（コイントス、ダイストス、ギャンブラーの破滅、マルチンゲール、ランダムウォーク、3つの囚人のパラドックス、モンティホール問題、アルゴリズム設計における確率法など）がありますが、統計面での多くの標準的な例。私が言いたいのは、教育学的に価値のある深刻で興味深い例であり、実際の生活から非常に切り離されているように見えるほど人工的に作られたものではありません。Z検定とt検定がすべてであるという誤った印象を学生に与えたくありません。しかし、私の純粋な数学の背景のために、クラスを彼らにとって興味深く、有用なものにするのに十分な例を知りません。だから私はいくつかの助けを探しています。 私の学生のレベルは微積分Iと微積分II前後です。彼らはガウスカーネルの評価方法がわからないため、標準法線の分散が定義で1であることを示すこともできません。そのため、少し理論的または実践的な計算（超幾何分布、1Dランダムウォークのアークシンの法則など）は機能しません。「どうして」だけでなく、「なぜ」も理解できる例をいくつか紹介したいと思います。そうでなければ、私が脅迫によって私が言ったことを証明するかどうかはわかりません。

9 hypothesis-testing  confidence-interval  teaching 

t検定の場合、ほとんどのテキストによれば、母集団データは正規分布しているという仮定があります。なぜだかわかりません。t検定は、標本平均の標本分布が母集団ではなく正規分布であることのみを要求しませんか？ t検定が最終的にサンプリング分布の正規性のみを必要とする場合は、母集団は任意の分布のように見えますか？適切なサンプルサイズがある限り。それは中心極限定理が述べていることではありませんか？ （ここでは1標本または独立標本のt検定を参照しています）

9 hypothesis-testing  t-test  assumptions  normality-assumption  central-limit-theorem