タグ付けされた質問 「model-comparison」

共通のデータセットに適合する2つ以上のモデルを比較する。これは、「モデル選択」のプロセスの一部にすることができます。

3
AICモデル比較の前提条件
AICモデルの比較を機能させるために満たす必要がある正確な前提条件は何ですか? このような比較をしたとき、私はこの質問に出くわしました。 > uu0 = lm(log(usili) ~ rok) > uu1 = lm(usili ~ rok) > AIC(uu0) [1] 3192.14 > AIC(uu1) [1] 14277.29 このようにしてlog、変数の変換を正当化しましたusili。しかし、たとえば従属変数が異なるときにモデルをAIC比較できるかどうかわかりませんか? 理想的な答えには、前提条件(数学的な仮定)のリストが含まれます。

3
線形混合モデルの落とし穴
線形混合効果モデルを使用する主な落とし穴は何ですか?モデルの適切性を評価する際にテスト/注意する最も重要なことは何ですか?同じデータセットのモデルを比較する場合、探すべき最も重要なことは何ですか?

3
2つの離散フーリエ変換の類似性?
気候モデリングでは、地球の気候を適切に描写できるモデルを探しています。これには、半周期的なパターン(エルニーニョ南方振動など)の表示が含まれます。ただし、モデル検証は通常、比較的短い期間にわたって行われ、そこには適切な観測データがあります(過去150年以内)。これは、モデルが適切なパターンを表示しているが、位相がずれている可能性があることを意味します。そのため、相関などの線形比較では、モデルのパフォーマンスは良好ではありません。 このような周期的なパターンを検出するために、一般的に離散フーリエ変換が気候データの分析に使用されます(ここに例を示します)。検証ツールとして使用できる2つのDFTの類似性の標準的な尺度はありますか(つまり、モデルのDFTと観測のDFTの比較)。 2つの面積正規化DFTの最小値の積分を取ることは理にかなっていますか(絶対実数値を使用)。私はこのスコアをもたらすであろうと思う、X = 1X ∈ [ 0 、1 ]バツ∈[0、1]x\in[0,1]x = 1⟹バツ=1⟹x=1\impliesまったく同じパターン、およびx = 0⟹バツ=0⟹x=0\implies全く異なるパターン。そのような方法の欠点は何でしょうか?

5
予測に複数のモデルを使用する場合
これはかなり一般的な質問です。 私は通常、複数の異なるモデルを使用すると、サンプルから時系列を予測しようとするときに1つのモデルよりも優れていることを発見しました。モデルの組み合わせが単一のモデルよりも優れていることを示す良い論文はありますか?複数のモデルを組み合わせるのにベストプラクティスはありますか? いくつかの参照: Hui Zoua、Yuhong Yang 「予測のための時系列モデルの組み合わせ」 International Journal of Forecasting 20(2004)69– 84



2
2つの線形回帰モデルの比較
2つの異なる条件下でのmRNAの経時的な分解率を表す2つの線形回帰モデルを比較したいと思います。各モデルのデータは個別に収集されました。 これがデータセットです。 時間(時間)ログ(処理A)ログ(処理B) 0 2.02 1.97 0 2.04 2.06 0 1.93 1.96 2 2.02 1.91 2 2.00 1.95 2 2.07 1.82 4 1.96 1.97 4 2.02 1.99 4 2.02 1.99 6 1.94 1.90 6 1.94 1.97 6 1.86 1.88 8 1.93 1.97 8 2.12 1.99 8 2.06 1.93 12 1.71 …

4
複数のグループの平均を比較するANOVAとネストされたモデルを比較するANOVAの関係は何ですか?
これまで、ANOVAが2つの方法で使用されるのを見てきました。 まず、私の紹介統計テキストでは、平均の1つに統計的有意差があるかどうかを判断するために、ペアワイズ比較に対する改善として、3つ以上のグループの平均を比較する方法としてANOVAが導入されました。 第二に、私の統計学習テキストでは、ANOVAが2つ(またはそれ以上)のネストされたモデルを比較して、モデル2の予測子のサブセットを使用するモデル1がデータに等しく適合するか、または完全なモデル2が優れています。 今、私は何らかの方法でこれら2つの事柄が両方ともANOVAテストを使用しているため、実際には非常によく似ていると思いますが、表面上はかなり異なっているように見えます。1つは、最初の使用で3つ以上のグループを比較し、2つ目の方法では2つのモデルのみを比較できることです。誰かがこれらの2つの使用法の関係を解明してくれませんか?

3
カウントデータの回帰モデルの比較
私は最近、同じ予測子/応答データに対して4つの多重回帰モデルを当てはめました。私がポアソン回帰で近似した2つのモデル。 model.pois <- glm(Response ~ P1 + P2 +...+ P5, family=poisson(), ...) model.pois.inter <- glm(Response ~ (P1 + P2 +...+ P5)^2, family=poisson(), ...) 私が負の二項回帰で近似するモデルの2つ。 library(MASS) model.nb <- glm.nb(Response ~ P1 + P2 +...+ P5, ...) model.nb.inter <- glm.nb(Response ~ (P1 + P2 +...+ P5)^2, ...) これらのモデルを比較するために使用できる統計検定はありますか?私はAICをフィットの尺度として使用してきましたが、これは実際のテストを表すものではありません。

1
観測48で革新的な異常値をARIMAモデルに組み込むにはどうすればよいですか?
私はデータセットに取り組んでいます。いくつかのモデル識別手法を使用した後、私はARIMA(0,2,1)モデルを思いつきました。 R detectIOのパッケージの関数を使用して、元のデータセットの48回目の観測で革新的な外れ値(IO)TSAを検出しました。 この外れ値をモデルに組み込んで、予測に使用するにはどうすればよいですか?Rではそれから予測を行うことができない可能性があるため、ARIMAXモデルを使用したくありません。これを行う方法は他にありますか? これが私の値です。 VALUE <- scan() 4.6 4.5 4.4 4.5 4.4 4.6 4.7 4.6 4.7 4.7 4.7 5.0 5.0 4.9 5.1 5.0 5.4 5.6 5.8 6.1 6.1 6.5 6.8 7.3 7.8 8.3 8.7 9.0 9.4 9.5 9.5 9.6 9.8 10.0 9.9 9.9 9.8 9.8 9.9 9.9 9.6 9.4 …
10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

1
負の二項モデルと準ポアソンの比較
仮説検定アプローチに基づいて、負の二項モデルと準ポアソンモデルを実行しました。両方の方法を使用する私の最終モデルには、異なる共変量と交互作用があります。どちらの場合も残差をプロットするときにパターンがないようです。したがって、準ポアソンには可能性またはAICがないため、どのモデルが私のデータによりよく適合するかを確認するためにどのテストを使用できるか疑問に思いました… また、私は負の二項式がより適切であると私に思わせる過剰分散がたくさんありますが、常識に基づいてモデルを選択できるかどうかわかりません…

1
時系列予測パフォーマンスの評価
いくつかの時間変数でトレーニングされた動的単純ベイズモデルがあります。モデルの出力はの予測でありP(Event) @ t+1、それぞれで推定されますt。 P(Event)対のプロットtimeは、次の図に示すとおりです。この図では、黒い線P(Event)が私のモデルで予測されたものを表しています。水平な赤い線は、イベント出来事の事前確率を表します。縦の点線は、時系列での(5つの)イベント発生を表します。 理想的には、P(Event)イベントを観察する前に予測ピークを確認し、イベントの見込みがない場合はゼロに近いままにしたいです。 イベントの発生を予測する上で、モデル(黒い線)のパフォーマンスを報告できるようにしたいと思います。私のモデルと比較する明らかな候補は、イベントの事前確率(赤い線)です。これは、予測子として使用した場合、すべてに対して同じ確率値を予測しますt。 この比較を達成するための最良の正式な方法は何ですか? PS:私は現在、以下にコード化されている(直感的な)スコアリングを使用しています。スコアが全体的に低いほど、予測パフォーマンスが良いことを示しています。このスコアリングで以前のものを倒すのは実際にはかなり難しいことがわかりました: # Get prediction performance model_score = 0; prior_score=0; for t in range(len(timeSeries)): if(timeSeries[t]== event): # event has happened cur_model_score = 1- prob_prediction[t]; cur_prior_score = 1 - prior else: # no event cur_model_score = prob_prediction[t] - 0; cur_prior_score = prior - 0; model_score …

2
フィッティングなしでモデルを比較するにはどうすればよいですか?
自然科学では、回帰と機械学習を使用して、仮説をテストし、パラメーターを推定し、モデルをデータに適合させることで予測を行います。ただし、アプリオリモデルがある場合は、フィッティングを行いたくありません。たとえば、第一原理から計算された決定論的な物理システムのモデルなどです。モデルがデータとどの程度一致しているかを知り、モデルのどの部分が一致に大きく貢献しているかを知りたいだけです。誰かがこれを行うための統計的に厳密な方法に私を向けることができますか? より具体的な用語で、私は従属変数の測定対象の物理的システムがあると( 1からの範囲様々な条件下では、サンプルサイズ)は、3つの独立変数によって記述、、および。データを生成した実際のシステムは複雑ですが、システムの理論モデルを導出するためにいくつかの簡略化の仮定を行いました。yiyiy_iiiinnnx1,ix1,ix_{1,i}x2,ix2,ix_{2,i}x3,ix3,ix_{3,i}fff yi=f(x1,i,x2,i,x3,i)+ϵiyi=f(x1,i,x2,i,x3,i)+ϵiy_i = f(x_{1,i}, x_{2,i}, x_{3,i}) + \epsilon_i、 ここで、は独立変数の非線形(線形化可能ではない)関数であり、はモデルの予測値と測定値の差です。は完全に事前に指定されています。フィッティングは行われず、パラメーターは推定されません。私の最初の目標は、が測定値を生成したプロセスの妥当なモデルであるかどうかを判断することです。fffϵiϵi\epsilon_iffffffyiyiy_i また、簡略化されたモデルとも開発しました。これらはネストされています(この場合重要です)。私の2番目の目標は、fがgまたはhよりもはるかによくデータと一致するかどうかを判断することです。モデルfをモデルgおよびhと区別する機能がy iを生成するプロセスで重要な役割を果たすことを示唆しています。g(x1,i,x2,i)g(x1,i,x2,i)g(x_{1,i}, x_{2,i})h(x1,i)h(x1,i)h(x_{1,i})ffffffggghhhfffggghhhyiyiy_i これまでのアイデア おそらく、私の数学モデルのパラメーターの数または自由度の数を決定する方法があった場合、尤度比検定やAIC比較などの既存の手順を使用することが可能です。ただし、fffの非線形形式と明らかなパラメーターがないため、パラメーターを割り当てるのが妥当であるか、それとも自由度を構成するものを想定するのが妥当かどうかはわかりません。 決定係数(R2R2R^2)などの適合度の測定値を使用して、モデルのパフォーマンスを比較できることを読みました。ただし、R2R2R^2値間の有意差のしきい値が何であるかは、私にはわかりません。さらに、モデルをデータに適合させていないため、残差の平均はゼロではなく、モデルごとに異なる場合があります。したがって、データを過小予測する傾向があるよく一致するモデルは、偏りはないがデータとの一致が不十分なモデルと同じくらいR2R2R^2値が低くなる可能性があります。 適合度テスト(例:Anderson-Darling)についても少し読んだことがありますが、統計は私の分野ではないので、このタイプのテストが私の目的にどれだけ適しているかはわかりません。どんなガイダンスもいただければ幸いです。

1
高校でのベイズモデルの比較
私は高校生に物理学を教えています。生徒たちに、実験のデータについて初歩的なベイズモデル比較を行ってもらいたいと思います。私は彼らがそうする方法を考え出しました(以下を参照)が、それが正しいかどうかはわかりません。私はそれについてのフィードバック(特に否定的なフィードバック!)、またはそれをより良くする方法についての提案をいただければ幸いです。 勾配aaaと切片パラメーターを持つ線形理論bbbを、定数の帰無仮説、つまり勾配aaa = 0 と比較します。どちらの場合も、ガウス対称ノイズを想定しています。 学生は、Excel、勾配と切片のための最尤推定値(使用して、導き出すことができ、およびBを)、およびそのエラーがdのとD Bを。a^a^\hat{a}b^b^\hat{b}dadadadbdbdb 斜面上の前のため、私は、広いガウス分布を考慮し、最大=尤推定(を中心)とその10倍の標準偏差。私の推論は、現実的には「正しい」ラインパラメータを少なくとも1マグニチュード内に見つけることを期待しており、実際にはより近いものを見つけるため、「正しい」スロープをMLEに置き換えても変更しません数が多すぎます。a^a^\hat{a} いずれかの特定の線形理論与えられた証拠の可能性のために、私は、標準偏差(と、標準の多変量ガウス分布を考慮しての二乗残差和に関連します)。σeσe\sigma_e したがって、一般的に線形理論の証拠の尤度、つまり上記の事前確率と尤度の積分は、MLEポイントでの事前尤度と尤度に勾配誤差を掛けたものと推定されます。dadada 帰無仮説所与の証拠の可能性について(全標準偏差を用いて、他の多変量ガウス分布であると仮定される平均-Yとの差に基づいて、)。σTσT\sigma_T これは、私が確信が持てない部分です。ベイズ係数を上記の2つの尤度(上記の3と4)の比率であると推定します。これにより、次の式を考え出すことができます。 B10= da(10 | a^| ⋅ 2 π√)(σT/ σe)N⋅ E√B10=da(10|a^|⋅2π)(σT/σe)N⋅eB_{10}=\frac{da}{(10 |\hat{a}| \cdot \sqrt{2 \pi})}(\sigma_T/\sigma_e)^N\cdot \sqrt{e} これにより、ベイズ因子の合理的な推定が得られますか?どんなフィードバックでも大歓迎です。

2
膨大なデータセットが与えられた場合、なぜ統計モデルは過剰適合しますか?
現在のプロジェクトでは、特定のグループの行動を予測するモデルを構築する必要があるかもしれません。トレーニングデータセットには6つの変数のみが含まれます(idは識別目的のみです)。 id, age, income, gender, job category, monthly spend その中で monthly spend応答変数です。ただし、トレーニングデータセットには約300万行が含まれid, age, income, gender, job category、予測されるデータセット(応答変数は含まれるが、含まれない)には100万行が含まれます。私の質問は、統計モデルにあまりにも多くの行(この場合は300万行)を投げた場合に潜在的な問題はありますか?計算コストが懸念事項の1つであることを理解していますが、他に懸念事項はありますか?データセットのサイズの問題を完全に説明している本/紙はありますか?
8 modeling  large-data  overfitting  clustering  algorithms  error  spatial  r  regression  predictive-models  linear-model  average  measurement-error  weighted-mean  error-propagation  python  standard-error  weighted-regression  hypothesis-testing  time-series  machine-learning  self-study  arima  regression  correlation  anova  statistical-significance  excel  r  regression  distributions  statistical-significance  contingency-tables  regression  optimization  measurement-error  loss-functions  image-processing  java  panel-data  probability  conditional-probability  r  lme4-nlme  model-comparison  time-series  probability  probability  conditional-probability  logistic  multiple-regression  model-selection  r  regression  model-based-clustering  svm  feature-selection  feature-construction  time-series  forecasting  stationarity  r  distributions  bootstrap  r  distributions  estimation  maximum-likelihood  garch  references  probability  conditional-probability  regression  logistic  regression-coefficients  model-comparison  confidence-interval  r  regression  r  generalized-linear-model  outliers  robust  regression  classification  categorical-data  r  association-rules  machine-learning  distributions  posterior  likelihood  r  hypothesis-testing  normality-assumption  missing-data  convergence  expectation-maximization  regression  self-study  categorical-data  regression  simulation  regression  self-study  self-study  gamma-distribution  modeling  microarray  synthetic-data 

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.