タグ付けされた質問 「model-comparison」

ARIMAモデルと回帰モデルを比較する方法を見つけるのに本当に苦労しています。ARIMAモデルを相互に評価する方法と、さまざまなタイプの回帰モデル（つまり、回帰とARエラーを伴う動的回帰）を相互に評価する方法を理解していますが、ARIMAモデルと回帰モデルの評価指標の間には多くの共通点がありません。 彼らが共有する唯一の2つのメトリックは、SBCとAICです。ARIMAの出力は、ルートMSEの図もr ^ 2統計も生成しません。ARIMAモデルの標準誤差の推定値が、回帰出力内の何かと直接同等（または同等）であるかどうかはあまりわかりません。 私がここで本当に混乱しているので、誰かが私を正しい方向に向けることができればそれは素晴らしいことです。リンゴとオレンジを比較しようとしているような気がします。 この分析では、SASを使用しています。

8 arima  model-comparison  dynamic-regression 

TL; DR：ロジスティック回帰にBICのために正しい、凝集二項またはベルヌーイ？NNNNNN 最下部の更新 ロジスティック回帰を適用するデータセットがあるとします。例として、参加者がそれぞれm = 100のj=5j=5j=5グループがm=100m=100m=100、合計n=500n=500n=500であると想定します。結果は0または1です。たとえば、次のデータセット（Rコード）： library(dplyr) library(tidyr) set.seed(45) d <- tibble(y = rbinom(500, 1, .5), x = factor(rep(LETTERS[1:5], each = 100))) これを表すには2つの方法があります。上記のとおり、すべての観測をベルヌーイ確率変数として扱うか、グループ内の観測を集計して各観測を二項として扱います。データセットの行数は、最初のインスタンスでは500、2番目のインスタンスでは5になります。 集約されたデータセットを構築できます： d %>% group_by(x, y) %>% summarise(n = n()) %>% spread(y, n) %>% rename(f = `0`, s = `1`) %>% mutate(n = s + f) -> d_agg …

7 r  logistic  generalized-linear-model  model-comparison  bic 

問題 マシンによって生成された時系列データが2つのばらばらの期間にわたってあります-およそ2016年に1か月、2018年にもう1か月です。 各タイムステップで、観測された変数は観測された変数の別のセットで説明できるとドメインの専門家は仮定しています。tttYtYtY^tバツt1、… 、バツtdバツ1t、…、バツdtX_1^t, \ldots, X_d^t このプロセスが時間とともに変化したかどうかをどのようにテストできますか？変数分布が時間の経過とともに変化したかどうかをテストしようとしていないことに注意してください。との関係が時間とともに変化したかどうかをテストしたいと思います。YYYバツ私バツ私X_iYYY 現在のアプローチ を生成した基礎となるプロセスをモデル化する方法として、を指定してを予測するために、2016年のデータに時系列モデル（たとえば、ガウスプロセス）をたとします。YtYtY^tバツt1、… 、バツtdバツ1t、…、バツdtX_1^t, \ldots, X_d^tYtYtY^t ドメインの専門家は、おそらくこのモデルを使用して、2018年の与えられた場合の変数を予測し、残差を使用してモデル（2016年のプロセスを表す）がそうであることを推測できると示唆しました2018年も同じではありません。この時点以降の継続方法は不明です。YtYtY^tバツtバツtX^t 私が考えていること 2016年と2018年の残差が同じ分布から生成されているかどうかをテストする必要がありますか、それともKolmogorov-Smirnovテストなどを使用して適合度テストを実行する必要がありますか？このアプローチに関する私の懸念は、2018年のサンプル外のデータは2016年のサンプル内のトレーニングデータよりもエラーが大きくなる可能性が高いため、このテストでは誤検知が発生する可能性が高いということです。この影響を調整/説明する方法はありますか？ 2016年と2018年の2つのモデルを適合させ、これらの2つのモデルが「同じ」または「異なる」ことをテストする方法を使用する必要がありますか？たとえば、1つの可能性は、2016年と2018年のデータにそれぞれ当てはめられた2つのガウスプロセス間のKL発散を計算することです。このアプローチの他の提案や問題はありますか？ 共和分に関するいくつかの投稿を見ました。しかし、私はこの概念を完全に理解していません。これは関連していますか？ 一般に、この種の問題にどのように取り組むことができますか？私はこれをオンラインで検索してみましたが、クエリの精度が不足しているため（この領域についてはよく知らないため）、関連する結果が多く得られません。検索するトピック/キーワードに関する簡単なヒント/コメント、または目を通すための本/論文にも感謝します。 親切に私は発見的手法に基づく方法ではなく、原則的な（できれば統計的）アプローチを探していることに注意してください。良い例は、以下のChowテストとその変形を示唆する回答です。

7 time-series  hypothesis-testing  gaussian-process  model-comparison  structural-change 

私は、列車セットで70％の AUC、ホールドアウトテストセットで70％の AUC を実行するモデルを作成したチャレンジに参加しています。 他の参加者は、トレーニングセットでAUC を96％、ホールドアウトテストセットでAUC を76％実行するモデルを作成しました。 私の意見では、ホールドアウトセットと同じレベルで機能するため、私のモデルの方が優れています。Q：テストセットでの彼の76％は単なる偶然であり、別のホールドアウトテストセットでは彼のモデルのパフォーマンスが低下する可能性があると主張することは有効ですか？

7 validation  overfitting  model-comparison  auc  train