タグ付けされた質問 「model-selection」

AIC統計の値が最小値の特定のしきい値内にあるモデルは、AIC統計を最小化するモデルとして適切であると見なす必要があることは、少なくとも一部の高水準の統計家の間で十分に確立されています。たとえば、[1、p.221]には、 次に、GCVまたはAICが小さいモデルが最適です。もちろん、GCVやAICを盲目的に最小化すべきではありません。むしろ、適度に小さいGCVまたはAIC値を持つすべてのモデルは、潜在的に適切であると見なされ、その単純さと科学的関連性に従って評価されるべきです。 同様に、[2、p.144]には、 最小値のc以内のAIC値を持つモデルは、競争力があると見なすべきであると提案されています（Duong、1984）（c = 2を典型的な値として）。競合モデルからの選択は、残差の白色度（セクション5.3）やモデルの単純さなどの要因に基づいて行うことができます。 参照： ルパート、D。ワンド、MP＆キャロル、RJ セミパラメトリック回帰、ケンブリッジ大学出版局、2003年 ブロックウェル、PJ＆デイビス、RA 時系列と予測入門、ジョンワイリー＆サンズ、1996 それでは、上記を踏まえて、以下の2つのモデルのどちらを優先する必要がありますか？ print( lh300 <- arima(lh, order=c(3,0,0)) ) # ... sigma^2 estimated as 0.1787: log likelihood = -27.09, aic = 64.18 print( lh100 <- arima(lh, order=c(1,0,0)) ) # ... sigma^2 estimated as 0.1975: log likelihood = -29.38, aic = 64.76 …

12 time-series  model-selection  aic 

私は、いくつかの変数が複数のレベルを持つカテゴリー変数である、単純なAICベースの後方消去モデルを実行しています。これらの変数は、ダミー変数のセットとしてモデル化されます。後方消去を行うとき、変数のすべてのレベルを一緒に削除する必要がありますか？または、各ダミー変数を個別に処理する必要がありますか？なぜ？ 関連する質問として、Rのステップは、後方削除を行うときに各ダミー変数を個別に処理します。カテゴリ変数全体を一度に削除したい場合、stepを使用して削除できますか？それともこれを処理できるステップの代わりはありますか？

12 model-selection 

私のデータでベイジアンモデルを実行するためにPyMC3を使用しています。 私はベイジアンモデリングに不慣れですが、このサイトのいくつかのブログ投稿、Wikipedia、およびQAによると、ベイズ係数とBIC基準を使用して、データを最もよく表すモデル（生成するモデル）を選択できるようにする有効なアプローチのようです私のデータ）。 ベイズ係数を計算するには、比較するモデルの相対的な尤度が必要です。少し混乱するかもしれませんが、可能性を得るには2つの方法があると思います（間違っている場合は修正してください）。 モデルが単純な場合の代数的方法：ウィキペディアのベイズ因子の例のページを参照 数値的な方法：これは、MCMCアルゴリズムでPyMC3を実行する方法です。 PyMC3で尤度にアクセスしてモデルを比較するにはどうすればよいですか？私model.logpは、ドキュメントによると、「対数確率密度関数」である方法を見つけました。それを使用して可能性を取得できますか？ おまけの質問：2つのモデルを比較すると、両方の尤度の比率が計算されます。複数のモデルを比較したい場合はどうなりますか？ PyMC3の具体的な例は非常に役立ちます。

11 bayesian  model-selection  pymc 

私は明らかに二峰性の値の分布を持っています。データは、2つの通常の関数（バイモーダル）または3つの通常の関数のいずれかにうまく適合できます。さらに、データを3でフィッティングするのにもっともらしい物理的な理由があります。 導入されるパラメータが多いほど、フィットはより完璧になります。十分な定数があれば、「象にフィット」できます。 これが分布であり、3つの正規（ガウス）曲線の合計に適合します。 これらは各適合のデータです。適合を判断するためにここでどのテストを適用する必要があるかわかりません。データは91点で構成されています。 1通常機能： RSS：1.06231 X ^ 2：3.1674 Fテスト：0.3092 2通常の機能： RSS：0.010939 X ^ 2：0.053896 F.テスト：0.97101 3通常機能： RSS：0.00536 X ^ 2：0.02794 Fテスト：0.99249 これらの3つの近似のどれが最適かを決定するために適用できる正しい統計検定は何ですか？明らかに、1つの通常の関数近似は不十分です。では、どうすれば2と3を区別できますか？ 加えて、私は主にこれをExcelと小さなPythonで行っています。私はまだRや他の統計言語に慣れていません。

11 distributions  normal-distribution  model-selection  overfitting 

私は最近オンライン学習についてもっと学びたいと思っています（それは本当に魅力的です！）、私が十分に理解できていないテーマの1つは、オフラインとオンラインのコンテキストでのモデル選択について考える方法です。具体的には、固定データセット基づいて分類子オフラインでトレーニングするとします。たとえば、相互検証によってそのパフォーマンス特性を推定し、この方法で最適な分類子を選択します。SSSDDD これは私が考えていたものです。それでは、をオンライン設定に適用するにはどうすればよいのでしょうか。オフラインで見つかった最高のがオンライン分類子としてもうまく機能すると想定できますか？をトレーニングするためにいくつかのデータを収集し、同じ分類子を取得し、で見つかった同じパラメーターを使用してオンライン設定で「操作」することは理にかなっていますか？これらの場合の警告は何ですか？ここで重要な結果は何ですか？などなど。SSSSSSSSSSSSDDD とにかく、それがそこにあるので、私が探しているのは、私（そしてうまくいけば、このようなことについて考えていた他の人）がオフラインで考えることから移行するのに役立ついくつかの参照またはリソースです、そして私の読書が進むにつれて、モデル選択の問題とこれらの質問をより首尾一貫した方法で考える精神的枠組みを開発します。

11 machine-learning  model-selection  online 

（1）で私が読書を楽しんだ質の高い本や論文を数多く提供しているChris Chatfieldは、次のアドバイスを提供しています。 たとえば、AICの値が低い値とほぼ等しいARIMA時系列モデルを選択する必要があります。これは、たまたま最小のAICを与えるのではなく、直近の年のデータの最良の予測を与えるものです。 そのようなアドバイスの根拠は何ですか？それが健全である場合、なぜforecast :: auto.arimaおよび他の予測ルーチンがそれに従っていないのですか？まだ実装されていませんか？すでにここで議論されているだけで最小を与えるために起こっモデルを探すために、AICはおそらく良いアイデアではないこと。 ARIMAモデルに低いがほぼ等しい（たとえば、最小AICの値が1または2以内）オプションは、多くの時系列予測ソフトウェアのデフォルトではないのはなぜですか？N ≥ 1ん≥1n\ge1 （1）Chatfield、C.（1991）。統計上の落とし穴を回避します。Statistical Science、6（3）、240–252。オンラインで入手可能、URL：https : //projecteuclid.org/euclid.ss/1177011686。

11 forecasting  model-selection  arima  aic 

要約統計量の使用に起因するエラーが存在するため、ベイズ因子を使用したABCモデルの選択は推奨されないことが示されています。このホワイトペーパーの結論は、ベイズ因子を近似する一般的な方法（アルゴリズム2）の動作の研究に依存しています。 ベイズ因子がモデル選択を行う唯一の方法ではないことはよく知られています。モデルの予測パフォーマンスなど、関心のある他の機能があります（スコアリングルールなど）。 私の質問は、複雑な尤度のコンテキストで予測パフォーマンスの観点からモデル選択を行うために使用できるいくつかのスコアリングルールまたは他の量を近似するためのアルゴリズム2に類似した方法はありますか？

11 bayesian  model-selection  prediction  abc 

免責事項：これは宿題プロジェクトのためのものです。 私はいくつかの変数に応じて、ダイヤモンドの価格に最適なモデルを考え出そうとしていますが、今のところかなり良いモデルを持っているようです。ただし、明らかに同一線上にある2つの変数に遭遇しました。 >with(diamonds, cor(data.frame(Table, Depth, Carat.Weight))) Table Depth Carat.Weight Table 1.00000000 -0.41035485 0.05237998 Depth -0.41035485 1.00000000 0.01779489 Carat.Weight 0.05237998 0.01779489 1.00000000 TableとDepthは互いに依存していますが、それでも予測モデルに含めたいと思います。ダイヤモンドについて調べてみたところ、表と深さは、ダイヤモンドの上部を横切る長さと、ダイヤモンドの上部から下部までの距離です。ダイヤモンドのこれらの価格は美しさに関連しているようであり、美しさは関連している比率であると思われるので、私はそれらの比率を含めるつもりでした、たとえば価格を予測するには、 D e p t hを使用します。共線変数を処理するためのこの標準的な手順ですか？そうでない場合、何ですか？TableDepthTableDepth\frac{Table}{Depth} 編集：これは、深さ〜テーブルのプロットです：

11 regression  correlation  self-study  model-selection  multicollinearity 

2つのモデルAとBがあり、AがBにネストされている場合、いくつかのデータが与えられれば、MLEを使用してAとBのパラメーターを近似し、一般化対数尤度比検定を適用できることを理解しています。特に、テストの分布は自由度である必要があります。ここで、はとが持つパラメーターの数の差です。 N N A Bχ2χ2\chi^2んnnんnnあAABBB ただし、とのパラメーター数が同じで、モデルがネストされていない場合はどうなりますか？つまり、それらは単に異なるモデルです。尤度比検定を適用する方法はありますか、それとも何か他のことができますか？BあAABBB

10 maximum-likelihood  model-selection  likelihood-ratio 

を使用して、元のフルモデルから3つの縮小モデルを取得しました 前方選択 後方消去 L1ペナルティテクニック（LASSO） 順方向選択/逆方向除去を使用して取得したモデルの場合、で利用可能なCVlmパッケージのをDAAG使用して、予測誤差のクロス検証された推定値を取得しましたR。LASSOで選択したモデルにはを使用しましたcv.glm。 LASSOの予測誤差は、他の誤差よりも少なかった。したがって、LASSOを介して取得したモデルは、予測能力と変動性の点で優れているようです。これは常に発生する一般的な現象ですか、それとも問題固有ですか？これが一般的な現象である場合、これの理論的な理由は何ですか？

10 cross-validation  model-selection  lasso  stepwise-regression 

有意な相関がある2変量応答があるとします。これらの結果をモデル化する2つの方法を比較しようとしています。1つの方法は、2つの結果の違いをモデル化することです： 別の方法は、それらを使用またはモデル化することです： （Y 、I 、J = β 0 + 時間+ X ' β ）(yi2−yi1=β0+X′β)(yi2−yi1=β0+X′β)(y_{i2}-y_{i1}=\beta_0+X'\beta)glsgee(yij=β0+time+X′β)(yij=β0+time+X′β)(y_{ij}=\beta_0+\text{time}+X'\beta) fooの例を次に示します。 #create foo data frame require(mvtnorm) require(reshape) set.seed(123456) sigma <- matrix(c(4,2,2,3), ncol=2) y <- rmvnorm(n=500, mean=c(1,2), sigma=sigma) cor(y) x1<-rnorm(500) x2<-rbinom(500,1,0.4) df.wide<-data.frame(id=seq(1,500,1),y1=y[,1],y2=y[,2],x1,x2) df.long<-reshape(df.wide,idvar="id",varying=list(2:3),v.names="y",direction="long") df.long<-df.long[order(df.long$id),] df.wide$diff_y<-df.wide$y2-df.wide$y1 #regressions fit1<-lm(diff_y~x1+x2,data=df.wide) fit2<-lm(y~time+x1+x2,data=df.long) fit3<-gls(y~time+x1+x2,data=df.long, correlation = corAR1(form = ~ 1 | time)) …

10 r  regression  model-selection 

より良い私の質問をするために、私は16変数モデル（両方からの出力のいくつか提供しているfit）と17変数モデル（fit2下記）を（これらのモデル内のすべての予測変数は、これらのモデル間の唯一の違いはそれがどこにあるか、連続してfitいません変数17（var17）を含む）： fit Model Likelihood Discrimination Rank Discrim. Ratio Test Indexes Indexes Obs 102849 LR chi2 13602.84 R2 0.173 C 0.703 0 69833 d.f. 17 g 1.150 Dxy 0.407 1 33016 Pr(> chi2) <0.0001 gr 3.160 gamma 0.416 max |deriv| 3e-05 gp 0.180 tau-a 0.177 Brier 0.190 fit2 Model Likelihood Discrimination …

10 r  regression  logistic  model-selection  large-data 

分類問題には2つの学習方法とBがあり、交差検証やブートストラップを繰り返して、それらの一般化パフォーマンスを推定するとします。このプロセスから、これらの繰り返しにわたる各メソッドのスコアP AおよびP Bの分布を取得します（たとえば、各モデルのROC AUC値の分布）。あAABBB PあPAP_APBPBP_B これらの分布を見ると、それはその可能性が が、そのσ A ≥ σ B（すなわちの予想汎化性能をAがより高いBが、この見積りの詳細不確実性があること）。μあ≥ μBμA≥μB\mu_A \ge \mu_BσA≥σBσA≥σB\sigma_A \ge \sigma_BAAABBB これは回帰のバイアス分散ジレンマと呼ばれていると思います。 P AとP Bを比較し、最終的にどのモデルを使用するかについて情報に基づいた決定を行うには、どのような数学的な方法を使用できますか？PAPAP_APBPBP_B 注：簡単にするために、ここでは2つの方法とBを参照していますが、約1000の学習方法のスコアの分布を比較するために使用できる方法（たとえばグリッド検索から）に興味があり、最終的に使用するモデルに関する最終決定。AAABBB

10 cross-validation  model-selection 

ロジスティック回帰の複数の交差検証フォールド、および各回帰係数の結果の複数の推定が与えられた場合、予測子（または予測子のセット）が安定しているか、または回帰係数に基づいて意味があるかどうかをどのように測定すべきか？これは線形回帰では異なりますか？

10 regression  model-selection  cross-validation 

RのrandomForestパッケージを使用してランダムフォレストモデルを開発し、サンプルよりも多くの予測子を持つ「広い」データセットで継続的な結果を説明しようとしています。 具体的には、1つのRFモデルをフィッティングして、重要と思われる75個までの予測変数のセットから手順を選択できるようにしています。 以前にここに投稿したアプローチを使用して、予約済みテストセットの実際の結果をモデルがどの程度予測できるかをテストしています。 ...またはR： 1 - sum((y-predicted)^2)/sum((y-mean(y))^2) しかし、これで追加できる〜25の予測変数が追加されました。〜100の予測子のセットを使用すると、R²が高くなります。これを統計的にテストしたいのですが、言い換えると、〜100の予測子のセットを使用した場合、モデルのテストは、〜75の予測子を使用したモデルの近似よりもデータのテストで大幅に優れています。つまり、RFモデルのテストから得られたR²は、完全なデータセットに適合し、削減されたデータセットでのRFモデルのテストから得られたR²よりも大幅に高くなります。 これはパイロットデータであり、追加の25の予測子を取得するのは高価であり、大規模な追跡調査でこれらの予測子を測定するために支払う必要があるかどうかを知る必要があるため、これは私にとってテストにとって重要です。 なんらかのリサンプリング/順列アプローチを考えているのですが、何も思い浮かびません。

10 r  machine-learning  hypothesis-testing  model-selection  random-forest