タグ付けされた質問 「aic」

AICとBICは両方とも、推定されたパラメーターの数に対してペナルティが課されるモデル適合を評価する方法です。私が理解しているように、BICはAICよりも無料のパラメーターに対してモデルに多くのペナルティを科します。基準の厳格さに基づく選好以外に、BICよりもAICを好む理由、またはその逆の理由はありますか？

222 modeling  aic  cross-validation  bic  model-selection 

自動モデル選択のアルゴリズムを実装したいと思います。私は段階的な回帰を行うことを考えていますが、何でもできます（ただし、線形回帰に基づいている必要があります）。 私の問題は、方法論やオープンソースの実装を見つけることができないことです（Javaで目が覚めています）。私が念頭に置いている方法論は次のようなものです。 すべての因子の相関行列を計算する 互いに相関の低い要因を選択する t-statが低い因子を削除する 他の要素を追加します（2。 いくつかの基準（AICなど）が特定のしきい値を超えるか、それ以上にならないか、より大きな値が見つからなくなるまで、何度も繰り返します。 このためのR実装（stepAIC）があることはわかっていますが、コードを理解するのは非常に困難です。また、段階的回帰を説明する記事を見つけることができませんでした。

193 references  feature-selection  model-selection  aic  stepwise-regression 

著者が5〜6個のロジット回帰モデルをAICと比較している原稿を実際にレビューしています。ただし、一部のモデルには、個々の共変量項を含まない相互作用項があります。これを行うのは理にかなっていますか？ 例（ロジットモデルに固有ではない）： M1: Y = X1 + X2 + X1*X2 M2: Y = X1 + X2 M3: Y = X1 + X1*X2 (missing X2) M4: Y = X2 + X1*X2 (missing X1) M5: Y = X1*X2 (missing X1 & X2) 相互作用用語X1 * X2がある場合、X1 + X2も必要であるという印象を受けていました。したがって、モデル1と2は問題ありませんが、モデル3〜5には問題があります（AICが低い場合でも）。これは正しいです？それはルールですか、それともガイドラインですか？この背後にある理由を説明する良い参考資料はありますか？レビューで重要なことを誤解しないようにしたいだけです。 考えをありがとう、ダン

68 regression  modeling  interaction  aic 

この質問に答える際に、 John Christieは、残差を評価することによりロジスティック回帰モデルの適合性を評価することを提案しました。OLSで残差を解釈する方法に精通しています。それらはDVと同じスケールであり、yとモデルによって予測されたyの差は非常に明確です。ただし、ロジスティック回帰では、残差がロジスティック回帰で何を意味するのかわからなかったため、過去にAICなどのモデル近似の推定値を調べてきました。見た後Rのヘルプファイル、私はRで利用できるGLM残差の5種類があることがわかり少しc("deviance", "pearson", "working","response", "partial")。ヘルプファイルは以下を参照します。 Davison、ACおよびSnell、EJ（1991）残差および診断。In：統計理論とモデリング。デイビッド・コックスS、FRS編 ヒンクリー、DV、リード、N。、スネル、EJ、チャップマン＆ホール。 私はそのコピーを持っていません。これらの各タイプの解釈方法を説明する簡単な方法はありますか？ロジスティックコンテキストでは、残差の二乗和がモデルの適合性の有意義な尺度を提供しますか、それとも情報量基準の方が良いでしょうか？

62 r  logistic  generalized-linear-model  residuals  aic 

p。彼のPRNNブライアンリプリーの34人は、「AICは赤池（1974）によって「情報基準」と命名されましたが、Aは赤池を表すと一般に信じられているようです」とコメントしています。実際、AIC統計を導入する際、赤池（1974、p.719）は次のように説明しています。 "IC stands for information criterion and A is added so that similar statistics, BIC, DIC etc may follow". この引用を1974年の予測として考えると、赤池（1977、1978）とシュワルツ（1978）によって、わずか4年で2種類のBIC統計（ベイジアンIC）が提案されたことに注目することは興味深いです。Spiegelhalterらがかかった。（2002）DIC（Deviance IC）を思い付くまでにはるかに長い。CIC基準の出現は赤池（1974年）によって予測されていませんでしたが、それが決して考慮されなかったと信じることは単純です。2005年にCarlos C. Rodriguezによって提案されました（R. TibshiraniとK. KnightのCIC（共分散インフレーション基準）は異なることに注意してください）。 EIC（経験的IC）が2003年頃にモナッシュ大学の人々によって提案されたことを知っていました。私は、Focused Information Criterion（FIC）を発見しました。一部の書籍では、HannanおよびQuinn ICをHICと呼んでいます。たとえば、これを参照してください）。GIC（Generalized IC）が必要であることは知っていますが、情報投資基準（IIC）を発見しました。NIC、TICなどがあります。 私はおそらくアルファベットの残りをカバーできると思うので、AIC、BIC、CIC、DIC、EIC、FIC、GIC、HIC、IIC、...のシーケンスがどこで停止するか、アルファベットの文字が何であるかを尋ねていません使用されていないか、少なくとも2回使用されていない（たとえば、EICのEは、ExtendedまたはEmpiricalを表します）。私の質問はもっと簡単で、もっと実用的になることを願っています。これらの統計を相互に交換して使用し、それらが導き出された特定の仮定、それらが適用されるはずの特定の状況などを無視できますか？ この質問の一部は、Burnham＆Anderson（2001）が次のように書いていることによるものです。 ...the comparison of AIC and BIC model selection ought to be based on their performance properties such as …

47 forecasting  model-selection  aic  bic 

2つの一般的な線形混合モデルを比較するために、AICとAICcを計算しました。AICは、モデル1がモデル2よりも低いAICである場合、正です。ただし、AICcの値は両方とも負です（モデル1は依然として<モデル2です）。負のAICc値を使用して比較することは有効ですか？

39 mixed-model  model-selection  aic 

私はここで素人の言葉で何を意味するかについていくつかの質問を見てきましたが、これらはここでの私の目的にはあまりにも素人です。AICスコアの意味を数学的に理解しようとしています。 しかし同時に、より重要なポイントを見ないようにする厳密な証拠は必要ありません。たとえば、これが微積分であれば、私は無限小に満足し、これが確率論であれば、測定理論なしに満足します。 私の試み ここを読んで、自分自身のいくつかの表記シュガー、は、次のようにデータセットD上のモデル AIC基準です： \ text {AIC} _ {m、D} = 2k_m- 2 \ ln（L_ {m、D}） ここで、k_mはモデルmのパラメーターの数、L_ {m、D}はデータセットDのモデルmの最尤関数値です。 m D AIC m 、D = 2 k m − 2 ln （L m 、D）k m m L m 、D m DAICm,DAICm,D\text{AIC}_{m,D}mmmDDDAICm,D=2km−2ln(Lm,D)AICm,D=2km−2ln⁡(Lm,D) \text{AIC}_{m,D} = 2k_m - 2 \ln(L_{m,D}) kmkmk_mmmmLm,DLm,DL_{m,D}mmmDDD 上記が意味するものの私の理解はここにあります： m=arg maxθPr(D|θ)m=arg …

34 self-study  model-selection  aic  entropy  information-theory 

次の二項応答と、予測子としてとを使用してロジスティック回帰を実行します。 X1X1X_1X2X2X_2 次の形式でベルヌーイ応答と同じデータを提示できます。 これら2つのデータセットのロジスティック回帰出力はほとんど同じです。逸脱残差とAICは異なります。（ヌル偏差と残留偏差の差は、両方の場合で同じです-0.228。） 以下は、Rからの回帰出力です。データセットはbinom.dataおよびbern.dataと呼ばれます。 これが二項出力です。 Call: glm(formula = cbind(Successes, Trials - Successes) ~ X1 + X2, family = binomial, data = binom.data) Deviance Residuals: [1] 0 0 0 Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) -2.9649 21.6072 -0.137 0.891 X1Yes -0.1897 2.5290 -0.075 0.940 X2 0.3596 1.9094 0.188 …

32 logistic  binomial  aic  bernoulli-distribution  deviance 

私の理解では、AICよりもpar約をより重視するということなので、私は通常BICを使用します。ただし、私は今、より包括的なアプローチを使用することを決定し、AICも使用したいと考えています。Raftery（1995）がBICの違いに関する優れたガイドラインを提示したことを知っています：0-2は弱い、2-4は1つのモデルが優れているという肯定的な証拠などです。 私は教科書を調べましたが、AICでは奇妙に見えます（差が大きいほど弱く、AICの差が小さいほど1つのモデルが優れているように見えます）。これは、私が教えられたことを知っていることに反します。私の理解では、AICを低くしたいということです。 RafteryのガイドラインがAICにも適用されるかどうか、またはあるモデルと別のモデルの「証拠の強さ」に関するガイドラインをどこで引用できるかを知っていますか？ そして、はい、カットオフは素晴らしいものではありません（私はそれらをいらいらさせます）が、それらは異なる種類の証拠を比較するときに役立ちます。

32 r  model-selection  references  aic  bic 

投げ縄回帰モデルや、パラメータが部分的にしか方程式に入力されていない他の正規化モデルのAICまたはBIC値を計算することは可能ですか？自由度をどのように決定しますか？ Rを使用して、投げ縄回帰モデルをパッケージのglmnet()関数に適合glmnetさせています。モデルのAIC値とBIC値を計算する方法を知りたいです。このようにして、値を正則化なしで適合するモデルと比較する場合があります。これは可能ですか？

31 r  model-selection  lasso  aic  bic 

例で問題を説明します。いくつかの属性（年齢、性別、国、地域、都市）を与えられた個人の収入を予測するとします。あなたはそのようなトレーニングデータセットを持っています train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID Age Gender Income 1 1 1 1 23 M 31 2 1 1 1 48 F 42 3 1 1 2 62 M 71 4 …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

赤池情報量基準（AIC）とc統計量（ROC曲線の下の面積）は、ロジスティック回帰に適合するモデルの2つの尺度です。2つの測定の結果に一貫性がない場合、何が起こっているのかを説明するのに苦労しています。彼らはモデル適合のわずかに異なる側面を測定していると思いますが、それらの特定の側面は何ですか？ 3つのロジスティック回帰モデルがあります。モデルM0にはいくつかの標準共変量があります。モデルM1はX1をM0に追加します。モデルM2は、X2をM0に追加します（したがって、M1とM2はネストされません）。 M0からM1とM2の両方へのAICの差は約15であり、X1とX2の両方がモデルの適合を改善し、ほぼ同じ量だけ改善することを示します。 c統計量は次のとおりです。M0、0.70。M1、0.73; M2 0.72。M0からM1へのc統計量の違いは重要ですが（DeLong et al 1988の方法）、M0からM2への違いは重要ではなく、X1はモデルの適合を改善しますが、X2はそうではありません。 X1は定期的に収集されません。X2は定期的に収集されることになっていますが、約40％のケースで欠落しています。X1の収集を開始するか、X2の収集を改善するか、両方の変数を削除するかを決定します。 AICから、変数はモデルに対して同様の改善を行うと結論付けます。完全に新しい変数（X1）の収集を開始するよりも、おそらくX2の収集を改善する方が簡単なので、X2収集の改善を目指します。しかし、c統計から、X1はモデルを改善し、X2は改善しないため、X2を忘れてX1の収集を開始する必要があります。 推奨事項は、どの統計に注目するかに依存するため、測定対象の違いを明確に理解する必要があります。 どんなアドバイスも歓迎します。

29 logistic  roc  aic  auc 

AIC（赤池の情報量基準）を使用して、Rの非線形モデルを比較しています。異なるタイプのモデルのAICを比較することは有効ですか？具体的には、glmで近似されたモデルと、glmer（lme4）で近似されたランダム効果項を持つモデルを比較しています。 そうでない場合、そのような比較を行う方法はありますか？または、アイデアは完全に無効ですか？

27 lme4-nlme  model-selection  aic 

で質問他の場所でこのサイトには、いくつかの答えは、AICは（LOO）クロスバリデーションを-1を残し、BICはK倍クロスバリデーションと同等であることと等価であることを述べました。これをRで経験的に実証する方法はありますか。LOOとKフォールドに関連する技術が明確になり、AICとBICの値と同等であることが実証されますか。この点に関しては、十分にコメントされたコードが役立ちます。また、BICのデモでは、lme4パッケージを使用してください。サンプルデータセットについては、以下を参照してください... library(lme4) #for the BIC function generate.data <- function(seed) { set.seed(seed) #Set a seed so the results are consistent (I hope) a <- rnorm(60) #predictor b <- rnorm(60) #predictor c <- rnorm(60) #predictor y <- rnorm(60)*3.5+a+b #the outcome is really a function of predictor a and b but not predictor …

26 r  aic  cross-validation  bic 

AICモデルの比較を機能させるために満たす必要がある正確な前提条件は何ですか？ このような比較をしたとき、私はこの質問に出くわしました。 > uu0 = lm(log(usili) ~ rok) > uu1 = lm(usili ~ rok) > AIC(uu0) [1] 3192.14 > AIC(uu1) [1] 14277.29 このようにしてlog、変数の変換を正当化しましたusili。しかし、たとえば従属変数が異なるときにモデルをAIC比較できるかどうかわかりませんか？ 理想的な答えには、前提条件（数学的な仮定）のリストが含まれます。

26 regression  model-selection  aic  model-comparison  nested-models