タグ付けされた質問 「aic」

したがって、変数の選択はモデル選択の一部であることを理解しています。しかし、モデル選択の正確な構成は何ですか？それは次のもの以上ですか？ 1）モデルの分布を選択する 2）説明変数を選択しますか？ これは、Burnham＆Anderson：AIC vs BICの記事で、モデル選択におけるAICとBICについての記事を読んでいるからです。この記事を読んで、「モデル選択」を「変数選択」と考えてきたことがわかります（コメントBICは真のモデルを見つけようとしますか？） 記事からの抜粋は、「一般性」の度合いが増加する12のモデルについて語っており、これらのモデルは、12のモデルに対してKL情報をプロットすると「テーパ効果」を示します（図1）。 異なる哲学とターゲット モデル... BICのターゲットはAICのターゲットモデルよりも一般的なモデルですが、ここでBICが最も頻繁に選択するモデルは、nが非常に大きくない限り、モデル7よりも一般的ではありません。モデル5または6である可能性があります（文献の多数の論文とシミュレーションから）、テーパー効果のコンテキスト（図1）では、AICはBICよりも優れていることが知られています。これが実際のデータ分析のコンテキストである場合は、AICを使用する必要があります。 どのようにBICことができ、これまで私は理解していないモデル選択におけるAICよりも複雑なモデルを選択してください！「モデル選択」とは具体的にどのようなもので、BICはAICよりも「一般的な」モデルを具体的に選択するのはいつですか？ 2 l n （N）k2ln（N）k2ln(N)k2 k2k2k 編集： のコメントの議論から、AICまたはBICを他よりも好む理由はありますか？コメントで@Michael Chernickと@ user13273の間に小さな議論があり、これはそれほど些細なことではないと信じています。 この議論を「機能」選択または「共変量」選択と呼ぶ方が適切だと思います。私にとって、モデルの選択は、エラーの分布、リンク関数の形式、共変量の形式の指定を含む、はるかに広範なものです。AIC / BICについて話すとき、通常、共変量の選択を除き、モデル構築のすべての側面が固定されている状況にあります。– user13273 12年8月13日21:17に モデルに含める特定の共変量の決定は、一般にモデル選択という用語で決まります。タイトルにモデル選択のある書籍が多数あり、主にモデルに含めるモデル共変量/パラメーターを決定しています。-マイケルチャーニック12年8月24日14:44で

12 feature-selection  model-selection  aic  bic 

ウィキペディアから、赤池の情報量基準（AIC）の定義がとしてあり。ここで、はパラメーターの数、\ log Lはモデルの対数尤度です。AIC=2k−2logLAIC=2k−2log⁡L AIC = 2k -2 \log L kkklogLlog⁡L\log L しかし、私たちの計量経済学は、尊敬されている大学で、述べてい。ここで、\ hat {\ sigma} ^ 2はARMAモデルの誤差の推定分散であり、Tは時系列データセットの観測値の数です。AIC=log(σ^2)+2⋅kTAIC=log⁡(σ^2)+2⋅kT AIC = \log (\hat{\sigma}^2) + \frac{2 \cdot k}{T} σ^2σ^2 \hat{\sigma}^2 TT T 後者の定義は最初の定義と同等ですが、単にARMAモデル用に調整されていますか？または、2つの定義の間に何らかの矛盾がありますか？

12 econometrics  aic  arma  information-theory 

非常に大きなデータセットがあり、約5％のランダムな値が欠落しています。これらの変数は互いに相関しています。次のRデータセットの例は、ダミーの相関データを使用した単なるおもちゃの例です。 set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, sep ="") rownames(xmat) <- paste("sample", 1:200, sep = "") #M variables are correlated N <- 2000000*0.05 # 5% random missing values inds <- round ( runif(N, 1, length(xmat)) …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

データの潜在状態の数を推定するために、隠れマルコフモデル（HMM）を近似しようとする時系列データセットがあります。これを行うための私の擬似コードは次のとおりです。 for( i in 2 : max_number_of_states ){ ... calculate HMM with i states ... optimal_number_of_states = "model with smallest BIC" ... } さて、通常の回帰モデルでは、BICは最もpar約的なモデルを好む傾向がありますが、HMMの場合、それが何をしているのかわかりません。BIC基準がどのようなHMMの傾向があるのか​​を実際に知っている人はいますか？また、AICと尤度値も取得できます。州の真の総数を推測しようとしているので、これらの基準の1つは、この目的のために他の基準よりも「優れている」のでしょうか。

12 r  aic  hidden-markov-model  bic  spss  manova  time-series  r  lme4-nlme  regression  modeling  negative-binomial  bayesian  bugs  state-space-models  hypothesis-testing  data-transformation  factor-analysis  sem 

共変量と分布族の同じセットが与えられた場合、異なるリンク関数を持つモデルをどのように比較できますか？ ここでの正しい答えは「AIC / BIC」だと思いますが、100％確信はありません。 異なるリンクがある場合、ネストされたモデルを持つことは可能ですか？

12 generalized-linear-model  aic  link-function 

AICは次のように定義され、θは最尤推定量であり、pはパラメータ空間の次元です。θの推定用A IC= − 2 ログ（L （θ^））+ 2 pA私C=−2ログ⁡（L（θ^））+2pAIC=-2 \log(L(\hat\theta))+2pθ^θ^\hat\thetapppθθ\theta、通常は密度の定数因子を無視します。これは、尤度を単純化するために、パラメーターに依存しない要因です。一方、この因子はAICの計算にとって非常に重要です。非ネストモデルを比較する場合、この因子は一般的ではないため、考慮しない場合、対応するAICの順序は異なる可能性があります。 ログ（L （θ^））ログ⁡（L（θ^））\log(L(\hat\theta))

12 model-selection  aic  nested-models 

AICまたはその他の情報基準の要点は、少ないほど良いということです。2つのモデルM1がある場合：y = a0 + XA + eおよびM2：y = b0 + ZB + uで、最初の（A1）のAICが2番目の（A2）のAICより小さい場合、M1は情報理論の観点からはより適切です。しかし、差異A1-A2のカットオフベンチマークはありますか？実際にはどれくらい少ないですか？言い換えれば、（A1-A2）の目玉検査以外のテストはありますか？ 編集：Peter / Dmitrij ...ご返信いただきありがとうございます。実際、これは私の実質的な専門知識が私の統計的な専門知識と矛盾している場合です。本質的に、問題は2つのモデルから選択するのではなく、ほぼ同等であることがわかっている2つの変数が同じ量の情報を追加するかどうかを確認することです（実際、最初のモデルの1つの変数と2番目のモデルのベクトル。それらのインデックスに対する変数の束。）。Dmitrijが指摘したように、最善の策はCox Testのようです。しかし、2つのモデルの情報内容の違いを実際にテストする方法はありますか？

12 regression  aic 

AIC統計の値が最小値の特定のしきい値内にあるモデルは、AIC統計を最小化するモデルとして適切であると見なす必要があることは、少なくとも一部の高水準の統計家の間で十分に確立されています。たとえば、[1、p.221]には、 次に、GCVまたはAICが小さいモデルが最適です。もちろん、GCVやAICを盲目的に最小化すべきではありません。むしろ、適度に小さいGCVまたはAIC値を持つすべてのモデルは、潜在的に適切であると見なされ、その単純さと科学的関連性に従って評価されるべきです。 同様に、[2、p.144]には、 最小値のc以内のAIC値を持つモデルは、競争力があると見なすべきであると提案されています（Duong、1984）（c = 2を典型的な値として）。競合モデルからの選択は、残差の白色度（セクション5.3）やモデルの単純さなどの要因に基づいて行うことができます。 参照： ルパート、D。ワンド、MP＆キャロル、RJ セミパラメトリック回帰、ケンブリッジ大学出版局、2003年 ブロックウェル、PJ＆デイビス、RA 時系列と予測入門、ジョンワイリー＆サンズ、1996 それでは、上記を踏まえて、以下の2つのモデルのどちらを優先する必要がありますか？ print( lh300 <- arima(lh, order=c(3,0,0)) ) # ... sigma^2 estimated as 0.1787: log likelihood = -27.09, aic = 64.18 print( lh100 <- arima(lh, order=c(1,0,0)) ) # ... sigma^2 estimated as 0.1975: log likelihood = -29.38, aic = 64.76 …

12 time-series  model-selection  aic 

どちらのRのドキュメントもあまり明らかにしていません。このリンクから得られることは、どちらを使用しても問題ないということです。私が得られないのは、なぜ彼らが等しくないのかです。 事実：Rのステップワイズ回帰関数はをstep()使用しextractAIC()ます。 興味深いことに、Rの 'mtcars'データセットでlm()モデルとglm()'null'モデル（切片のみ）を実行すると、AICとで異なる結果が得られextractAIC()ます。 > null.glm = glm(mtcars$mpg~1) > null.lm = lm(mtcars$mpg~1) > AIC(null.glm) [1] 208.7555 > AIC(null.lm) [1] 208.7555 > extractAIC(null.glm) [1] 1.0000 208.7555 > extractAIC(null.lm) [1] 1.0000 115.9434 上記の両方のモデルが同じであり、両方のモデルでAIC()同じ結果が得られることを考えると、奇妙です。 誰も問題にいくつかの光を投げることができますか？

11 r  regression  aic  stepwise-regression 

（1）で私が読書を楽しんだ質の高い本や論文を数多く提供しているChris Chatfieldは、次のアドバイスを提供しています。 たとえば、AICの値が低い値とほぼ等しいARIMA時系列モデルを選択する必要があります。これは、たまたま最小のAICを与えるのではなく、直近の年のデータの最良の予測を与えるものです。 そのようなアドバイスの根拠は何ですか？それが健全である場合、なぜforecast :: auto.arimaおよび他の予測ルーチンがそれに従っていないのですか？まだ実装されていませんか？すでにここで議論されているだけで最小を与えるために起こっモデルを探すために、AICはおそらく良いアイデアではないこと。 ARIMAモデルに低いがほぼ等しい（たとえば、最小AICの値が1または2以内）オプションは、多くの時系列予測ソフトウェアのデフォルトではないのはなぜですか？N ≥ 1ん≥1n\ge1 （1）Chatfield、C.（1991）。統計上の落とし穴を回避します。Statistical Science、6（3）、240–252。オンラインで入手可能、URL：https : //projecteuclid.org/euclid.ss/1177011686。

11 forecasting  model-selection  arima  aic 

3つの異なるグループ間の比率のデータを比較したい： ID Group Prop.Nitrogen 1 A 0.89 2 A 0.85 3 B 0.92 4 B 0.97 ウォートンとホイ（doi：10.1890 / 10-0340.1 1）に続いて、ロジット変換を使用してこれらのデータをより適切に処理できるかどうかを確認しました。 変換されたデータと変換されていないデータの線形モデルの診断プロットを見ると、それらは非常によく似ており、明らかな問題はなく、推定パラメーターにわずかな違いしかありません。ただし、モデルがデータの変換されたバージョンと変換されていないバージョンにどの程度適合しているかについては、もう少しお話ししたいと思います。AIC値を直接比較することはできません。修正はありますか？これを調べるために作成できますか？それとも別のアプローチを取るべきですか？

11 data-transformation  aic  fitting 

私は最近、同じ予測子/応答データに対して4つの多重回帰モデルを当てはめました。私がポアソン回帰で近似した2つのモデル。 model.pois <- glm(Response ~ P1 + P2 +...+ P5, family=poisson(), ...) model.pois.inter <- glm(Response ~ (P1 + P2 +...+ P5)^2, family=poisson(), ...) 私が負の二項回帰で近似するモデルの2つ。 library(MASS) model.nb <- glm.nb(Response ~ P1 + P2 +...+ P5, ...) model.nb.inter <- glm.nb(Response ~ (P1 + P2 +...+ P5)^2, ...) これらのモデルを比較するために使用できる統計検定はありますか？私はAICをフィットの尺度として使用してきましたが、これは実際のテストを表すものではありません。

11 regression  aic  count-data  likelihood-ratio  model-comparison 

AICを計算するために、人工ニューラルネットワークのパラメーター数を計算するにはどうすればよいですか？

11 neural-networks  aic 

Wikipediaのページには、ボックス・ジェンキンスは、時系列にARIMAモデルを適合させる方法であると述べています。ここで、時系列にARIMAモデルを適合させたい場合は、SASを開いてを呼び出しproc ARIMA、パラメーターを指定します。SASはAR係数とMA係数を提供します。これで、p 、d 、qのさまざまな組み合わせを試すことができます。SASを使用すると、各ケースで一連の係数が得られます。赤池情報量基準が最も低いセットを選択します。p,d,qp,d,qp,d,qp,d,qp,d,qp,d,q 私の質問は、上記の手順のどこでBox-Jenkinsを使用したかです。Box-Jenkinsを使用して、初期推定値を出すことになっていますか？それともSASは内部的に何らかの方法でそれを使用しましたか？p,d,qp,d,qp,d,q

10 time-series  arima  sas  aic  box-jenkins 

私はこの文献にあまり詳しくないので、これが明白な質問である場合はご容赦ください。 AICとBICは可能性を最大化することに依存しているため、特定のデータセットに適合させようとする一連のモデル間の相対比較を行う場合にのみ使用できるようです。私の理解によると、データセット1でモデルAのAICを計算し、データセット2でモデルBのAICを計算してから、2つのAIC値を比較してそれを判断することは意味がありません（たとえば）モデルAは、モデルBがデータセット2よりもデータセット1に適しています。または、おそらく私は誤っており、それは妥当なことです。私にお知らせください。 私の質問はこれです：単なる相対比較の代わりに絶対に使用できるモデル適合統計が存在しますか？線形モデルの場合、ようなものが機能します。定義された範囲があり、「良い」値とは何かに関する特定のアイデアを規律しています。もっと一般的なものを探しているので、ここから専門家にpingを送信することから始められると思いました。誰かがこのようなことを以前に考えたことがあると思いますが、Google Scholarで生産的な検索を行うための適切な用語がよくわかりません。R2R2R^2 任意の助けいただければ幸いです。

10 model-selection  aic  bic