タグ付けされた質問 「model-selection」

Rの予測パッケージのデフォルトモデル選択統計がAICからAICcに最近変更されたことに動機付けられて、前者がどこにいても後者が実際に適用可能かどうかに興味があります。この点に関して一連の質問がありますが、ここが最初の質問です。 どこでもAICをAICcに置き換えることは、ここで要約されているBurnham and Anderson（非統計学者）による（1）の有名な本が推奨していることを知っています。この本は時々若い統計学者によって無批判に言及されています。たとえば、ロブ・ハイドマンによるこのブログ投稿へのコメントを参照してください。しかし統計学者のブライアン・リプリーは根本的に異なる方法で助言しました。 “Burnham and Anderson (2002) is a book I would recommend people NOT read until they have read the primary literature. I see no evidence that the authors have actually read Akaike’s papers." [quoted from [AIC MYTHS AND MISUNDERSTANDINGS][4] by Burnham-Anderson] リプリーが AICと関連する理論について書いていることから、警告は真剣に受け止められるべきであるということになる。赤池自身の論文の良いコレクションとバーナム・アンダーソンの本の両方を持っています。私は最終的に本の品質について自分の意見を持っていますが、それはまた、統計学者、老いも若きも、それについて考えていることを知るのに役立ちます。特に、モデルの選択にAICを使用する際の知識の有用な要約として本を明示的に推奨した統計学の教授（または他の統計学の優秀な学生）はいますか？ 参照： （1）Burnham、KP＆Anderson、DRモデル選択とマルチモデル推論：実用的な情報理論的アプローチSpringer、2002 PS。「Dr.BurnhamはPh.D.統計学者である」と述べた最近の「答え」に答えて、この説明を追加したいと思います。はい、彼は統計学者であり、ASAのフェローであり、ASAのDistinguished Achievement …

14 model-selection  references  aic 

心理学やその他の分野では、次のような段階的な回帰の形式がよく使用されます。 残りの予測子（最初はモデルにない予測子）を見て、最大のr平方変化をもたらす予測子を特定します。 r平方変化のp値がアルファ（通常.05）より小さい場合は、その予測子を含めて手順1に戻ります。それ以外の場合は停止します。 たとえば、SPSSのこの手順を参照してください。 この手順は、さまざまな理由で日常的に批判されています（StataのWebサイトでこの議論を参照してください）。 特に、StataのWebサイトには、Frank Harrellによるいくつかのコメントがまとめられています。私は主張に興味があります： [ステップワイズ回帰]は、大きく偏ったR乗値を生成します。 具体的には、私の現在の研究のいくつかは、母集団r-squareの推定に焦点を当てています。母集団のr二乗によって、母集団の方程式を生成する母集団データによって説明される分散の割合を参照します。私がレビューしている既存の文献の多くは、段階的な回帰手順を使用しており、提供された推定値が偏っているかどうか、もしそうであればどの程度かを知りたいです。特に、典型的な研究では、30の予測変数、n = 200、.05のエントリのアルファ、および.50前後のr二乗推定値があります。 私が知っていること： 漸近的に、係数がゼロでない予測子は統計的に有意な予測子となり、r-squareは調整されたr-squareと等しくなります。したがって、漸近的な段階的回帰では、真の回帰方程式と真の母集団r平方を推定する必要があります。 サンプルサイズが小さい場合、一部の予測子が省略される可能性があるため、すべての予測子がモデルに含まれていた場合よりもr平方が小さくなります。しかし、データをサンプリングするためのr-squareの通常のバイアスもr-squareを増加させます。したがって、私の素朴な考えは、これらの2つの対立する力が特定の条件下で不偏のr二乗になる可能性があるということです。より一般的には、バイアスの方向は、データのさまざまな機能とアルファ包含基準に依存します。 より厳密なアルファ包含基準（たとえば、.01、.001など）を設定すると、データの生成に予測子が含まれる確率が低くなるため、予想される推定r-squareが低くなります。 一般に、r-squareは母集団r-squareの上方に偏った推定値であり、この偏りの程度は、予測子が多くなり、サンプルサイズが小さくなると増加します。 質問 最後に、私の質問： 段階的回帰からのr 2乗は、どの程度まで人口r 2乗の偏った推定値になりますか？ このバイアスは、サンプルサイズ、予測子の数、アルファ包含基準、またはデータのプロパティにどの程度関連していますか？ このトピックに関する参照はありますか？

14 regression  model-selection  bias  r-squared  stepwise-regression 

AICについて質問がありますので、ご協力ください。データのAICに基づいて、モデルの選択（逆方向または順方向）を適用しました。また、選択した変数の一部は、p値が0.05を超えました。私は人々がp値の代わりにAICに基づいてモデルを選択すべきだと言っていることを知っているので、AICとp値は2つの異なる概念であるようです。誰かが違いを教えてもらえますか？私がこれまでのところ理解しているのは、それです： AICを使用した後方選択の場合、3つの変数（var1、var2、var3）があり、このモデルのAICはAIC *であるとします。これらの3つの変数のいずれか1つを除外しても、AIC *（df = 1のch-square分布に関して）より大幅に低いAICにならない場合、これら3つの変数が最終結果であると言えます。 3変数モデルの変数（var1など）の重要なp値は、その変数の標準化された効果サイズが0（Waldまたはt検定による）とは大きく異なることを意味します。 これら2つの方法の基本的な違いは何ですか？最良のモデル（AICで取得）に有意でないp値を持つ変数がある場合、どのように解釈すればよいですか？

14 model-selection  p-value  aic 

時系列分析におけるBox-Jenkinsモデル選択手順は、系列の自己相関関数と部分自己相関関数を調べることから始まります。これらのプロットは、ARMAモデルで適切なと提案できます。この手順は、AIC / BIC基準を適用して、ホワイトノイズエラー項を含むモデルを生成するモデルの中から最もmost約性の高いモデルを選択するようにユーザーに求めることによって続行します。pppqqq（p 、q）（p、q）(p,q) 視覚検査と基準に基づいたモデル選択のこれらのステップが、最終モデルの推定標準誤差にどのように影響するのかと思っていました。たとえば、横断的ドメインでの多くの検索手順は、標準エラーを下向きにバイアスする可能性があることを知っています。 最初のステップでは、データ（ACF / PACF）を見て適切な数のラグを選択すると、時系列モデルの標準誤差にどのように影響しますか？ AIC / BICスコアに基づいてモデルを選択すると、断面法の場合と同様の影響があると思います。私も実際にはこの分野についてあまり知りませんので、この点についてもコメントをいただければ幸いです。 最後に、各ステップで使用される正確な基準を書き留めた場合、プロセス全体をブートストラップして標準エラーを推定し、これらの懸念を排除できますか？

14 regression  time-series  arima  model-selection  box-jenkins 

2つのモデル（h2o AutoMLを使用するバイナリ分類器）をトレーニングしたので、使用するモデルを1つ選択します。次の結果が得られました。 model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 aucそしてlogloss列が交差検定メトリクス（クロスバリデーションのみトレーニングデータを使用する）です。..._trainそして..._validメトリックは、それぞれのモデルを通じてトレーニングと検証のメトリックを実行することによって発見されました。logloss_validまたはを使用しgini_validて、最適なモデルを選択します。 モデル1は優れたジニ（つまりAUC）を持っていますが、モデル2は優れた対数損失を持っています。私の質問は、どちらを選択するべきかという質問です。決定基準としてgini（AUC）またはloglossを使用することの利点/欠点は何ですか。

14 model-selection  validation  auc  gini  log-loss 

私は現在、小さなデータセットがあり、結果に対する治療の因果関係の影響に関心がある問題に取り組んでいます。 アドバイザーは、結果を応答として、次に治療割り当てを応答として、各予測変数に対して単変量回帰を実行するように指示しました。つまり、回帰を一度に1つの変数に適合させ、結果の表を作成するように求められています。私は「なぜこれを行うべきなのか」と尋ねましたが、答えは「どの予測因子が治療の割り当てと結果に関連しているかに興味があります。私の顧問は訓練を受けた統計学者であり、異なる分野の科学者ではないので、私は彼らを信頼したいと思っています。 これは理にかなっていますが、単変量解析の結果を使用する方法は明確ではありません。これからモデル選択を選択すると、推定値に大きなバイアスがかかり、信頼区間が狭くなりませんか？なぜこれを行う必要がありますか？私は混乱しており、私のアドバイザーは問題を提起したときにこの問題についてかなり不透明です。このテクニックに関するリソースはありますか？ （注意：私のアドバイザーは、p値をカットオフとして使用していないが、「すべて」を考慮したいと言っています。）

13 regression  multivariate-analysis  model-selection  causality  univariate 

私が理解していることから、（少なくとも回帰コンテキストでは）p値に基づいた変数選択には大きな欠陥があります。AIC（または同様の）に基づく変数の選択も、同様の理由でいくつかの欠陥があると考えられますが、これは少し不明瞭に見えます（たとえば、このトピックに関する私の質問といくつかのリンクを参照してください。）。 ただし、これら2つの方法のいずれかを使用して、モデル内の最適な予測子のセットを選択するとします。 Burnham and Anderson 2002（モデル選択およびマルチモデル推論：実用的な情報理論的アプローチ、83ページ）では、AICに基づく変数選択と仮説検定に基づく変数選択を混在させないでください：「帰無仮説および情報理論的アプローチのテスト一緒に使用しないでください。これらは非常に異なる分析パラダイムです。」 一方、Zuur et al。2009（R、ページ541とエコロジーで拡張子を持つ混合効果モデル）の使用を提唱するように見える最初の最適なモデルを見つけ、その後、仮説検定を使用して「微調整」を実行するAICを：「欠点はAICが保守的であることができるということです、AICが最適なモデルを選択したら、（アプローチ1からの仮説検定を使用して）微調整を適用する必要がある場合があります。」 これにより、どちらのアプローチに従うべきかについて、両方の本の読者が混乱していることがわかります。 1）これらは、統計的思考の異なる「キャンプ」であり、統計学者の間の不一致のトピックですか？これらのアプローチの1つは、単に「時代遅れ」になっていますが、執筆時点では適切と考えられていましたか？または、最初から単純に間違っているのでしょうか？ 2）このアプローチが適切となるシナリオはありますか？たとえば、私は生物学的背景から来ています。そこでは、どの変数が応答に影響を与えているか、またはそれを推進しているように見えるかを判断しようとしています。多くの場合、説明変数の候補がいくつかありますが、どちらが「重要」かを（相対的な観点から）見つけようとしています。また、候補予測変数のセットは、生物学的関連性があると考えられるものに既に削減されていますが、これには5-20の候補予測変数が含まれている場合があります。

13 hypothesis-testing  multiple-regression  feature-selection  model-selection  aic 

理論的に指数関数的に関連する値xxxとセットがあります。yyy y=axby=axby = ax^b 係数を取得する1つの方法は、両側に自然対数を適用し、線形モデルを近似することです。 > fit <- lm(log(y)~log(x)) > a <- exp(fit$coefficients[1]) > b <- fit$coefficients[2] これを取得する別の方法は、開始値の理論セットを指定して、非線形回帰を使用することです。 > fit <- nls(y~a*x^b, start=c(a=50, b=1.3)) 私のテストでは、2番目のアルゴリズムを適用すると、より良い理論関連の結果が表示されます。ただし、各方法の統計的な意味と意味を知りたいです。 どちらが良いですか？

13 r  regression  linear-model  model-selection  nonlinear-regression 

多重共線性の存在下でのモデル選択に関する質問に答えて、フランク・ハレル は次のように提案しました。 すべての変数をモデルに入れますが、競合する変数の効果に対して調整された1つの変数の効果をテストしません...共変数が全体の多自由度関連テストの代わりに力を結合するため、競合する変数のチャンクテストは強力です変数を個別にテストするときのように、互いに競合します。 何であるチャンク・テストは？そのアプリケーションの例を教えていただけますrか？

13 r  model-selection  multicollinearity 

ブートストラップの基本がどのように機能するかは理解できていると思いますが、ブートストラップを使用してモデルを選択したり、過剰適合を回避したりする方法を理解できません。 たとえば、モデルの選択では、ブートストラップサンプル全体で最小のエラー（おそらく分散？）が得られるモデルを選択しますか？ モデルの選択または検証にブートストラップを使用する方法を説明するテキストはありますか？ 編集：このスレッドの詳細と、この質問の背景にある詳細については@ mark999による回答をご覧ください。

13 model-selection  cross-validation  bootstrap 

ロジスティックモデルを実行しています。実際のモデルデータセットには10​​0を超える変数がありますが、約25の変数があるテストデータセットを選択しています。その前に、8〜9個の変数を持つデータセットも作成しました。AICとSCの値を使用してモデルを比較できると言われています。変数のp値が低い場合（ex。0053）でも、モデルのSC値が高いことがわかりました。私の直感では、有意水準が高い変数を持つモデルは、SCとAICの値が低くなるはずです。しかし、それは起きていません。誰かがこれを明確にしてください。要するに、私は次の質問をしたい： 変数の数はSC AICと関係がありますか？ p値または低いSC AIC値に集中すべきですか？ SC AIC値を減らす典型的な方法は何ですか？

13 model-selection  logistic  aic 

確率分布の空間でフィッシャーの情報メトリックを自然なローカルメトリックとして使用し、それを統合して距離とボリュームを定義することを提唱する多数の文献に出会いました。 しかし、これらの「統合された」数量は実際に何かに役立つのでしょうか？理論的な正当化はなく、実用的なアプリケーションはほとんど見つかりませんでした。1つはドキュメントを分類するために「フィッシャーの距離」を使用するGuy Lebanonの作品であり、もう1つはモデル選択のロドリゲスのABCです...「Fisherのボリューム」はモデル選択に使用されます。どうやら、「情報量」を使用すると、モデル選択のためにAICおよびBICよりも「桁違いに」改善されますが、その作業のフォローアップは見ていません。 理論的な正当化は、この距離または体積の測定値を使用し、MDLまたは漸近的な引数から導出された境界よりも優れた一般化境界を持つか、合理的に実用的な状況で証明できるこれらの量のいずれかに依存する方法があるかもしれませんこの種の結果はありますか？

13 model-selection  information-geometry 

過去に多くの生物医学論文で段階的回帰が多用されていましたが、これは多くの問題のより良い教育により改善しているようです。ただし、多くの古いレビュアーはまだそれを求めています。ステップワイズ回帰に​​役割があり、使用する必要がある場合、どのような状況ですか？

13 regression  multiple-regression  feature-selection  model-selection  stepwise-regression 

Rob Hyndmanの予測パッケージを使用して、Rで予測を行っています。パッケージに属する論文はここで見つけることができます。 この論文では、自動予測アルゴリズムについて説明した後、著者は同じデータセットにアルゴリズムを実装しています。ただし、指数平滑法とARIMAモデルの両方を推定した後、私は理解できないステートメントを作成します（17ページ）： 情報の基準は比較できないことに注意してください。 モデルの選択にAICを使用する利点は、同じデータセットを使用して推定される限り、異なるモデルのAIC値を比較できることだと思いました。これは間違っていますか？ いわゆる赤池重みを使用して異なるモデルクラス（指数平滑法やARIMAなど）からの予測を結合することを計画していたため、この問題は私にとって特に興味深いです（赤池重みについてはBurnham and Anderson、2002を参照） 参照資料 バーナム、KP、およびアンダーソン、DR（2002）。モデル選択とマルチモデル推論：実用的な情報理論的アプローチ。スプリンガー出版。

13 time-series  forecasting  model-selection  aic 

線形説明変数と従属変数と2次関係にある別の説明変数間の双方向の相互作用のフィッティングに興味がある場合、2次成分との相互作用と線形との相互作用の両方を含める必要がありますか？モデルのコンポーネント？例： 次に、前のスレッドを構築します： 曲率項とモデル選択、これがRで使用するモデル選択分析であり、多くの説明変数がある場合、二次項を含む交互作用項を含む出力モデルaaabbbyyyy〜 + B + B2+ a b + a b2y〜a+b+b2+ab+ab2 y\sim a+b+b^2+ab+ab^2 MuMIna ：b2a：b2a:b^2線形成分との相互作用の用語場合にのみ有効であるまた、その同じモデルに存在したと同様に、、および直接効果として？a ：ba：ba:baaabbbb2b2b^2

13 r  regression  model-selection