AICがある場合に、予測プロパティを評価するためにデータをトレーニングパーツとテストパーツに分割するポイントは何ですか？

漸近的に、AICを最小化することは、断面データの1対1の交差検証MSEを最小化することと同じです[ 1 ]。それでは、AICがある場合、モデルの予測特性を測定するために、データをトレーニング、検証、テストセットに分割する方法を使用するのはなぜですか？このプラクティスの利点は具体的には何ですか？

1つの理由が考えられます。モデルの予測パフォーマンスを評価したい場合、サンプル外分析が役立ちます。ただし、AICは予測の正確さの尺度ではありませんが、通常、モデルがどれだけ適切に予測できるかという点で、あるモデルがそのデータの最大の可能性に達している場合（データが示されている場合）には良い考えがあります。

predictive-models aic

— エロセニン
ソース

sklearnのドキュメントからの抜粋：情報基準ベースのモデル選択は非常に高速ですが、自由度の適切な推定に依存し、大きなサンプル（漸近的な結果）から導き出され、モデルが正しい、つまりデータが実際にあると仮定しますこのモデルによって生成されます。また、問題の条件が悪い場合（サンプルよりも機能が多い場合）は、壊れる傾向があります。

— sascha

私は実際にはAICが正しいモデルを前提としているとは思いません（stats.stackexchange.com/questions/205222/…）。サンプルサイズについてとAICは漸近的結果である：あなたがなり決してあなたは少しのデータを持っているとき、三つの部分にデータを分割しません。そのため、サンプルサイズが小さいと、サンプル外分析とAICの両方で問題が

— 発生します。– Erosennin

@saschaはそこにポイントがあります。AICが予想されるKL情報を概算するためです。損失だけでなくモデルの一つは、かなり良いことがあります。AICを使用して不良モデルを比較し、どちらが不良でないかを確認することを主張している人はいないと思います。

— Scortchi-モニカの回復

tr (J (θ_{0}) (I (θ_{0}))^{- 1}) \approx k

$\operatorname{tr}(J(\theta_0)(I(\theta_0))^{-1}) \approx k$ @saschaがリンクしたスライド10の（私は私たちのサイトをただ見ていました-私たちはAICについて多くのアサーションを持っているようです＆リファレンスにはさらに多くのアサーションが含まれていますが、それを超えています。メモリから、Pawitan、In All Likelihood、およびBurnham＆Anderson、Model Selection、。）

— Scortchi-モニカの回復

わかりました、私はTICの部分をスキップし、そのビットを逃しました。あなたは、絶対に正しい。@saschaに謝罪し、私を啓蒙してくれてありがとう:)はい、私はバーナムとアンダーソンを自分で見ただけです。素晴らしいリソース！

— Erosennin

実際には、AIC（またはBIC）ではなく、常に相互検証または単純なトレインテスト分割を使用します。私はAICの背後にある理論にはあまり詳しくありませんが、2つの主要な懸念から、予測精度のより直接的な推定を好むようになりました。

数値自体は、モデルの正確さについてはあまりわかりません。AICは、いくつかのモデルのうちどれが最も正確であるかについての証拠を提供できますが、モデルがDVの単位でどれほど正確であるかはわかりません。この種の具体的な精度の見積もりにほとんど常に興味があります。これは、モデルが絶対的にどれほど有用であるか、また比較モデルよりもはるかに正確であることを教えてくれるからです。
AICは、BICと同様に、モデルごとに、パラメーターの数またはモデルの複雑さを測定するその他の値を必要とします。最近隣の分類、ランダムフォレスト、または先月のベンダーの途中でカクテルナプキンに落書きした奇抜な新しいアンサンブル法など、従来型ではない予測法の場合、これに対して何をするべきかは明確ではありません。対照的に、正確な推定値は、どの予測モデルでも同じ方法で作成できます。

— コディオロジスト
ソース

+1すごい！＃2は素晴らしい議論です！＃1は、AICが予測の正確さの尺度ではないことについて書いているものに対応しています。「比較モデルよりもはるかに正確である」とどのように比較するか尋ねてもいいですか？最近、2つのモデルのMSEを比較するときにこれについて考えました。モデル1とモデル2のMSEは、それぞれ10と20でした。モデル1の精度をどのように解釈しますか？これを比較することは、DVの規模を考慮に入れなければならない/すべきであるので、20/10ほど単純なことはできないと思いますか？

— Erosennin

比較スコアを作成するのではなく、それぞれの精度の数値（MSEまたはその他）の両方を見るだけです。また、それが比較対象のモデルの1つでなかった場合、それは常に自明なモデル（つまり、予測子を使用しないモデル）の正確性スコアを持つのに役立ちます。

— コディオロジスト2016年

（+1）コテージ業界では、固定のnoで最尤推定ではない状況で、効果的なAIC、準AICなどを発明しています。パラメーター。

— Scortchi-モニカの回復

@Kodiologist：比較スコアがあれば非常に興味深いと思います。このようにして、異なるデータセットで作成されたモデルを比較できます。たとえば、新しいデータが利用可能になったときに、古いモデルと新しいモデルのパフォーマンスを評価します。

— Erosennin 2016年

2.に関しては、モデルの自由度を取得する比較的簡単な方法があります（場合によっては、計算に適度に時間がかかる場合がありますが、多くの一般的な状況ではショートカットがあります）。これはです。これは、文字通り直接的な意味で、モデルの自由度を測定してデータを近似します。たとえば、Yeの1998 JASA記事を参照してください。たとえば、StasKはこの回答の完全なリファレンスにリンクしています。... ctd

k = \sum_{i} \frac{\partial {\hat{y}}_{i}}{\partial y_{i}}

$k=\sum_i \frac{\partial \hat{y}_i}{\partial y_i}$

— Glen_b-モニカ