時系列でのAIC対クロス検証：小さなサンプルの場合

時系列設定でのモデル選択に興味があります。具体的には、ラグオーダーが異なるARMAモデルのプールからARMAモデルを選択するとします。最終的な意図は予測です。

モデルの選択は次の方法で実行できます

1. 相互検証、
2. 情報基準の使用（AIC、BIC）、

他の方法の中で。

Rob J. Hyndmanは、時系列の相互検証を行う方法を提供します。比較的小さなサンプルの場合、クロス検証で使用されるサンプルサイズは、元のサンプルサイズと質的に異なる場合があります。たとえば、元のサンプルサイズが200の観測値である場合、最初の101の観測値を取得し、ウィンドウを102、103、...、200の観測値に拡張して100の交差検証結果を取得することにより、交差検証を開始することを考えることができます。明らかに、200回の観測に対して合理的に控えめなモデルは、100回の観測に対して大きすぎる可能性があり、そのため検証エラーは大きくなります。したがって、相互検証は、あまりにもpar約なモデルを体系的に優先する可能性があります。これは、サンプルサイズの不一致による望ましくない効果です。

相互検証の代わりに、モデル選択に情報基準を使用します。予測が重要なので、AICを使用します。AICは時系列モデルのサンプル外のワンステップ予測MSEを最小化することに漸近的に相当しますが（Rob J. Hyndmanによるこの投稿によると）、サンプルが私が気にするサイズはそれほど大きくありません...

質問：小規模/中規模サンプルの時系列相互検証よりもAICを選択する必要がありますか？

関連するいくつかの質問を見つけることができるここでは、こことここ。

理論的な考慮はさておき、赤池情報量基準は、自由度によってペナルティを受ける可能性が高いです。続いて、AICはデータの不確実性を考慮し（-2LL）、パラメーターが多いほどオーバーフィッティングのリスクが高くなると仮定します（2k）。相互検証では、モデルのテストセットのパフォーマンスのみを調べ、それ以上の仮定は行いません。

主に予測の作成に関心があり、テストセットが実際のデータとかなり似ていると想定できる場合は、相互検証を行う必要があります。考えられる問題は、データが小さい場合、それを分割することで、小さなトレーニングセットとテストセットになることです。トレーニングのデータが少ないと、テストセットのデータが少ないため、相互検証の結果がより不確実になります（Varoquaux、2018を参照）。テストサンプルが不十分な場合は、AICの使用を余儀なくされる可能性がありますが、AICが測定するものと、それが行うことができる仮定に留意してください。

一方、すでにコメントで述べたように、AICは無症状の保証を提供しますが、小さなサンプルの場合はそうではありません。小さなサンプルは、データの不確実性についても誤解を招く可能性があります。

Hm-最終目標が予測である場合、なぜモデル選択を行うつもりなのですか？私の知る限り、「従来の」統計文献と機械学習文献の両方で、モデルの平均化が予測に関して優れていることは確立されています。簡単に言えば、モデルの平均化とは、すべての妥当なモデルを推定し、それらすべてを予測し、相対的なモデルの証拠によって重み付けされた予測を平均化することを意味します。

開始するのに役立つリファレンスは https://journals.sagepub.com/doi/10.1177/0049124104268644です

彼らはこれを非常に簡単に説明し、関連文献を参照しています。

お役に立てれば。

私の考えは、両方を実行して確認することです。AICを直接使用します。AICが小さいほど、モデルが優れています。しかし、AICに依存することはできず、そのようなモデルが最適であると言うことはできません。したがって、ARIMAモデルのプールがある場合は、それぞれを取得し、既存の値の予測を確認し、既存の時系列データに最も近いモデルを予測するモデルを確認します。次に、AICも確認し、両方を検討して、適切な選択を行います。厳格なルールはありません。最高を予測するモデルを選んでください。