ARIMAモデルと回帰モデルのモデル比較

8

ARIMAモデルと回帰モデルを比較する方法を見つけるのに本当に苦労しています。ARIMAモデルを相互に評価する方法と、さまざまなタイプの回帰モデル（つまり、回帰とARエラーを伴う動的回帰）を相互に評価する方法を理解していますが、ARIMAモデルと回帰モデルの評価指標の間には多くの共通点がありません。

彼らが共有する唯一の2つのメトリックは、SBCとAICです。ARIMAの出力は、ルートMSEの図もr ^ 2統計も生成しません。ARIMAモデルの標準誤差の推定値が、回帰出力内の何かと直接同等（または同等）であるかどうかはあまりわかりません。

私がここで本当に混乱しているので、誰かが私を正しい方向に向けることができればそれは素晴らしいことです。リンゴとオレンジを比較しようとしているような気がします。

この分析では、SASを使用しています。

arima model-comparison dynamic-regression

— ブレット
ソース

6

回帰変数を持つARIMAであるARIMAXモデルを除外すると、ARIMAモデルと回帰モデルは異なるアプローチのモデルになります。ARIMAは、同じ変数の過去の値に関する情報のみを使用して変数をモデル化しようとします。一方、モデル上の回帰モデルの値を持つ変数他の変数。これらのアプローチは異なるため、モデルを直接比較できないのは当然です。

一方、両方のモデルは1つの変数をモデル化しようとするため、どちらもこの変数のモデル化された値を生成します。したがって、モデル比較の問題は、モデル化された値と真の値の比較と同じです。その方法の詳細については、ハスティらによる統計学習の要素の第7章。啓蒙的な読み物です。

更新：モデルが異なる場合、モデルを比較する自然な方法は、取得方法に関係なく出力を比較することですが、サンプルフィットのみで比較することはお勧めしません。

— mpiktas
ソース

1

「一方、両方のモデルは1つの変数をモデル化しようとするため、どちらもこの変数のモデル化された値を生成します。したがって、モデル比較の問題は、モデル化された値を真の値と比較することと同じです。」<---モデル化された値のMSEを、データのサンプル外の部分の真の値と比較します。私がこれを行うのが最善のようです。

— ブレット

1

ArimaモデルのMSE / AIC / BICを使用して、それを回帰モデルのMSE / AIC / BICと比較できます。フィット値の数が同じであることを確認してください。そうしないと、間違いを犯す可能性があります。たとえば、ARIMAモデルに次のsp + p（次数spの季節差と次数pの自己回帰構造）のラグ構造がある場合、最初のsp + pデータポイントが失われ、NOB-SP-P値のみが実際に適合します。回帰モデルにラグがない場合、入力のラグされた値の指定に応じて、NOBフィッティングポイント以下になります。したがって、MSEが同じ過去の実際の値にない場合があることを理解する必要があります。1つのアプローチは、最後のNOB-SP-P値で回帰モデルのMSEを計算して、モデルを同じように配置します。GOOGLE " 最後に、因果関係のラグと、回帰から伝達関数モデル（別名ARMAXモデル）へのSTEP-UPを正当化する従属変数のラグの情報である可能性があるため、通常、回帰モデルを時系列で単に適合させることは決してありません。ステップアップを行わなかった場合、1つ以上のガウシアン仮定が無効になり、F / Tテストが無意味で意味のないものになります。さらに、レベルシフト/ローカルタイムトレンド、およびパルスプロセスまたは季節パルス変数のいずれかを組み込んで、エラープロセスを「どこでも0.0の平均」にするために必要なエラー項の不変性に違反する可能性があります。最後に、因果関係のラグと、回帰から伝達関数モデル（別名ARMAXモデル）へのSTEP-UPを正当化する従属変数のラグの情報である可能性があるため、通常、回帰モデルを時系列で単に適合させることは決してありません。ステップアップを行わなかった場合、1つ以上のガウシアン仮定が無効になり、F / Tテストが無意味で意味のないものになります。さらに、レベルシフト/ローカルタイムトレンド、およびパルスプロセスまたは季節パルス変数のいずれかを組み込んで、エラープロセスを「どこでも0.0の平均」にするために必要なエラー項の不変性に違反する可能性があります。tステップアップすると、1つ以上のガウシアン仮定が無効になり、F / Tテストが無意味で意味のないものになります。さらに、レベルシフト/ローカルタイムトレンド、およびパルスプロセスまたは季節パルス変数のいずれかを組み込んで、エラープロセスを「どこでも0.0の平均」にするために必要なエラー項の不変性に違反する可能性があります。tステップアップすると、1つ以上のガウシアン仮定が無効になり、F / Tテストが無意味で意味のないものになります。さらに、レベルシフト/ローカルタイムトレンド、およびパルスプロセスまたは季節パルス変数のいずれかを組み込んで、エラープロセスを「どこでも0.0の平均」にするために必要なエラー項の不変性に違反する可能性があります。

— IrishStat
ソース

3

異なる定数が省略されているため、報告されたAIC値も比較できない場合があります。

— Rob Hyndman、2011年

1

ここではおそらく相互検証が良いでしょう。これを行うには、データセットを2つの部分に分割します。最初の部分を使用して両方のモデルを近似し、次に近似モデルを使用して2番目の部分を予測します。これは、モデル選択への完全なベイズアプローチの近似として正当化できます。モデルの可能性がある $M_{i}$

p （ d_{1} d_{2} 。 。 。 d_{N} | M_{私} 私 ） = p （ d_{1} | M_{私} 私 ） \times p （ d_{2} | d_{1} M_{私} 私 ） \times p （ d_{３} | d_{1} d_{2} M_{私} 私 ） \times 。 。

$p(d_{1}d_{2}...d_{N}|M_{i}I)=p(d_{1}|M_{i}I)\times p(d_{2}|d_{1}M_{i}I)\times p(d_{3}|d_{1}d_{2}M_{i}I)\times..$

。 。 \times p （ d_{N} | d_{1} d_{2} 。 。 。 d_{N - 1} M_{私} 私 ）

$..\times p(d_{N}|d_{1}d_{2}...d_{N-1}M_{i}I)$

これは、ヒューリスティックに予測のシーケンスと見なすことができ、その後、間違いから学ぶことができます。トレーニングなしで最初のデータポイントを予測します。次に、最初のデータポイントでモデルについて学習した後、2番目のデータポイントを予測します。次に、最初の2つを使用してモデルについて学習した後、3番目のデータポイントを予測します。これで、十分に大きなデータセットがある場合、モデルのパラメータは、特定の量のデータを超えて適切に決定されます。 $k$ ：

p （ d_{k + 2} | d_{1} 。 。 。 。 d_{k} d_{k + 1} M_{私} 私 ） \approx p （ d_{k + 2} | d_{1} 。 。 。 。 d_{k} M_{私} 私 ）

$p(d_{k+2}|d_{1}....d_{k}d_{k+1}M_{i}I)\approx p(d_{k+2}|d_{1}....d_{k}M_{i}I)$

モデルはパラメータについてこれ以上「学習」できず、基本的には最初のパラメータに基づいて予測しているだけです $k$ 観察。だから私は選びます $k$ （最初のグループのサイズ）モデルに正確にフィットするのに十分な大きさ $20$ - $30$ パラメータあたりのデータポイントはおそらく十分です。あなたも選びたい $k$ 十分に大きいため、 $d_{k+1}...d_{N}$ 無視されているからといって、この近似が役に立たなくなるわけではありません。

次に、各予測の尤度を評価し、それらの比を尤度比として解釈します。比率が約である場合 $1$ 、どちらのモデルも他のモデルよりも特に優れています。遠く離れている場合 $1$ これは、モデルの1つが他のモデルよりも優れていることを示しています。5未満の比率は弱く、10は強く、20は非常に強く、100は決定的です（小さな数に対応する逆数）。

— 確率論的
ソース