ARIMA vs LSTMを使用した時系列予測

私が扱っている問題は、時系列値を予測することです。私は一度に1つの時系列を見ており、たとえば入力データの15％に基づいて、その将来の値を予測したいと思います。これまでのところ、2つのモデルに出くわしました。

• LSTM（長期短期記憶;リカレントニューラルネットワークのクラス）
• 有馬

私は両方を試し、それらに関するいくつかの記事を読みました。今、私は2つを比較する方法についてより良い感覚を得ようとしています。私がこれまでに見つけたもの：

1. LSTMは、大量のデータを処理し、十分なトレーニングデータを利用できる場合に優れていますが、ARIMAは小さなデータセットに適しています（これは正しいですか？）
2. ARIMAでは、(p,q,d)データに基づいて計算する必要がある一連のパラメーターが必要ですが、LSTMではそのようなパラメーターを設定する必要はありません。ただし、LSTM用に調整する必要があるハイパーパラメーターがいくつかあります。
3. 編集：ここで素晴らしい記事を読んでいる間に気づいた2つの大きな違いの1つは、ARIMAは定常時系列（季節性、傾向などがない）でのみうまく機能することであり、 ARIMAを使用したい

上記の特性以外に、最良のモデルの選択に役立つ他のポイントや事実を見つけることができませんでした。誰かが記事、論文、またはその他のものを見つけるのを手伝ってくれたら本当に感謝しています（これまでのところ運がなかった、あちこちの一般的な意見だけで、実験に基づいたものは何もありませんでした）

もともとストリーミングデータを扱っていることに言及する必要がありますが、今のところ、最大サイズが20kデータポイントの50データセットを含むNABデータセットを使用しています。

ステートメント1は正しい、ステートメント2は正しいが、詳細が必要であり、ステートメント3は季節的なARIMAに対して正しくない：

以下は正しい方向を示しているかもしれませんが、LSTMの分野でより深く、より多くの答えが得られることを願っています。

あなたは両方のアルゴリズムを試したが、どちらが優れているかを単純に把握しようとしていると述べていますが、これはモデルの仕様よりもデータサイエンスプロセスとクロスバリデーションでより多くの問題を抱えている可能性があると思います。

一般的な時系列：

一般に、時系列は予測が困難です。予測が容易であれば、すべてのデータサイエンティストは裕福になり、すべての株の価値を正確に予測できます。現実には、ヘッジファンドは平均して市場をアウトパフォームせず、時系列予測は通常非常に貧弱で、非常に短い期間にのみ適用されます。主な問題は、ノイズが多く、隠れた影響が多く、モデルが過度に単純化されていること、インフルエンサーが思ったとおりに動作しないこと、線形性と非線形性の相互作用が微妙で紛らわしいこと、そして無限にあることです。

有馬

ARIMAでは予測に定常時系列が必要であるという評価が間違っています。 非季節ARIMAには、平滑化、定常性、および予測 ARIMA（p、d、q）の制御に役立つ3つの入力値があります。ここで、

• pは自己回帰項の数、
• dは、定常性に必要な非季節的差異の数です。
• qは、予測方程式の遅れ予測エラーの数です。

対照的に、季節ARIMAには6つの入力値 ARIMA（p、d、q、P、D、Q）があります。ここで、

• Pは季節自己回帰項の数、
• Dは季節差の数であり、
• Qは、季節移動平均項の数です。

上記の適格な声明に従って、季節のARIMAで遊んで、スムージング、シーズン解除、トレンド除去、ノイズ除去、および予測に関連する複雑さを感じることをお勧めします。

LSTM

LSTMについては、ここで詳しく説明するのに十分な知識がありません。誰かがディープラーニングのデータサイエンス演習を開始すると、危険信号が発生する傾向があることを付け加えます。ARIMAを使用してできる限り学習し、ARIMAの専門知識を適用してLSTMの学習を支援することをお勧めします。ニューラルネットワークは非常に強力なツールになる可能性がありますが、次の点に注意してください。

• 実行に時間がかかることがありますが、
• 多くの場合、トレーニングには他のモデルよりも多くのデータが必要です。
• 調整する入力パラメータがたくさんあります。

相互検証とモデルの比較：

時系列は、すべてのトレーニングデータを通常、教師あり学習トレーニングセットに変換できるという点で楽しいものです。一度だけ時系列を取り、時間をロールバックできます。つまり、ある時点を選択して、追加のデータがないことをふりをして、予測を作成し、自分がどれだけうまくいったかを確認します。モデルのパフォーマンスの評価を取得し、過剰適合を防ぐために必要な予防策を講じながらモデルを比較するために、これを回行う時系列を行進$n$できます。

これがお役に立てば幸いです！

@ AN6U5の応答に追加します。

純粋に理論的な観点から、この論文はRNNが普遍的な近似器であることを示しています。論文を詳しく読んでいませんので、その証明がLSTMにも適用できるかどうかはわかりませんが、そうだと思います。一般的なRNN（LSTMを含む）の最大の問題は、勾配探索と勾配消失の問題のために訓練が難しいことです。LSTMの実際的な制限は、標準の勾配降下とランダム初期化を使用した場合の約200〜ステップです。また、前述のように、一般に、ディープラーニングモデルが適切に機能するには、大量のデータと大量のチューニングが必要です。

ARIMAモデルはより制限されています。基礎となるシステムが複雑すぎる場合、適切に適合させることは単に不可能です。しかし一方で、基礎となるモデルが十分にシンプルであれば、ディープラーニングアプローチよりもはるかに効率的です。

ARIMAモデルは線形で、LSTMモデルは非線形です。統計学者が研究した他のパラメトリック非線形時系列モデルには、しきい値自己回帰モデル（TAR）およびスムーズ遷移自己回帰モデル（STAR）があります。RパッケージtsDynは、これらのモデルを実装しています。

STARモデルとLSTMの比較

私は自分や他の人と同じ結論に達しました。従来の予測は、おそらく最も適用可能であり、数値の時系列に対して信頼性があります。ディープラーニングでは、数値の時系列がディープラーニングに混ざり合い、現在、ディープラーニングが画像、音声、クリーンテキスト、または異常検出のパターン認識における現代の課題に適用される議論で、若干の深みがあります。私は、VAR / VECMで毎日のトランザクションデータに対して良い結果を得ることがよくあります。これはおそらく、信号処理のユースケースに適用できます。

極端なケースとして、私は外国為替（外国為替レート）予測を研究し、LSTM、windowed-MLP、ARIMAのパフォーマンスを集中的に比較する機会がありました。多くの記事が言っているように、Forex時系列はランダムウォークシリーズに近い（完全に非定常です）。これらのアルゴリズムはいずれも翌日のスポット率を予測できません。たとえば、変更がない（またはほとんどない）場合、現在の値が維持され、適切に見えます。ただし、明日のスポットレートに突然の（実質的な）変化がある場合は、常に予測に失敗します。問題は、トレーニングデータ（過去10年のスポットレート履歴など）から十分な大きさであるかどうかを学習するものがないことです。 。

実際、1つ以上のタイムラグを持つデータを保存してもまったく役に立たないため、「1」ラグだけのLSTMまたは（1,0,0）のARIMAが最高のパフォーマンスを発揮します。この種の時系列については、追跡パフォーマンスの観点から、1）ARIMA、2）LSTM、3）MLPと言います。最後のコメント...追加機能としてのマクロ/ミクロ経済パラメーター（GDP差、債券レート、原油価格、ドル指数など）を含むMLPもまったく機能しませんでした。