時系列予測に深層学習を使用する

私はディープラーニングの分野で新しく、最初のステップはdeeplearning.netサイトから興味深い記事を読むことでした。ディープラーニングに関する論文では、ヒントンと他の人は主にそれを画像の問題に適用することについて話します。誰かが私に答えようとすることができますか？それは時系列値（金融、インターネットトラフィックなど）を予測する問題に適用できますか？それが可能であれば私が焦点を当てる必要がある重要なことは何ですか？

深層学習方法をシーケンシャルデータに適応させる作業がいくつかありました。この作業の多くは、制限付きボルトツマンマシン（RBM）またはオートエンコーダーをスタックしてディープニューラルネットワークを形成するのに似た方法でスタックできる「モジュール」の開発に焦点を当てています。以下にいくつかを取り上げます。

• 条件付きRBM：おそらく、時系列のディープラーニングの最も成功したアプリケーションの1つです。テイラーは、可視ユニット間の時間的相互作用を追加し、モーションキャプチャデータのモデリングに適用するモデルのようなRBMを開発します。基本的に、隠されたユニットによって非線形性が追加された線形力学系のようなものになります。
• 時間的RBM：彼の論文（セクション3）では、Ilya Sutskeverが、ユニット間の時間的相互作用を持つモデルのようなRBMをいくつか開発しています。また、彼は、SGDを使用したリカレントニューラルネットワークのトレーニングが、適切な初期化とわずかに修正された運動量の方程式を使用して、マルテンスのヘッシアンフリーアルゴリズムなどのより複雑な方法と同等以上のパフォーマンスを発揮できることを示す興味深い結果も提示します。
• 再帰的オートエンコーダー：最後に、解析に再帰的オートエンコーダーを使用することに関するリチャード・ソッチャーの仕事に言及します。これは時系列ではありませんが、間違いなく関連しています。

はい、時系列予測にディープラーニングを適用できます。実際には、たとえば次のようにすでに何度も行われています。

• http://cs229.stanford.edu/proj2012/BussetiOsbandWong-DeepLearningForTimeSeriesModeling.pdf
• http://link.springer.com/article/10.1007/s00134-013-2964-2#page-1

これは実際には「特別なケース」ではありません。ディープラーニングは主に前処理方法（生成モデルに基づく）に関するものです。深層学習なしで時系列予測を実行する際に焦点を当てるのと同じこと。

リカレントニューラルネットワークは、ディープラーニング（DL）の一種と見なされます。それらは、（1d）シーケンス間学習のための最も人気のあるDLツールだと思います。現在、それらはニューラルマシントランスレーション（NMT）アプローチの基礎になっています（2014年にLISA（UdeM）、Google、そしておそらく私が覚えていない他のカップルで開拓されました）。

Alex GravesのRecurrent Neural Networksによるシーケンスの生成は、リカレントネットワークとLong short term memory Cellsを使用して、テキストを予測し、手書き合成を行います。

Andrej Karpathyは、文字レベルのシーケンスをゼロから生成することに関するブログを書きました。彼はチュートリアルでRNNを使用しています。

他の例については、-Hochreiter、S.、＆Schmidhuber、J.（1997）をご覧ください。長期短期記憶。ニューラル計算、9（8）、1735-1780。

たぶんこれは役立ちます：

• I. Sutskever、O。Vinyals、およびQV V Le、「ニューラルネットワークを使用したシーケンス学習のシーケンス」、Advances in Neural Information Processing Systems、2014年、3104〜3112ページ。

この論文の文や段落などのデータに正確な時間枠を定義している場合、LSTMを使用しても問題ありませんが、明確ではなく、コンテキストを認識できる時間枠を見つける方法はわかりません。その例として、表示されているログデータの数が関連していることがありますが、これは明らかではありません。