時系列予測に深層学習を使用する


54

私はディープラーニングの分野で新しく、最初のステップはdeeplearning.netサイトから興味深い記事を読むことでした。ディープラーニングに関する論文では、ヒントンと他の人は主にそれを画像の問題に適用することについて話します。誰かが私に答えようとすることができますか?それは時系列値(金融、インターネットトラフィックなど)を予測する問題に適用できますか?それが可能であれば私が焦点を当てる必要がある重要なことは何ですか?


予測にディープラーニングを使用するためのmatlabコードの例はありますか?
user3209559

いいえ、deeplearning.net およびpylearn2ライブラリのコード例を使用しています。このページでmatlabコードの例を見つけて、予測に必要な変更を加えてみてください。
ベドラン14

回答:


28

深層学習方法をシーケンシャルデータに適応させる作業がいくつかありました。この作業の多くは、制限付きボルトツマンマシン(RBM)またはオートエンコーダーをスタックしてディープニューラルネットワークを形成するのに似た方法でスタックできる「モジュール」の開発に焦点を当てています。以下にいくつかを取り上げます。

  • 条件付きRBM:おそらく、時系列のディープラーニングの最も成功したアプリケーションの1つです。テイラーは、可視ユニット間の時間的相互作用を追加し、モーションキャプチャデータのモデリングに適用するモデルのようなRBMを開発します。基本的に、隠されたユニットによって非線形性が追加された線形力学系のようなものになります。
  • 時間的RBM:彼の論文(セクション3)では、Ilya Sutskeverが、ユニット間の時間的相互作用を持つモデルのようなRBMをいくつか開発しています。また、彼は、SGDを使用したリカレントニューラルネットワークのトレーニングが、適切な初期化とわずかに修正された運動量の方程式を使用して、マルテンスのヘッシアンフリーアルゴリズムなどのより複雑な方法と同等以上のパフォーマンスを発揮できることを示す興味深い結果も提示します。
  • 再帰的オートエンコーダー:最後に、解析に再帰的オートエンコーダーを使用することに関するリチャード・ソッチャーの仕事に言及します。これは時系列ではありませんが、間違いなく関連しています。

1
また、ディープ/機能学習コミュニティには、リカレントネットワーク(多くの場合、シーケンシャルデータに適用される)を、すべてのレイヤーが同じウェイトマトリックスを共有するディープネットワークとして見ることができるという概念が漂っています。
lmjohns3

ディープラーニングを使用するための計算能力の要件はどうですか?PythonまたはMatlabは、ディープラーニングの業界強度の問題を解決するのに適していますか?
user3269 14年

Pylearn2は、CUDAをサポートするGPUでの実行を可能にするtheanoライブラリを使用します。
ベドラン14年

16

はい、時系列予測にディープラーニングを適用できます。実際には、たとえば次のようにすでに何度も行われています。

これは実際には「特別なケース」ではありません。ディープラーニングは主に前処理方法(生成モデルに基づく)に関するものです。深層学習なしで時系列予測を実行する際に焦点を当てるのと同じこと。


4

リカレントニューラルネットワークは、ディープラーニング(DL)の一種と見なされます。それらは、(1d)シーケンス間学習のための最も人気のあるDLツールだと思います。現在、それらはニューラルマシントランスレーション(NMT)アプローチの基礎になっています(2014年にLISA(UdeM)、Google、そしておそらく私が覚えていない他のカップルで開拓されました)。


3

Alex GravesのRecurrent Neural Networksによるシーケンス生成は、リカレントネットワークとLong short term memory Cellsを使用して、テキストを予測し、手書き合成を行います。

Andrej Karpathyは、文字レベルのシーケンスをゼロから生成することに関するブログを書きました彼はチュートリアルでRNNを使用しています。

他の例については、-Hochreiter、S.、&Schmidhuber、J.(1997)をご覧ください。長期短期記憶。ニューラル計算、9(8)、1735-1780。


3

たぶんこれは役立ちます:

この論文の文や段落などのデータに正確な時間枠を定義している場合、LSTMを使用しても問題ありませんが、明確ではなく、コンテキストを認識できる時間枠を見つける方法はわかりません。その例として、表示されているログデータの数が関連していることがありますが、これは明らかではありません。


1
論文の中で何が役立つかお聞かせいただけますか?これは面白いです
shadowtalker

1
ここで他の論文を見つけることができると思います:cs.stanford.edu/people/ang/
page_id=

5
感謝しますが、それは私が意図したものではありません。通常、ここでは、リンク先の論文が回答にどのように関連するかを人々に説明してもらいます。これは、追跡した紙を読んで、特に過去paywallsを取得することはできませんライブラリデータベースのサブスクリプションのない人にする時間がない可能性があります皆、に便利です
shadowtalker
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.