時系列分析にリカレントニューラルネットワークを使用する適切な方法

リカレントニューラルネットワークは、「通常の」ニューラルネットワークとは、「メモリ」層を持っているという事実によって異なります。この層のため、リカレントNNは時系列モデリングに役立つと思われます。ただし、それらの使用方法を正しく理解しているかどうかはわかりません。

：のは、（左から右に）私は、次の時系列を持っているとしましょう[0, 1, 2, 3, 4, 5, 6, 7]、私の目標は、予測することでiポイントを使用して番目のポイントをi-1してi-2（それぞれの入力などi>2）。「通常の」非定期的なANNでは、次のようにデータを処理します。

 target| input
      2| 1 0
      3| 2 1
      4| 3 2
      5| 4 3
      6| 5 4
      7| 6 5 

次に、2つの入力ノードと1つの出力ノードを持つネットを作成し、上記のデータでトレーニングします。

リカレントネットワークの場合、このプロセスを（もしあれば）変更する必要がありますか？

あなたが説明するのは、実際には「スライディングタイムウィンドウ」アプローチであり、リカレントネットワークとは異なります。この手法は、任意の回帰アルゴリズムで使用できます。このアプローチには大きな制限があります。入力のイベントは、最大でtタイムステップ離れている他の入力/出力とのみ相関させることができます。ここで、tはウィンドウのサイズです。

たとえば、次数tのマルコフ連鎖を考えることができます。RNNは理論的にはこれに苦しむことはありませんが、実際には学習は困難です。

feedfowardネットワークとは対照的に、RNNを説明するのが最善です。（非常に）単純なフィードフォワードネットワーク考えます。ここで、は出力、は重み行列、は入力です。$y = Wx$$y$$W$$x$

現在、リカレントネットワークを使用しています。入力のシーケンスができたので、i番目の入力に対してで入力を示します。次に、対応するi番目の出力が介して計算されます。$x^{i}$$y^{i} = Wx^i + W_ry^{i-1}$

したがって、前のステップの出力を現在の出力に線形に組み込む別の重み行列あります。$W_r$

これはもちろんシンプルなアーキテクチャです。最も一般的なのは、自分自身に繰り返し接続される隠れ層があるアーキテクチャです。ましょうタイムステップiにおける中間層を表します。式は次のとおりです。$h^i$

どこにシグモイドのような適切な非直線性/伝達関数です。とは、入力層と非表示層、および非表示層と出力層の間の接続ウェイトです。は、繰り返しの重みを表します。W 1 W 2 W $\sigma$$W_1$$W_2$$W_r$

構造の図は次のとおりです。

また、入力データに時系列の多数の変換を使用することを単に検討することもできます。ほんの一例として、入力は次のようになります。

1. 最新の間隔値（7）
2. 次の最新の間隔値（6）
3. 最新と次の最新のデルタ（7-6 = 1）
4. 3番目に新しい間隔値（5）
5. 最新の2番目と3番目のデルタ（6-5 = 1）
6. 最後の3つの間隔の平均（（7 + 6 + 5）/ 3 = 6）

したがって、従来のニューラルネットワークへの入力がこれらの6個の変換されたデータであった場合、通常の逆伝播アルゴリズムがパターンを学習するのは難しい作業ではありません。ただし、生データを取得し、ニューラルネットワークへの上記の6つの入力に変換する変換のコードを作成する必要があります。

別の可能性は、ヒストリカルコンシステントニューラルネットワーク（HCNN）です。このアーキテクチャは、入力変数と出力変数の間のしばしば任意の区別を排除し、代わりにすべてのオブザーバブルでのトレーニングを介してシステム全体の基礎となる完全なダイナミクスを複製しようとするため、上記のセットアップにより適している可能性があります。

：ツィンマーマン、Grothmann、Tietz、フォン・Jouanne-ディードリッヒ：私はシーメンスのために働いていたとき、私はシュプリンガーフェアラークの本で、このアーキテクチャに関する論文を発表した歴史的一貫性のニューラルネットワークと市場のモデリング、予測およびリスク分析

ここにパラダイムについてのアイデアを与えるために、短い抜粋があります：

この記事では、ヒストリカルコンシステントニューラルネットワーク（HCNN）と呼ばれる新しいタイプのリカレントNNを紹介します。HCNNを使用すると、複数の時間スケールにわたる高度に相互作用する非線形動的システムのモデリングが可能になります。HCNNは入力と出力を区別しませんが、大きな状態空間のダイナミクスに組み込まれたオブザーバブルをモデル化します。

[...]

RNNは、非線形回帰アプローチを使用してオープンな動的システムをモデル化および予測するために使用されます。ただし、多くの現実世界の技術的および経済的アプリケーションは、さまざまな（非線形）ダイナミクスが時間内に相互作用する大規模システムのコンテキストで見る必要があります。モデルに投影すると、これは入力と出力を区別せず、観測可能量について話すことを意味します。大規模システムの部分的な可観測性のために、オブザーバブルのダイナミクスを説明できる隠れ状態が必要です。オブザーバブルと隠し変数は、同じ方法でモデルによって扱われるべきです。オブザーバブルという用語には、入力変数と出力変数が含まれます（つまり、$Y_τ := (y_τ, u_τ)$）。すべてのオブザーバブルのダイナミクスを記述できるモデルを実装できれば、オープンシステムを閉じることができます。

...そして結論から：

大規模なリカレントニューラルネットワークの隠れた変数と観測された変数の共同モデリングは、計画とリスク管理の新しい展望を提供します。HCNNに基づくアンサンブルアプローチは、将来の確率分布の予測に対する代替アプローチを提供します。HCNNは、過去の観測量のダイナミクスの完全な説明を提供します。しかし、世界の部分的な可観測性は、隠れ変数の一意でない再構築をもたらし、したがって、異なる将来のシナリオをもたらします。ダイナミックの純粋な展開は不明であり、すべてのパスが同じ確率を持っているため、アンサンブルの平均が最良の予測と見なされる場合がありますが、分布の帯域幅は市場リスクを表します。今日、HCNN予測を使用してエネルギーと貴金属の価格を予測し、調達決定のタイミングを最適化します。現在進行中の作業は、アンサンブルの特性の分析と、実際のリスク管理および金融市場への応用におけるこれらの概念の実装に関するものです。

論文の一部は公開されています：ここ