時間遅延ニューラルネットワークとリカレントニューラルネットワークの違い

ニューラルネットワークを使用して財務時系列を予測したいと思います。私はIT出身で、ニューラルネットワークについてある程度の知識があり、次のことについて読んでいます。

• TDNN
• RNN

私はそれらのRパッケージを探していましたが、RNNの1つだけを見つけました。これは、RNNであるelmanおよびjordan実装を持つRSNNSパッケージです。

では、リカレントニューラルネットワークは（財務）時系列で使用すると便利ですか？彼ら（以前に引用されたRNNのwikipediaリンクからの引用）以来：

各タイムステップで、入力は標準のフィードフォワード方式で伝播され、次に学習ルールが適用されます。固定されたバック接続により、コンテキストユニットは常に非表示のユニットの以前の値のコピーを維持します（学習ルールが適用される前に接続を介して伝播されるため）。したがって、ネットワークは一種の状態を維持でき、標準の多層パーセプトロンの能力を超えるシーケンス予測などのタスクを実行できます。

実際にはむだ時間ニューラルネットワークと同じではありませんか？そうでない場合、むだ時間ニューラルネットワークとの違いは何ですか？どちらも時系列での使用に適していますか、どちらが適していますか？

よろしくお願いします！

私はリカレントネットワークを扱ったことはありませんが、私が知っていることから、実際には、一部のRNNとTDNNは、同じ目的で使用できます。時系列値を予測します。ただし、動作は異なります。

TDNNで可能です：

• プロセスの値を予測する
• 2つのプロセス間の関係を見つけます。

NARXなどの一部のRNNでは、それを実行することもできます。また、通常はTDNNよりも優れた財務時系列の予測にも使用されます。

予測/実際の将来の値も入力として必要とするNARXとは異なり、TDNNはフィードフォワードネットワークのように見えます。これは、時間アスペクトがその入力を通じてのみ挿入されるためです。この特性により、値の予測に関して、TDNNはNARXよりも堅牢性が低くなりますが、必要な処理が少なくなり、トレーニングが容易になります。

$X(t)$$Y(t)$$Y$

Simon Haykinのニューラルネットワーク：包括的な基盤（第2版）とこのFAQを読むことをお勧めします。ニューラルネットワークのアーキテクチャとバリエーションはたくさんあります。時々彼らは多くの名前を持っているか、彼らの分類についての合意がありません。

TDNNは、過去と現在の値の間のマッピングを表す簡単な方法です。TDNNの遅延はトレーニング手順全体を通じて一定であり、試行錯誤といくつかのヒューリスティックを使用することにより、以前に推定されます。しかしながら、これらの固定された遅延が時間依存性の実際の時間的位置を捕捉しない場合があるかもしれない。一方、RNN構造の「メモリ」機能は、これらの依存関係を学習することでこの情報を取得できます。RNNの問題は、長期的な依存関係を学習するために、従来の手法（たとえば、時間によるバックプロパゲーション）でトレーニングした場合に使用することが実用的でないことです。この問題は、いわゆる「消失/爆発」から発生します 勾配は基本的に、エラー信号をネットワーク構造を介して後方に伝播するときに、消失または爆発する傾向があることを意味します。より高度な反復構造（LSTMなど）には、この問題を軽減し、長期的な依存関係を学習できるプロパティがあり、シーケンシャルデータの学習に特に適しています。