リカレントニューラルネットワークとは何ですか？

驚いたことに、これは以前に尋ねられていませんでした-少なくとも私はいくつかの他に何も見つけませんでした 漠然と関連した質問。

それでは、リカレントニューラルネットワークとは何ですか？また、通常のNNを超える利点は何ですか？

リカレントニューラルネットワーク（RNN）は、脳内のニューロンの周期的な接続性に触発された人工ニューラルネットワークアーキテクチャのクラスです。反復関数ループを使用して情報を保存します。

この本の写真を使用した従来のニューラルネットワークとの違い：

そして、RNN：

違いに注意してください-フィードフォワードニューラルネットワークの接続はサイクルを形成しません。この条件を緩和し、循環接続も許可すると、リカレントニューラルネットワーク（RNN）が得られます。これは、アーキテクチャの隠された層で見ることができます。

多層パーセプトロンとRNNの違いはささいなように見えるかもしれませんが、シーケンス学習への影響は広範囲に及びます。MLPは入力から出力ベクトルにのみマップできますが、RNNは原則として以前の入力の全履歴から各出力にマップできます。実際、MLPの普遍近似理論と同等の結果は、十分な数の隠れユニットを持つRNNが、測定可能なシーケンスからシーケンスへのマッピングを任意の精度で近似できることです。

重要なポイント：

繰り返しの接続により、以前の入力の「メモリ」がネットワークの内部状態に保持され、ネットワーク出力に影響を与えます。

利点の点で話すことは、両方とも最先端であり、特定のタスクで特に優れているため、適切ではありません。RNNが得意とするタスクの広範なカテゴリは次のとおりです。

シーケンスのラベル付け

シーケンスのラベル付けの目的は、固定アルファベットから描かれたラベルのシーケンスを入力データのシーケンスに割り当てることです。

例：一連の音響的特徴を話し言葉で書き写す（音声認識）、または一連のビデオフレームを手振りで書き写す（ジェスチャー認識）。

シーケンスラベリングのサブタスクの一部は次のとおりです。

シーケンス分類

ラベルシーケンスの長さは1に制限されます。これは、各入力シーケンスが単一のクラスに割り当てられるため、シーケンス分類と呼ばれます。シーケンス分類タスクの例には、単一の音声作品の識別および個々の手書き文字の認識が含まれます。

セグメント分類

セグメント分類とは、ターゲットシーケンスが複数のラベルで構成されているタスクを指しますが、ラベルの場所（つまり、ラベルが適用される入力セグメントの位置）は事前にわかっています。

リカレントニューラルネットワーク（RNN）は人工ニューラルネットワークだけフィードフォワードニューラルネットワーク（FFNN）のように、前方接続部を有するとは対照的に、後方または自己接続を含んでいます。したがって、形容詞「再発」は、これらのネットワークでループを作成する、この逆方向または自己接続を指します。

RNNは、バックプロパゲーションスルータイム（BBTT）を使用してトレーニングできます。これにより、これらのバックワードまたは自己接続が以前に見た入力を「記憶」します。したがって、これらの接続は主に入力シーケンスの要素間の時間的関係を追跡するために使用され、RNNはシーケンス予測や同様のタスクに適しています。

いくつかのRNNモデルがあります。たとえば、LSTMまたはGRUユニットを持つRNNです。LSTM（またはGRU）は、単一ユニットが「プレーンRNN」のユニットよりも複雑な変換を実行するRNNです。線形変換。理論的には、「プレーンRNN」はLSTMユニットを持つRNNと同じくらい強力です。実際には、「勾配の消失と爆発」問題に悩まされています。したがって、実際には、LSTM（または同様の高度なリカレントユニット）が使用されます。