リカレントニューラルネットワークをシーケンス分類に使用するにはどうすればよいですか？

RNNは、予測、またはシーケンスからシーケンスへのマッピングに使用できます。しかし、RNNはどのように分類に使用できますか？つまり、シーケンス全体に1つのラベルを付けます。

RNNを使用して、複数の入力を単一の入力（ラベル）にマッピングできます。これにより、図（source）が示します。

各長方形はベクトルであり、矢印は関数（行列乗算など）を表します。入力ベクトルは赤、出力ベクトルは青、緑のベクトルはRNNの状態を保持します（これについては後ほど説明します）。左から右へ：（1）固定サイズの入力から固定サイズの出力へのRNNなしの処理のバニラモード（画像分類など）。（2）シーケンス出力（たとえば、画像キャプションは画像を取得し、単語の文を出力します）。（3）シーケンス入力（たとえば、特定の文が肯定的または否定的な感情を表現するものとして分類される感情分析）。（4）シーケンス入力およびシーケンス出力（例：機械翻訳：RNNは英語の文を読み取り、次にフランス語の文を出力します）。（5）同期されたシーケンス入力および出力（たとえば、ビデオの各フレームにラベルを付けるビデオ分類）。

単純なRNNの場合は、シーケンス全体をネットワークにフィードし、最後のシーケンス要素でクラスラベルを出力します（このアプローチの初期の例については、このペーパーとそのリファレンスを参照してください）。トレーニング段階では、最後のシーケンス要素からシーケンスの開始までの時間でエラーを逆伝播できます。一般に、これはシーケンスの一部の要素にのみラベルを割り当てる必要がある（または他のすべての要素にOTHERとラベル付けされる）RNNシーケンスのラベル付け問題と違いはありません。