LSTM-LMフォーミュレーションとは何ですか？

私はこの論文「ニューラルネットワークによるシーケンス学習へのシーケンス」を読んでいますhttp://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf

「2.モデル」の下でそれは言う：

LSTMはこの条件付き確率を計算します。最初に、LSTMの最後の非表示状態によって与えられる入力シーケンス（x1、...、xT）の固定次元表現vを取得し、次にy1、...の確率を計算します。。。、yT 'と標準のLSTM-LM公式を使用して、初期の隠蔽状態をx1の表現vに設定します。。。、xT：

LSTMとは何か知っていますが、LSTM-LMとは何ですか？私はそれをグーグルで試しましたが、良いリードを見つけることができません。

言語モデル（LM）の定義は、一連の単語に対する確率分布です。

LMの簡単な図は、前の単語を指定して次の単語を予測しています。

たとえば、言語モデルといくつかの最初の単語がある場合：

• 最初の単語を My
• 私のモデルでは、のname後に出現する可能性が高いと予測していますMy。
• 最初の単語をに設定することで My name、私のモデルはのis後に出現する可能性が高いと予測しますMy name。
• つまり、My-> My name-> My name is->のMy name is Tomようになります。

スマートフォンのキーボードでオートコンプリートを考えることができます。実際、LMはオートコンプリートの中心です。

したがって、LSTM-LMは単にLSTM（およびsoftmax関数）を使用して、前の単語を指定して次の単語を予測します。

ちなみに、言語モデルはLSTM、他のRNN（GRU）、または他の構造化モデルに限定されません。実際、コンテキスト/スライディング/ローリングウィンドウでフィードフォワードネットワークを使用して、最初の単語を指定して次の単語を予測することもできます。

この文脈では、出力表現を使用して、言語モデルのトークン（この場合は文字）に対応する追加のsoftmaxレイヤーを学習することを意味すると思います。