LSTM、BiLSTMとは何ですか?


11

私はディープラーニングに非常に慣れていないため、特にLSTMとBiLSTMとは何か、いつ使用するか(主なアプリケーション分野)を知りたいと思っています。LSTMとBILSTMがRNNよりも人気があるのはなぜですか?

これらのディープラーニングアーキテクチャを教師なしの問題で使用できますか?


2
BiLSTMは、双方向のLSTMを意味します。つまり、信号は、時間とともに前方にも後方にも伝播します。このアーキテクチャを他のRNNに適用することもできます。詳細については、en.wikipedia.org / wiki / Bidirectional_recurrent_neural_networksおよびcolah.github.io/posts/2015-08-Understanding-LSTMsをご覧ください 。
Emre

こちらが投稿、RNNとLSTMの違い、こちらがLSTMと双方向LTSMの違いを示すブログです
Benyamin Jafari

回答:


7

RNN以下のようなアーキテクチャLSTMBiLSTM学習の問題は、あなたがビデオを持っているとあなたがすべてに約か、エージェントがテキストのイメージであり、であるあなたのための文書の行を読みたいということであるかを知りたい例えば、シーケンシャルであるところの場面で使用されていますテキスト形式ではありません。こちらをご覧になることを強くお勧めします。

LSTMsまた、双方向のバリアントは、アーキテクチャでゲートを使用する方法とタイミング、およびゲートを使用しないタイミングを学習しようとしたため、人気があります。以前のRNNアーキテクチャでは、勾配の消失は大きな問題であり、これらのネットはあまり学習しませんでした。

双方向を使用LSTMsして、最初から最後まで1回、最後から最初まで1回、元のデータを学習アルゴリズムに供給します。ここでは議論がありますが、タスクにもよりますが、通常は一方向のアプローチよりも速く学習します。

はい、タスクによっては教師なし学習にも使用できます。見取り、ここここを


1
素晴らしい答えをありがとう。NLPでのキーワード抽出にlstmを使用できますか?
Volka

実際、それらについての論文はたくさんあります。例えば、ここここで見ることができます
メディア

どうもありがとう。私たちが使用できる既製のキーワード抽出ディープラーニングアプローチがあるかどうか疑問に思っていますか?
Volka

実際には私は見たことがありません。たぶんそれを聞いた方がいいでしょう:)
Media

4

人間は毎秒ゼロから考え始めません。このエッセイを読むと、以前の単語の理解に基づいて各単語を理解します。すべてを捨てて、最初から考え直すことはありません。あなたの考えは固執します。

従来のニューラルネットワークではこれを行うことはできず、大きな欠点のようです。たとえば、映画のあらゆる時点で発生しているイベントの種類を分類したいとします。従来のニューラルネットワークが、映画の以前のイベントに関する推論をどのように使用して、後のイベントに知らせることができるかは不明です。

リカレントニューラルネットワークはこの問題に対処します。それらはループを備えたネットワークであり、情報を持続させることができます。

詳細については、 コーエンのブログをご覧ください。


2

LSTMと比較すると、BLSTMまたはBiLSTM2つのネットワークがあり、1つpastforward方向に情報にアクセスfutureし、もう1つは方向にアクセスしますreverseWIKI

新しいクラスBidirectionalが公式ドキュメントに従ってここに追加されます

model = Sequential()
model.add(Bidirectional(LSTM(num_channels, 
        implementation = 2, recurrent_activation = 'sigmoid'),
        input_shape=(input_length, input_dim)))

IMDBデータを使用した完全な例は次のようになります

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.