深い信念ネットワーク(DBN)がほとんど使用されないのはなぜですか?


7

私はイアンとアロンによる深層学習についてこの本を読んでいました。DBNの説明では、DBNは支持を失い、めったに使用されていません。

深い信念ネットワークは、MNISTデータセットでカーネル化されたサポートベクターマシンよりも優れたパフォーマンスを発揮することで、深いアーキテクチャが成功することを実証しました(Hinton et al。、2006)。今日、ディープビリーフネットワークは、他の教師なしまたは生成型学習アルゴリズムと比較しても、ほとんど支持されなくなっており、ほとんど使用されていませんが、ディープラーニングの歴史における重要な役割が認められています。

理由がわかりません。


3
これは非常に主観的な質問のようです。私の最初の(完全に非公式な)返答は、著者がこのパッセージを数年前に書いて、それを更新するのを忘れたということです... Googleトレンドのグラフは、2004年から2005年にかけて明らかにピークを示していますが、最後のストリームで明らかにストリームを獲得しているようです数年(2014年以降)。ディープラーニング、DBNのスーパーセットは、「今やすべて」です。(私たちの職場のサーバーインフラストラクチャエンジニアからも、先日、「ディープマイニング」を行うかどうか尋ねられました...)
usεr1185217

回答:


3

バックプロパゲーションには1つの大きな問題があったことを思い出してください。消失勾配; 深い信念ネットワークがめったに使用されない主な理由は、RELU(Rectified Linear Unit)で使用される逆伝搬が消失勾配問題を解決し、それがもはや問題ではなく、DBNを実装する必要がないためです。

2番目の理由は、同様のアプローチを使用して同じ問題を解決できたとしても、深いディープネットワークアーキテクチャはディープビリーフネットワークでトレーニングするのがより複雑になるためです。RELUでバックプロパゲーションを使用すると、1つのショットでトレーニングできます。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.