ボルツマンマシンは、ホップフィールドネットよりも多くのパターンを格納できますか?


17

これはAIのクローズドベータ版であり、この質問はユーザー番号47によって投稿されています。


ウィキペディアによると、

ボルツマンマシンは、ホップフィールドネットの確率的で生成的な対応物と見なすことができます。

どちらもビットパターンを学習するようにトレーニングできるリカレントニューラルネットワークです。次に、部分的なパターンが提示されると、ネットは完全な完全なパターンを取得します。

ホップフィールドネットワークの容量は0.138であることが証明されています(たとえば、約138ビットのベクトルは、1000ノードごとにストレージから呼び出すことができます、Hertz 1991)。

ボルツマンマシンは確率的であるため、1つの保存されたパターンと別の保存されたパターンのエネルギー差が類似している場合、必ずしも同じパターンを表示するとは限らないというのが私の理解です。しかし、この確率論のために、おそらくより密度の高いパターン保存が可能になりますが、エネルギー差に関して常に「最も近い」パターンを取得できるという保証はありません。これは本当でしょうか?または、Hopfieldネットはより多くのパターンを保存できますか?

回答:


3

確かに、直感は正しいです。ボルツマンマシンは、この論文で検討した確率論的な性質のため、ホップフィールドネットワーク以上のものをメモリに保持できます。論文では、容量が約0.6であることに注目しています。この比率の後、それは分解し始め、リコールされたパターンにより多くのノイズを追加します。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.