制限付きボルツマンマシン（RBM）の最新の使用例

背景：過去4年間（alexnet後）の多くの近代的な研究は、最先端の分類結果を達成するためにニューラルネットワークの生成的事前トレーニングを使用することから遠ざかっているようです。

例えば、mnistのための上位の結果、ここでは、トップ50の唯一の2紙、RBMのですどちらも、生成モデルを使用しているように見えます。他の48の受賞論文は、RBMや多くの古いニューラルネットワークで使用されているシグモイドとは異なる、より優れた/新しい重みの初期化とアクティベーション関数を見つけることに多大な労力を費やした、異なる識別フィードフォワードアーキテクチャに関するものです。

質問：制限付きボルツマンマシンを使用する現代的な理由はありますか？

そうでない場合、これらのフィードフォワードアーキテクチャに適用できる事実上の変更があり、それらの層のいずれかを生成可能にしますか？

動機：私が見ているのは、私が見ているいくつかのモデル、通常はRBMのバリアントであり、これらの生成層/モデルに明らかな類似の識別的対応物が必ずしも存在しないためです。例えば：

• mcRBM

• ssRBM

• CRBM（CNNがフィードフォワードアーキテクチャを使用しているのは差別的な類似アーキテクチャであると主張できるかもしれませんが）

また、これらは2010年、2011年、2009年から明らかに敬意を表してプレアレックスネットでもありました。

これは古い質問のようなものですが、実際には技術的に可能なことではなく、本質的に「ベストプラクティス」を要求するため（つまり、あまり研究に集中する必要はありません）、現在のベストプラクティスは次のようなものです：

• RBMは現在通常使用されていません
• 可能な場合、線形モデル（線形回帰、ロジスティック回帰）が使用されます
• それ以外の場合は、完全に接続されたレイヤー、畳み込みレイヤーなどのレイヤーと、ドロップアウト、最近のバッチ正規化などのある種の正則化レイヤーをスローするディープフィードフォワードネットワーク
• もちろん、間に活性化層があり、通常はReLUですが、tanhとS字型も使用されます
• そして、おそらくいくつかの最大プーリング（常にではありません：平均プーリングなども使用されます）

ジェネレーティブ使用の場合、一般的な手法は次のとおりです。

• GAN、およびその無数のバリアント、http： //www.cs.toronto.edu/~dtarlow/pos14/talks/goodfellow.pdf
• 自動エンコーダですが、最近では次のように置き換えられる傾向があります。
  • バリエーション自動エンコーダー、VAE、https： //arxiv.org/abs/1312.6114
  • ジェネレーティブCNN、wavenet：https ://deepmind.com/blog/wavenet-generative-model-raw-audio/
• RNN、たとえばseq2seq https://arxiv.org/pdf/1409.3215v3.pdf

私は最近、生成モデルとしてRBMとCNNを統合する「Boltzmann Encoded Adversarial Machines」に関するこの論文を見つけました。

著者は、それがいくつかの点で数学的に「より良い」ことを示し、BEAMが他のGANモデルと比較してデータ分布を正確に学習できると思われるいくつかのおもちゃの例を示します。

CelebAの顔の「現実世界」のベンチマークは、それほど印象的ではありませんでした。BEAMが他の人気のあるGANよりも優れているか、あるいはそれ以上であるかは明らかではありません。ただし、この設定でRBMを使用することは確かに興味深いです。