制限付きボルツマンマシン（RBM）の優れたチュートリアル

10

私は制限付きボルツマンマシン（RBM）を研究していて、RBMのパラメーターに関する対数尤度計算を理解するのにいくつか問題があります。RBMに関する多くの研究論文が発表されていますが、派生物の詳細な手順はありません。オンラインで検索した後、このドキュメントでそれらを見つけることができました。

フィッシャー、A。＆イゲル、C。（2012）。制限付きボルツマンマシンの紹介。L. Alvarez et al。（編集）：CIARP、LNCS 7441、14〜36ページ、Springer-Verlag：ベルリン-ハイデルベルク。（pdf）

ただし、このドキュメントの詳細は私にはあまりにも高度です。誰かがRBMに関する優れたチュートリアル/講義ノートのセットを教えてくれますか？

編集：@David、わかりにくいセクションを以下に示します（26ページの式29）：

$\begin{aligned} \frac{\partial \ln L (θ | v)}{\partial w_{i j}} & = - \sum_{h} p (h | v) \frac{\partial E (v, h)}{\partial w_{i j}} + \sum_{v, h} p (v, h) \frac{\partial E (v, h)}{\partial w_{i j}} \\ = \sum_{h} p (h | v) h_{i} v_{j} - \sum_{v} p (v) \sum_{h} p (h | v) h_{i} v_{j} \\ (29) & = p (H_{i} = 1 | v) v_{j} - \sum_{v} p (v) p (H_{i} = 1 | v) v_{j} . \end{aligned}$ $\begin{align} \frac{\partial\ln\mathcal{L}(\theta|v)}{\partial w_{ij}} &= -\sum_h p(h|v)\frac{\partial E(v, h)}{\partial w_{ij}} + \sum_{v,h} p(v,h)\frac{\partial E(v,h)}{\partial w_{ij}} \\[5pt] &= \sum_h p(h|v)h_iv_j - \sum_v p(v) \sum_h p(h|v)h_iv_j \\[5pt] &= \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j - \sum_v p(v) \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j\; . \tag{29} \end{align}$

references rbm

— Upul
ソース

どのステップがあなたを混乱させているかについてより具体的にできますか？

— David J. Harris

1

良いリードをAI（のための深いアーキテクチャを学ぶの第5章でiro.umontreal.ca/~bengioy/papers/ftml_book.pdf）

— dksahuji

@dksahuji INFOにも感謝、教授：BengioがDLを作成していて、最初のドラフトはiro.umontreal.ca/~bengioy/dlbook

— Upul

このチュートリアルでは、RBM（制限付きボルツマンマシンのチュートリアル）の数学について説明します。

— 江翔

7

私はそれが少し遅れていることを知っていますが、おそらくそれは助けになります。方程式の最初の項を取得するには、次の手順にます。条件付き独立性は、表示されている単位を指定すると、非表示の単位が存在します。したがって、隠れた状態の条件付き同時確率分布を因数分解できます。

\begin{aligned} \sum_{h} p (h | v) h_{i} v_{j} & = v_{j} \sum_{h_{1}} . . . \sum_{h_{i}} . . . \sum_{h_{n}} p (h_{1}, . . ., h_{i}, . . . h_{n} | v) h_{i} \\ = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i}, h_{_i} | v) h_{i} \end{aligned}

$\begin{align} \sum_{\mathbf{h}} p(\mathbf{h} | \mathbf{v})h_iv_j &= v_j \sum_{h_1}...\sum_{h_i}...\sum_{h_n} p(h_1,...,h_i,...h_n | \mathbf{v}) h_i \\[5pt] &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}}p(h_i, \mathbf{h_{\_i}} | \mathbf{v}) h_i \end{align}$

\begin{aligned} = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i} | v) h_{i} p (h_{_i} | v) \\ = v_{j} \sum_{h_{i}} p (h_{i} | v) h_{i} \sum_{h_{_i}} p (h_{_i} | v) \end{aligned}

$\begin{align} &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}} p(h_i | \mathbf{v}) h_i \: p(\mathbf{h_{\_ i}}|\mathbf{v}) \\[5pt] &= v_j \sum_{h_i} p(h_i | \mathbf{v}) h_i \: \sum_{\mathbf{h_{\_ i}}} p(\mathbf{h_{\_ i}}|\mathbf{v}) \end{align}$ すべての州を合計しているため、最後の項はです。したがって、残っているのは最初の用語です。は状態とのみを取るため、なります：

1

$1$

h_{i}

$h_i$

1

$1$

0

$0$

= v_{j} p (H_{i} = 1 | v)

$\hspace{-25mm}= v_j \: p(H_i = 1 | \mathbf{v})$

— peschn
ソース

7

ディープラーニングサイトにRBMの適切なチュートリアルがあります。
このブログ投稿（Restricted Boltzmann Machinesの概要）は、より単純な言語で記述されており、RBMSの基本を非常によく説明しています。
また、おそらく最良のリファレンスは、Cooffa のGeoff Hintonのニューラルネットワークコースです。

クラス終了後にクラスや動画にアクセスできるかどうかはわかりません。

— sjm.majewski
ソース

2

Courseraクラスにサインアップしてフォーラムに投稿している人はまだいます。すべての講義を引き続き表示し、すべてのクイズとプログラミングの課題にアクセスできます（クイズの中でも）。この情報は、コースが再度提供されるまで、おそらくアップされます。資料を表示またはダウンロードするためだけにコースに登録することをお勧めします。

— ダグラスザレ2013年

1

左のオレンジ色のボックスは、いくつかの可視ベクトルが可視単位に固定されている場合、すべての非表示構成でのエネルギー勾配の期待値を示します（トレーニングセットのサンプルを使用するため、データに対する期待）。用語自体は、（1）いくつかのベクトルvが可視ユニットにクランプされている場合に特定の隠れユニットiが見える確率と、（2）特定の可視ユニットjの状態の積です。

右のオレンジ色のボックスは左のボックスと同じですが、可視のユニットに固定されているものだけでなく、可能なすべての構成に対して左のオレンジ色のボックスにあることを実行しています（何も固定されていないため、モデルに対する期待）目に見える単位で）。

— アバロン
ソース

1

Hugo Larochelleの機械学習コース（ビデオ）の第5章は、私がこれまでに見つけた最高の入門です。

これらの講義では損失関数の導関数は導出されていませんが、実行するのは難しくありません（必要に応じて計算のスキャンを投稿できますが、実際にはそれほど難しくありません）。私はまだこのトピックをカバーする良い教科書を探していますが、主に記事しかありません。ベンジオのディープラーニングブックの第20章に、記事の概要があります。

— jakab922
ソース