事前トレーニングとは何ですか？また、どのようにニューラルネットワークを事前トレーニングしますか？

従来のトレーニングの問題の一部を回避するために事前トレーニングが使用されていることを理解しています。オートエンコーダなどでバックプロパゲーションを使用すると、バックプロパゲーションが遅いために時間の問題が発生することを知っています。また、ローカルオプティマで動けなくなり、特定の機能を学習できない場合もあります。

私が理解していないのは、ネットワークをどのように事前トレーニングするか、具体的に事前トレーニングするために何をするかです。たとえば、制限されたボルツマンマシンのスタックが与えられた場合、このネットワークをどのように事前トレーニングしますか？

スタックの各RBMを個別にトレーニングすることから始めて、さらに調整できる新しいモデルに結合します。

RBMが3つあるとすると、RBM1をデータ（画像の束など）でトレーニングします。RBM2は、RBM1の出力でトレーニングされます。RBM3は、RBM2の出力でトレーニングされます。アイデアは、各RBMモデルが画像の代表的な特徴であり、そうすることで学習する重みは、分類のような他の識別タスクで役立つということです。

スタックされたRBMを事前トレーニングすることは、定義されたエネルギーを貪欲にレイヤーごとに最小化する、つまり可能性を最大化することです。G.ヒントンはCD-kアルゴリズムを提案しました。これは、ギブスサンプリングの単一の反復と見なすことができます。