ディープネットワークの貪欲なレイヤー単位のトレーニングは、トレーニングを成功させるために必要ですか、それとも確率的勾配降下で十分ですか？

逆伝播のみを使用して（事前トレーニングなしで）最先端の結果を達成することは可能ですか？

それとも、すべての記録を破るアプローチが何らかの形の事前トレーニングを使用するようにですか？

逆伝播だけで十分ですか？

事前トレーニングは不要です。その目的は、多数の層が使用されている場合の収束を容易にするために、ネットワークの重みの適切な初期化を見つけることでした。現在、ReLU、ドロップアウト、バッチ正規化があります。これらはすべて、ディープニューラルネットワークのトレーニングの問題の解決に貢献しています。上記のリンクされたreddit投稿からの引用（Galaxy Zoo Kaggleチャレンジ勝者による）：

2006年頃に始まった「事前トレーニングの時代」は10代前半に終わり、人々が整流線形ユニット（ReLU）を使い始め、その後ドロップアウトしましたが、事前トレーニングはもはや有益ではないことがわかりましたネットワークのタイプ。

ReLU論文（上記リンク）から：

深い整流器ネットワークは、教師なしの事前トレーニングを必要とせずに最高のパフォーマンスに到達できます

そうは言っても、これはもはや必要ではありませんが、このホワイトペーパーに示すように、監視されていない（ラベル付けされていない）サンプルが多すぎる場合には、パフォーマンスが向上する可能性があります。