「バックプロップ」とは何ですか？

「backprop」とはどういう意味ですか？「バックプロパ」という用語は基本的に「バックプロパゲーション」と同じですか、それとも別の意味ですか？

「バックプロップ」は「バックプロパゲーション」と同じです。それは、それを言うためのより短い方法です。「BP」と略されることもあります。

「バックプロパ」は、バックプロパゲーションの用語を使用する際の混乱を避けるために、「エラーのバックプロパゲーション」の略です。

基本的に、バックプロパゲーションは、フィードフォワードネットワーク^Werbosの重みに関するケースワイズエラー関数の勾配を計算する方法を指します。また、backpropは、バックプロパゲーションを使用して勾配を計算するトレーニング手法を指します。

したがって、バックプロパネットワークは、バックプロパゲーションによってトレーニングされたフィードフォワードネットワークであると言えます。

「標準バックプロップ」という用語は、最も広く使用されている教師付きトレーニング法である一般化されたデルタルールの冒涜です。

ソース：バックプロップとは何ですか？Usenetニュースグループcomp.ai.neural-netsのFAQで

参照：

• Werbos、PJ（1974）。回帰を超えて：行動科学における予測と分析のための新しいツール。博士論文、ハーバード大学。
• Werbos、PJ（1994）。バックプロパゲーションのルーツ：順序付きデリバティブからニューラルネットワークおよび政治予測まで、Wiley Interscience。
• Bertsekas、DP（1995）、Nonlinear Programming、ベルモント、マサチューセッツ：Athena Scientific、ISBN 1-886529-14-0。
• Bertsekas、DPおよびTsitsiklis、JN（1996）、Neuro-Dynamic Programming、ベルモント、マサチューセッツ：Athena Scientific、ISBN 1-886529-10-8。
• Polyak、BT（1964）、「反復法の収束を高速化するいくつかの方法」、Z。Vycisl。マット。マット。フィズ、4、1-17。
• Polyak、BT（1987）、Introduction to Optimization、NY：Optimization Software、Inc.
• Reed、RD、およびMarks、RJ、II（1999）、Neural Smithing：Supervised Learning in Feedforward Artificial Neural Networks、ケンブリッジ、マサチューセッツ：MIT Press、ISBN 0-262-18190-8。
• ルメルハート、DE、ヒントン、GE、およびウィリアムズ、RJ（1986）、「エラー伝播による内部表現の学習」、ルメルハート、DEおよびマクレランド、JL、編。（1986）、Parallel Distributed Processing：Explorations in the Microstructure of Cognition、Volume 1、318-362、Cambridge、MA：MIT Press。
• Werbos、PJ（1974/1994）、The Roots of Backpropagation、NY：John Wiley＆Sons。Werbosの1974年のハーバード博士を含みます。論文、回帰を超えて。

はい、フランクが正しく述べたように、「backprop」は、エラーの最適化のためにニューラルネットワークのドメインで頻繁に使用される逆伝搬を意味します。

詳細な説明については、マイケルニールセンの非常に優れた本による逆伝搬の概念に関するこのチュートリアルを指摘します。

機械学習では、バックプロパゲーション（backprop、BP）は、教師あり学習のためのフィードフォワードニューラルネットワークのトレーニングで広く使用されているアルゴリズムです。逆伝播の一般化は、他の人工ニューラルネットワーク（ANN）と一般的に機能に対して存在します。一般に「逆伝播」と呼ばれるアルゴリズムのクラスです。

これは、多変数チェーンルールのファンシーな名前です。