進化的アルゴリズムには、従来の逆伝播法よりもどのような利点がありますか?


回答:


6

逆伝播とは異なり、進化的アルゴリズムでは、目的関数が最適化しようとしているパラメーターに関して微分である必要はありません。その結果、アクティベーション関数やレイヤー数など、標準のバックプロパゲーションでは不可能な「その他のこと」をネットワークで最適化できます。

もう1つの利点は、変異関数とクロスオーバー関数を定義することにより、パラメーター検索スペースの探索方法に影響を与えることができることです。


5

フランクの答えに加えて、勾配とは逆の方向(ローカルの最適値の方向にある可能性がある)に存在するより良い最適値(グローバルな最適値も)があるかもしれません。進化的アルゴリズムには周囲の領域を検索するスコープがありますが、逆伝搬は常に勾配の方向に移動します。(それらのランダム性のために)保証がなければ、進化的アルゴリズムは、逆伝播が単純にできないソリューションを見つけることができるかもしれません。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.