任意の問題に対してニューラルネットワークのトポロジの選択を自動化するにはどうすればよいですか?


14

既に存在するトポロジ(パーセプトロン、コノヘンなど)に適合できないか、それらの存在を単に知らないか、またはそれらの理解ができないニューラルネットワークの問題を解決すると仮定しますメカニックと私は代わりに自分自身に依存しています。

任意の問題のニューラルネットワークのトポロジ(つまり、レイヤーの数、アクティベーションのタイプ、接続のタイプと方向など)の選択を自動化するにはどうすればよいですか?

私は初心者ですが、いくつかのトポロジ(または少なくともパーセプトロン)では、隠れ層のニューロンが数学的に意味のあるコンテキストを表現しないため、内部のメカニズムを理解することは不可能ではないにしても非常に難しいことに気付きました。

回答:


11

この場合、おそらく自分で作業するのではなく、遺伝的アルゴリズムを使用してトポロジを生成したいと思うでしょう。個人的にはNEAT(NeuroEvolution of Augmenting Topologies)が好きです。

元のNEATペーパーには、接続の重みの進化が含まれていますが、トポロジのみが必要な場合は、代わりに重みアルゴリズムを使用できます。どちらを使用するかわからない場合は、アクティベーション機能を混在させることもできます。以下は、バックプロパゲーションと複数のニューロンタイプの使用例です。


弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.