モジュラーニューラルネットワークは、大規模なモノリシックネットワークよりもどのタスクでも効果的ですか?


16

モジュラー/マルチプルニューラルネットワーク(MNN)は、互いにまたは別のより高いネットワークにフィードできる、より小さく独立したネットワークのトレーニングを中心に展開します。

原則として、階層構造により、より複雑な問題空間を理解し、より高い機能性に到達することができますが、これに関して過去に行われた具体的な研究の例を見つけることは難しいようです。いくつかのソースを見つけました:

https://en.wikipedia.org/wiki/Modular_neural_network

https://www.teco.edu/~albrecht/neuro/html/node32.html

https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf?sequence=1&isAllowed=y

私が持っているいくつかの具体的な質問:

  • MNNの使用に関する最近の研究はありますか?

  • MNNが大規模な単一ネットよりも優れたパフォーマンスを示しているタスクはありますか?

  • MNNはマルチモーダル分類に使用できます。つまり、各ネットを根本的に異なるタイプのデータ(テキストと画像)でトレーニングし、すべての出力で動作する高レベルの仲介者にフィードフォワードできますか?

  • ソフトウェアエンジニアリングの観点から見ると、これらはフォールトトレラントであり、分散システムで簡単に分離できるのではないでしょうか。

  • Neural Architecture Searchなどのプロセスを使用して、サブネットワークのトポロジを動的に適応させる作業はありますか?

  • 一般的に、MNNは何らかの形で実用的ですか?

これらの質問が素朴に思えるなら、私は生物学/神経科学の背景からMLともっと広くCSにたどり着き、潜在的な相互作用に魅了されました。

お時間を割いてご意見をお寄せいただきありがとうございます。


-私は、パフォーマンスを向上させ、かつフィルタするために、このようなモジュラーシステムの実装を考えたのだ、間違いなく -不要な依存関係を入力に。交響詩momentエウレカセブンの瞬間だと思ったが、すでに確立された構造であることを知らなかった。
トビ

回答:


2

このトピックに関しては、実際に調査が進行中です。最後の3月の最初の出版物は、しばらく前から明示的にではないがモジュール化が行われたが、どういうわけかトレーニングはモノリシックのままであると述べた。このホワイトペーパーでは、この問題に関するいくつかの主要な質問を評価し、モジュラーニューラルネットワークと頻繁に繰り返されるニューラルネットワークのトレーニング時間とパフォーマンスを比較します。見る:

他のいくつかはモジュール性に非常に焦点を当てていますが、モノリシックトレーニングに留まります(Jacob Andreaの調査、特に理性の学習は3番目の質問に非常に関連しています)。2019年後半から来年3月にかけて、もっと結果が出るはずです(たまたま知っています)。

最後の2つの質問に関連して、モジュール化が一般化の主要な鍵であることがわかり始めています。いくつかの論文をお勧めします(arxivまたはgoogle scholarですべて見つけることができます)。

  • キーワードスポッティング(パフォーマンスとリソース使用量のバランスを取るためのアーキテクチャのバリエーション)の確率的適応ニューラルアーキテクチャ検索。

  • 再帰を介してニューラルプログラミングアーキテクチャを一般化する(タスクのサブモジュラリティを実行し、ニューラルネットワークの分野で一般化が保証されるのは初めてだと思います)。

  • ディープニューラルネットワークとツリー検索を使用してGoのゲームをマスターします(ネットワークトポロジは実際には検索ツリーそのものです。グラフニューラルネットワークを探すと、この詳細を確認できます)。


1

単一のより深いネットワークと比較して個別にトレーニングされたネットワークで構成されるシステムのベンチマーク比較では、一般的に適用可能な最良の選択肢は明らかになりません。1文献では、いくつかの人工ネットワークが他のタイプのコンポーネントと組み合わされた、より大きなシステムの数の増加を見ることができます。それは予想されることです。システムが複雑になり、パフォーマンスと機能に対する要求が増大するにつれてモジュール化されるのは、工業化と同じくらい古い。

私たちの研究室は、ロボット制御、熱力学的計測、およびデータ分析で動作し、人工ネットワークはこれらのより大きなシステムコンテキストのコンポーネントです。単独で有用な機能を実行する単一のMLPまたはRNNはありません。

数十年前の階層に関する推測とは反対に、ほとんどの場合うまく機能すると思われるトポロジアプローチは、発電所、自動化された工場、航空、エンタープライズ情報アーキテクチャ、およびその他の複雑な工学的作成で見られるより一般的なシステムモジュールの関係に従います。接続はフローの接続であり、それらが適切に設計されていれば、監視機能は最小限です。通信用のプロトコルを含むモジュール間でフローが発生し、各モジュールはその機能を適切に実行し、より低いレベルの複雑さと機能の詳細をカプセル化します。別のネットワークを監督するネットワークではなく、実際の実践で最も効果的と思われるのは、バランスと共生です。人間の脳内の明確なマスタースレーブ設計の特定は、同様に滑りやすいようです。

課題は、システム情報トポロジを構成する情報パスを見つけることではありません。多くの場合、情報の流れは問題分析で明らかになります。困難なのは、これらの独立したネットワークを訓練するための最良の戦略を発見することです。トレーニングの依存関係は一般的であり、しばしば重要です。一方、動物では、トレーニングはその場で行われるか、まったく行われません。私たちは、システムでのそのような学習が実際的である条件と、それを達成する方法を発見しています。これらの方針に沿った私たちの研究のほとんどは、それを得るための研究時間の観点からより高い信頼性とより低い負担を達成する方法を発見することを目的としています。

より高い機能性が常に有益であるとは限りません。多くの場合、信頼性が低くなり、追加の開発リソースをほとんど消費せずに消費します。より高いレベルの自動化、リソース節約、および信頼性を1つの開発プロセスに統合する方法を見つけてください。ウェブ上で賞を受賞し、称賛に値するものになるかもしれません。

同じ目的を持つ並列システムは良いアイデアですが、新しいものではありません。1つの航空システムでは、3つのグループで、9つの並列システムの目的が同じです。各グループは異なるコンピューティングアプローチを使用します。同じアプローチを使用する2つのシステムが同じ出力を提供し、3番目のシステムが異なる場合、一致する出力が使用され、3番目の違いがシステム障害として報告されます。2つの異なるアプローチが同様の結果を提供し、3番目のアプローチが大幅に異なる場合、2つの同様の結果のマージが使用され、3番目は反対アプローチをさらに発展させるユースケースとして報告されます。

フォールトトレランスの改善には、コスト、8つのシステムおよび関連するコンピューティングリソースと接続性、そして最後にコンパレータがありますが、生死にかかわるシステムでは、余分なコストが支払われ、信頼性が最大化されます。

動的トポロジ適応は、冗長システムとフォールトトレランスに関連していますが、いくつかの点でまったく異なります。その開発分野では、従うべき技術はニューロモーフィックコンピューティングであり、これは神経可塑性に一部影響を受けています。

最後に考慮すべき違いは、プロセストポロジ、データトポロジ、およびハードウェアトポロジです。これらの3つの幾何学的なフレームは、フロー、表現、およびメカニズム間の関係をより直接的にマッピングする特定の方法で位置合わせされると、いっそう効率を上げることができます。ただし、これらは別個のトポロジです。これらの概念と、特定の製品またはサービスの目的のために浮かび上がる詳細に深く入り込まないと、調整の意味が明らかにならない場合があります。

脚注

[1]単一のユニットとしてトレーニングされ、他の人工ネットワークに接続せずに機能するディープネットワークは、必ずしもモノリシックではありません。最も実用的なディープネットワークは、活性化機能と多くの場合セルタイプの観点から、レイヤーの異種シーケンスを持っています。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.