2
モジュラーニューラルネットワークは、大規模なモノリシックネットワークよりもどのタスクでも効果的ですか?
モジュラー/マルチプルニューラルネットワーク(MNN)は、互いにまたは別のより高いネットワークにフィードできる、より小さく独立したネットワークのトレーニングを中心に展開します。 原則として、階層構造により、より複雑な問題空間を理解し、より高い機能性に到達することができますが、これに関して過去に行われた具体的な研究の例を見つけることは難しいようです。いくつかのソースを見つけました: https://en.wikipedia.org/wiki/Modular_neural_network https://www.teco.edu/~albrecht/neuro/html/node32.html https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf?sequence=1&isAllowed=y 私が持っているいくつかの具体的な質問: MNNの使用に関する最近の研究はありますか? MNNが大規模な単一ネットよりも優れたパフォーマンスを示しているタスクはありますか? MNNはマルチモーダル分類に使用できます。つまり、各ネットを根本的に異なるタイプのデータ(テキストと画像)でトレーニングし、すべての出力で動作する高レベルの仲介者にフィードフォワードできますか? ソフトウェアエンジニアリングの観点から見ると、これらはフォールトトレラントであり、分散システムで簡単に分離できるのではないでしょうか。 Neural Architecture Searchなどのプロセスを使用して、サブネットワークのトポロジを動的に適応させる作業はありますか? 一般的に、MNNは何らかの形で実用的ですか? これらの質問が素朴に思えるなら、私は生物学/神経科学の背景からMLともっと広くCSにたどり着き、潜在的な相互作用に魅了されました。 お時間を割いてご意見をお寄せいただきありがとうございます。