タグ付けされた質問 「architecture」

モジュラー/マルチプルニューラルネットワーク（MNN）は、互いにまたは別のより高いネットワークにフィードできる、より小さく独立したネットワークのトレーニングを中心に展開します。 原則として、階層構造により、より複雑な問題空間を理解し、より高い機能性に到達することができますが、これに関して過去に行われた具体的な研究の例を見つけることは難しいようです。いくつかのソースを見つけました： https://en.wikipedia.org/wiki/Modular_neural_network https://www.teco.edu/~albrecht/neuro/html/node32.html https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf?sequence=1&isAllowed=y 私が持っているいくつかの具体的な質問： MNNの使用に関する最近の研究はありますか？ MNNが大規模な単一ネットよりも優れたパフォーマンスを示しているタスクはありますか？ MNNはマルチモーダル分類に使用できます。つまり、各ネットを根本的に異なるタイプのデータ（テキストと画像）でトレーニングし、すべての出力で動作する高レベルの仲介者にフィードフォワードできますか？ ソフトウェアエンジニアリングの観点から見ると、これらはフォールトトレラントであり、分散システムで簡単に分離できるのではないでしょうか。 Neural Architecture Searchなどのプロセスを使用して、サブネットワークのトポロジを動的に適応させる作業はありますか？ 一般的に、MNNは何らかの形で実用的ですか？ これらの質問が素朴に思えるなら、私は生物学/神経科学の背景からMLともっと広くCSにたどり着き、潜在的な相互作用に魅了されました。 お時間を割いてご意見をお寄せいただきありがとうございます。

16 neural-networks  topology  architecture  neurons  biology 

AlphaGo Zeroには、以前のバージョンと比較していくつかの改善点があります。Alpha Go Zeroのアーキテクチャの詳細は、このチートシートで確認できます。 これらの改善点の1つは、移動確率と状態値を同時に計算する単一のニューラルネットワークを使用することですが、古いバージョンでは2つの別個のニューラルネットワークを使用していました。論文によると、マージされたニューラルネットワークはより効率的であることが示されています。 2つではなく1つのニューラルネットワークを使用します。AlphaGoの以前のバージョンでは、「ポリシーネットワーク」を使用して次にプレイする動きを選択し、「バリューネットワーク」を使用して各ポジションからゲームの勝者を予測していました。これらはAlphaGo Zeroで組み合わされており、トレーニングと評価をより効率的に行うことができます。 ソフトウェア設計の観点からすると、これは懸念の原則の分離に違反するため、これは私には直観に反しているようです。だからこそ、このマージが有益であることが証明されたのではないかと思います。 この手法-単一のニューラルネットワークでさまざまなタスクをマージして効率を向上させること-は、他のニューラルネットワーク全般に適用できますか、それとも、特定の条件が機能する必要がありますか？

10 neural-networks  comparison  architecture  alphago-zero  efficiency