タグ付けされた質問 「topology」

モジュラー/マルチプルニューラルネットワーク（MNN）は、互いにまたは別のより高いネットワークにフィードできる、より小さく独立したネットワークのトレーニングを中心に展開します。 原則として、階層構造により、より複雑な問題空間を理解し、より高い機能性に到達することができますが、これに関して過去に行われた具体的な研究の例を見つけることは難しいようです。いくつかのソースを見つけました： https://en.wikipedia.org/wiki/Modular_neural_network https://www.teco.edu/~albrecht/neuro/html/node32.html https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf?sequence=1&isAllowed=y 私が持っているいくつかの具体的な質問： MNNの使用に関する最近の研究はありますか？ MNNが大規模な単一ネットよりも優れたパフォーマンスを示しているタスクはありますか？ MNNはマルチモーダル分類に使用できます。つまり、各ネットを根本的に異なるタイプのデータ（テキストと画像）でトレーニングし、すべての出力で動作する高レベルの仲介者にフィードフォワードできますか？ ソフトウェアエンジニアリングの観点から見ると、これらはフォールトトレラントであり、分散システムで簡単に分離できるのではないでしょうか。 Neural Architecture Searchなどのプロセスを使用して、サブネットワークのトポロジを動的に適応させる作業はありますか？ 一般的に、MNNは何らかの形で実用的ですか？ これらの質問が素朴に思えるなら、私は生物学/神経科学の背景からMLともっと広くCSにたどり着き、潜在的な相互作用に魅了されました。 お時間を割いてご意見をお寄せいただきありがとうございます。

16 neural-networks  topology  architecture  neurons  biology 

「ニューラルネットワークは、人間の脳をモデル化するための最良の近似である」と何度も聞いていますが、ニューラルネットワークは脳をモデルにしたものであることがよく知られています。 私はこのモデルが単純化されたと強く疑っていますが、どれくらいですか？ バニラNNは人間の脳について知っているものとどれくらい違いますか？知っていますか？

16 neural-networks  brain  topology 

既に存在するトポロジ（パーセプトロン、コノヘンなど）に適合できないか、それらの存在を単に知らないか、またはそれらの理解ができないニューラルネットワークの問題を解決すると仮定しますメカニックと私は代わりに自分自身に依存しています。 任意の問題のニューラルネットワークのトポロジ（つまり、レイヤーの数、アクティベーションのタイプ、接続のタイプと方向など）の選択を自動化するにはどうすればよいですか？ 私は初心者ですが、いくつかのトポロジ（または少なくともパーセプトロン）では、隠れ層のニューロンが数学的に意味のあるコンテキストを表現しないため、内部のメカニズムを理解することは不可能ではないにしても非常に難しいことに気付きました。

14 neural-networks  topology  neuroevolution 

閉じた。この質問はより集中する必要があります。現在、回答を受け付けていません。 この質問を改善したいですか？この投稿を編集するだけで1つの問題に焦点を当てるように質問を更新します。 5日前休業。 ジオメトリとAI マトリックス、キューブ、レイヤー、スタック、および階層は、トポロジーと正確に呼ぶことができるものです。この文脈でトポロジーを検討してください。学習システムのより高いレベルの幾何学的設計です。 複雑さが増すにつれ、これらのトポロジーを有向グラフ構造として表すと便利な場合があります。状態図とマルコフのゲーム理論に関する研究は、有向グラフが一般的に使用される2つの場所です。有向グラフには、頂点（多くの場合、閉じた図形として視覚化される）と、図形を結ぶ矢印として視覚化されるエッジがあります。 また、GANを有向グラフとして表すこともできます。この場合、各ネットの出力は、反対の方法で他のトレーニングを駆動します。GANはトポロジー的にメビウスの帯に似ています。 最適なソリューションに収束したり、最適なソリューションを追跡したりする数学だけでなく、そのような収束をサポートできるネットワーク接続のトポロジーも理解せずに、新しい設計とアーキテクチャを発見することはできません。オペレーティングシステムを作成する前に、オペレーティングシステムが何を必要とするかを想像しながら、最初にプロセッサを開発するようなものです。 まだ検討していないトポロジーを垣間見るために、最初にどのトポロジーが検討されたかを見てみましょう。 ステップ1 — 2次元での押し出し 1980年代には、元のパーセプトロンの設計を拡張して成功を収めました。研究者たちは、多層ニューラルネットワークを作成するために2番目の次元を追加しました。合理的な収束は、学習率によって減衰され、他のメタパラメーターで減衰された活性化関数の勾配による誤差関数の勾配の逆伝播によって達成されました。 ステップ2 —離散入力信号への次元の追加 既存の手動で調整された画像のたたみ込み手法に基づくたたみ込みネットワークの出現が、ネットワーク入力に垂直方向、色成分、およびフレームに導入されたことがわかります。この最後の次元は、CGI、顔の置換、および現代の映画制作におけるその他の形態学的手法にとって重要です。それがなければ、画像の生成、分類、ノイズ除去ができます。 ステップ3-ネットワークのスタック ニューラルネットのスタックが出現するのは1990年代後半であり、1つのネットワークのトレーニングが別のネットワークによって監視されています。これは、ニューロンの連続した層という意味でも、画像内の色の層という意味でもない、概念的な層の導入です。このタイプの階層化も再帰ではありません。それは、ある構造が別の完全に異なる種類の構造内の器官である自然界に似ています。 ステップ4 —ネットワークの階層 2000年代から2010年代初頭にかけての研究（ラプラシアンなど）からニューラルネットの階層が頻繁に出現することがわかります。トポロジーを表す有向グラフで、ネットワーク全体が頂点になるメタ構造が表示されます。 ステップ5％mdash; デカルトオリエンテーションからの出発 非カルテシアの体系的に繰り返される細胞の配置とそれらの間のつながりが文献に登場し始めています。たとえば、Gauge Equivariant Convolutional Networksと 20面体CNN（Taco S. Cohen、Maurice Weiler、Berkay Kicanaoglu、Max Welling、2019）は、凸正二十面体に基づく配置の使用を検討しています。 まとめ レイヤーには、隣接するレイヤー間の有向エッジの完全なセットにマッピングされた頂点と減衰行列の通常重要なアクティベーション関数があります[1]。画像のたたみ込みレイヤーは、多くの場合、2次元の頂点配置にあり、減衰キューブは隣接するレイヤー間の有向エッジの要約されたセットにマッピングされます[2]。スタックには、メタ有向グラフの頂点として層状ネット全体があり、それらのメタ頂点はシーケンスで接続されており、各エッジはトレーニングメタパラメーター、強化（リアルタイムフィードバック）信号、またはその他の学習制御のいずれかです。 。ネットの階層は、複数のコントロールを集約してより低いレベルの学習を指示できるという概念、または1つのより高いレベルのスーパーバイザネットワークによって複数の学習要素を制御できるフリップケースを反映しています。 学習トポロジーの傾向の分析 機械学習アーキテクチャの傾向を分析できます。トポロジーには3つの傾向があります。 因果関係の次元の深さ—信号処理のレイヤー。アクティベーションの1つのレイヤーの出力は、減衰パラメーター（重み）のマトリックスを通じて次のレイヤーの入力に供給されます。より大きな制御が確立されると、後方伝播における基本的な勾配降下から始めて、より深い深度を達成できます。 入力信号の次元—スカラー入力からハイパーキューブ（ビデオには水平、垂直、透明度を含む色深度、フレームがあります）—これはパーセプトロンの意味での入力数と同じではないことに注意してください。 トポロジーの発達—上記の2つは本質的にデカルトです。寸法は既存の寸法に直角に追加されます。ネットワークは（ラプラシアン階層のように）階層に配線され、メビウスストリップは（GANのように）円のようにストリップされるため、傾向は地形的であり、頂点がニューロンではなく、それらのより小さなネットワークである有向グラフによって最もよく表されます。 不足しているトポロジは何ですか？ このセクションでは、タイトルの質問の意味について詳しく説明します。 それぞれがニューラルネットを表す複数のメタ頂点を配置して、複数のスーパーバイザーメタ頂点が連携して複数の従業員のメタ頂点を監視できる理由はありますか？ エラー信号の逆伝播が、負のフィードバックの唯一の非線形等価物であるのはなぜですか？ コントロールを表す2つの相互エッジがある場合、監視ではなくメタ頂点間のコラボレーションを使用できませんか？ ニューラルネットは主に非線形現象の学習に使用されるので、ネットまたはそれらの相互接続の設計で他のタイプの閉じたパスを禁止するのはなぜですか？ ビデオクリップを自動的に分類できるように、画像にサウンドを追加できない理由はありますか？その場合、脚本は映画の可能な特徴抽出であり、敵対的なアーキテクチャを使用して映画スタジオシステムなしで脚本を生成し、映画を制作できますか？そのトポロジーは有向グラフとしてどのように見えますか？ 直交配置されたセルは、非直交の頂点とエッジの任意の規則的なパッキング配置をシミュレートできますが、プラスまたはマイナス90度以外のカメラの傾きが一般的であるコンピュータービジョンでこれを行うのは効率的ですか？ 自然言語の理解と組み立て、または人工認識を目的とした学習システムで、ネットワーク内の個々のセルまたはAIシステム内のセルのネットワークを直交して配置することは効率的ですか？ …

12 convolutional-neural-networks  natural-language-processing  topology  graph-theory  structure 

ホップフィールドネットワークは、ベクターを保存し、ノイズの多いバージョンからベクターを取得できます。これらは、すべてのニューロンがベクトル値に等しく設定されている場合にエネルギー関数を最小化するために重みを設定し、そのノイズバージョンを入力として使用してベクトルを取得し、ネットがエネルギー最小値に落ち着くようにします。 ネットが最も近い最小値に落ち着くという保証がないという事実などの問題は残しておきます–問題は最終的にはボルツマンマシンで解決され、最終的には逆伝播で解決されます–ブレークスルーは、それらが抽象的な表現を持つための出発点だったということです。同じドキュメントの2つのバージョンは同じ状態を呼び起こし、ネットワークでは同じ状態で表されます。 ホップフィールド自身が1982年の論文で発表したように、創発的集団計算能力を持つニューラルネットワークと物理システム 現在のモデリングは、エンティティまたはゲシュタルトがその特徴のコレクションを表す入力に基づいてどのように記憶または分類されるかに関連している可能性があります。 一方、ディープラーニングの画期的な進歩は、入力の複数の階層表現を構築する機能であり、最終的にAI開業医の生活を容易にし、機能エンジニアリングを簡素化することにつながりました。（例えば、表現学習：レビューと新しい展望、ベンジオ、クールビル、ビンセントを参照）。 概念的な観点から、私はディープラーニングをホップフィールドネットの一般化と見なすことができると信じています。単一の表現から表現の階層までです。 計算/トポロジーの観点からもそうですか？「単純な」Hopfieldネットワークの状態（2ステートニューロン、無向、エネルギー関数）を考慮しない場合、ネットワークの各層をHopfieldネットワークとして、プロセス全体を以前に記憶されたGestaltの順次抽出、および再編成として見ることができます。これらのゲシュタルト？

11 deep-learning  topology 

休業。この質問には、より焦点を当てる必要があります。現在、回答を受け付けていません。 この質問を改善してみませんか？質問を更新して、この投稿を編集するだけで1つの問題に焦点を当てます。 先月休業。 現在の機械学習の傾向は、AIの新しい分野では、MLP、CNN、RNNが人間の知性を発揮できるという意味で解釈されています。元のパーセプトロン設計から派生したこれらの直交構造は、分類、特徴の抽出、リアルタイムでの適応、画像内のオブジェクトまたは音声内の単語の認識を学習できることは事実です。 これらの人工ネットワークの組み合わせは、設計と制御パターンを模倣できます。認識や対話などのより複雑な関数の近似でさえ、チューリング完全であるため、RNNなどのステートフルネットワークでは理論的には可能であると見なされます。 この質問は、元のパーセプトロン設計の純粋に直交する拡張に基づくディープネットワークの成功によって作成された印象が創造性を制限しているかどうかに集中しています。 ほとんどのプログラミング言語で便利な配列と行列の次元を微調整すると、人工ネットワークから人工脳につながると想定するのはどのくらい現実的ですか？ 専用の高度なハードウェアの100ラックが1年間稼働したとしても、コンピューターにダンスの振り付けや複雑な証明の開発を学習させるために必要なネットワークの深さは、収束しないでしょう。エラーサーフェスの局所的な最小値と勾配の飽和は、実行を困難にし、収束を非現実的にします。 直交性がMLP、CNN、およびRNN設計に見られる主な理由は、配列反復に使用されるループが、単純なテストにコンパイルされ、機械語で逆方向にジャンプするためです。そしてその事実は、FORTRANやCからJavaやPythonに至るまで、すべての高水準言語に影響します。 トリビアルループの最も自然なマシンレベルのデータ構造は配列です。入れ子ループは、多次元配列と同じ直接的なアラインメントを提供します。これらは、ベクトル、行列、立方体、超立方体、およびそれらの一般化の数学的構造、つまりテンソルにマッピングされます。 グラフベースのライブラリとオブジェクト指向データベースは何十年も存在しており、階層をトラバースするための再帰の使用は、ほとんどのソフトウェアエンジニアリングカリキュラムでカバーされていますが、2つの事実は、あまり制約のないトポロジからの一般的な傾向を妨げています。 グラフ理論（エッジで接続された頂点）は、コンピューターサイエンスのカリキュラムに一貫して含まれていません。 プログラムを作成する多くの人は、配列、順序付きリスト、セット、マップなど、お気に入りの言語に組み込まれている構造体でのみ動作しました。 脳の構造は、ベクトルや行列のようなデカルトトポロジー1に向けられていません。生物学のニューラルネットは直交していません。それらの物理的な方向も信号経路のグラフィック表現も箱型ではありません。脳の構造は、90度の角度では自然に表現されません。 実際の神経回路は、デカルト形式で直接表すことはできません。また、再帰的な階層に直接適合しません。これは、4つの特徴があるためです。 心の並列処理は反復ではなくトレンドによるものです—並列構造として表示されるもののニューロンは同一ではなく、見かけのパターンを除いて巧妙に作られています。 サイクルは構造内に表示されます—ニューロンのグループがすべて単一方向を指しているわけではありません。サイクルは、多くのネットワークを表す有向グラフに存在します。信号方向の祖先も子孫である多くの回路があります。これはアナログ回路の安定化フィードバックに似ています。 平行でない神経構造も常に直交しているわけではありません。90度の角度が形成される場合、それは偶然であり、設計ではありません。 神経構造は静的ではありません—神経可塑性は、軸索または樹状突起が90度に制限されない新しい方向に成長する可能性がある場合に観察される現象です。細胞アポトーシスはニューロンを排除するかもしれません。新しいニューロンが形成されることがあります。 脳については、ベクトル、行列、またはレジスターのキューブ、または隣接するメモリー・アドレスのような直交デジタル回路構造に自然に適合するものはほとんどありません。それらのシリコンでの表現と、それらが高水準プログラミング言語に課す機能要求は、基本的な代数や解析ジオメトリの多次元配列やループとは根本的に異なります。 脳はユニークなトポロジカルで構成されている1つの洗練された信号伝播を実現する構造。それらは、デカルト座標系またはグリッドによって制約されていません。フィードバックはネストされ、非直交です。彼らには、より高い思考とより低い思考、動機、注意のバランスを形成する化学的および電気的平衡があります。 そのトポロジー1の洗練は必要ですか、それともDNAがベクター、マトリックス、キューブ、またはハイパーキューブを構築する方法の単なる副産物ですか？ 脳の研究が進むにつれて、脳の構造を直交信号経路に効率的に変形できる可能性はますます低くなっています。必要な信号構造が同種の配列である可能性は低いです。確率論的または無秩序な処理構造がAI開発に有利である可能性さえあります。 脳の位相幾何学的に1洗練された機能は、触媒や思考の人間の形の出現のためにも必要かもしれません。何百ものパーセプトロン層にわたって収束を達成しようとすると、時々それを機能させることができるだけです。デカルトから始まった概念上の制限に、私たちは何らかの形で閉じ込められていますか？ 直交構造のプログラミングの利便性を単に放棄することによって、これらの制限から脱出できますか？VLSIチップの設計における新しい方向性を発見するために、何人かの研究者が取り組んでいます。コードでの精神機能の記述を容易にするために、既存の言語に新しい種類のプログラミング言語または新しい機能を開発する必要があるかもしれません。 新しい形式の数学が示されることを示唆する人もいますが、重要な理論的フレームワークは、レオンハルトオイラー（グラフ）、グスタフキルヒホフ（ネットワーク）、ベルンハルトリーマン（多様体）、アンリポアンカレ（トポロジー）、アンドレイマルコフ（行動グラフ）によってすでに作成されています）、Richard Hook Richens（計算言語学）など、数学をさらに拡張する必要がある前にAIの大幅な進歩をサポートします。 トポロジーの高度化を採用するためのAI開発の次のステップは？ 脚注 [1]この質問では、トポロジーという単語のみを使用して、長年にわたる数学的定義を参照しています。この用語は、いくつかの新しい専門用語によって歪められていますが、これらの変形のどれもこの質問では意味されていません。歪みには、（a）ネットワークのトポロジのレイヤー幅の配列を呼び出すこと、および（b）正しい用語がtopoGRAPHyである場合に、表面のテクスチャーをそのtopoLOGyと呼ぶことが含まれます。このような歪みは、この質問で説明されているようなアイデアのコミュニケーションを混乱させます。これは、（a）または（b）とは無関係です。 参考文献 空洞にバインドされたニューロンのクリークは、2017年6月12日、計算神経科学における構造と機能のフロンティア間のミッシングリンクを提供します、マイケルW. al。 https://www.frontiersin.org/articles/10.3389/fncom.2017.00048/full、 https://doi.org/10.3389/fncom.2017.00048 オンライン自己構築型ニューラルファジー、推論ネットワークとその応用、Chia-Feng JuangおよびChin-Teng Lin、ファジーシステムのIEEEトランザクション、v6、n1、1998、 https：//ir.nctu.edu.tw/ビットストリーム/11536/32809/1/000072774800002.pdf ゲーテッドグラフシーケンスニューラルネットワークYujia LiおよびRichard Zemel、ICLR会議論文、2016年、https： //arxiv.org/pdf/1511.05493.pdf 人のように学び、考える機械の構築、ブレンデンM.レイク、トマーD.ウルマン、ジョシュアB.テネンバウム、サミュエルJ.ガーシュマン、行動科学および脳科学、2016年、 https：//arxiv.org/pdf/1604.00289.pdf 質問応答用のニューラルネットワークの作成を学ぶ、Jacob Andreas、Marcus Rohrbach、Trevor Darrell、およびDan …

10 deep-learning  logic  topology  cognitive-science