ジオメトリとAI
マトリックス、キューブ、レイヤー、スタック、および階層は、トポロジーと正確に呼ぶことができるものです。この文脈でトポロジーを検討してください。学習システムのより高いレベルの幾何学的設計です。
複雑さが増すにつれ、これらのトポロジーを有向グラフ構造として表すと便利な場合があります。状態図とマルコフのゲーム理論に関する研究は、有向グラフが一般的に使用される2つの場所です。有向グラフには、頂点（多くの場合、閉じた図形として視覚化される）と、図形を結ぶ矢印として視覚化されるエッジがあります。
また、GANを有向グラフとして表すこともできます。この場合、各ネットの出力は、反対の方法で他のトレーニングを駆動します。GANはトポロジー的にメビウスの帯に似ています。
最適なソリューションに収束したり、最適なソリューションを追跡したりする数学だけでなく、そのような収束をサポートできるネットワーク接続のトポロジーも理解せずに、新しい設計とアーキテクチャを発見することはできません。オペレーティングシステムを作成する前に、オペレーティングシステムが何を必要とするかを想像しながら、最初にプロセッサを開発するようなものです。
まだ検討していないトポロジーを垣間見るために、最初にどのトポロジーが検討されたかを見てみましょう。
ステップ1 — 2次元での押し出し
1980年代には、元のパーセプトロンの設計を拡張して成功を収めました。研究者たちは、多層ニューラルネットワークを作成するために2番目の次元を追加しました。合理的な収束は、学習率によって減衰され、他のメタパラメーターで減衰された活性化関数の勾配による誤差関数の勾配の逆伝播によって達成されました。
ステップ2 —離散入力信号への次元の追加
既存の手動で調整された画像のたたみ込み手法に基づくたたみ込みネットワークの出現が、ネットワーク入力に垂直方向、色成分、およびフレームに導入されたことがわかります。この最後の次元は、CGI、顔の置換、および現代の映画制作におけるその他の形態学的手法にとって重要です。それがなければ、画像の生成、分類、ノイズ除去ができます。
ステップ3-ネットワークのスタック
ニューラルネットのスタックが出現するのは1990年代後半であり、1つのネットワークのトレーニングが別のネットワークによって監視されています。これは、ニューロンの連続した層という意味でも、画像内の色の層という意味でもない、概念的な層の導入です。このタイプの階層化も再帰ではありません。それは、ある構造が別の完全に異なる種類の構造内の器官である自然界に似ています。
ステップ4 —ネットワークの階層
2000年代から2010年代初頭にかけての研究（ラプラシアンなど）からニューラルネットの階層が頻繁に出現することがわかります。トポロジーを表す有向グラフで、ネットワーク全体が頂点になるメタ構造が表示されます。
ステップ5％mdash; デカルトオリエンテーションからの出発
非カルテシアの体系的に繰り返される細胞の配置とそれらの間のつながりが文献に登場し始めています。たとえば、Gauge Equivariant Convolutional Networksと 20面体CNN（Taco S. Cohen、Maurice Weiler、Berkay Kicanaoglu、Max Welling、2019）は、凸正二十面体に基づく配置の使用を検討しています。
まとめ
レイヤーには、隣接するレイヤー間の有向エッジの完全なセットにマッピングされた頂点と減衰行列の通常重要なアクティベーション関数があります[1]。画像のたたみ込みレイヤーは、多くの場合、2次元の頂点配置にあり、減衰キューブは隣接するレイヤー間の有向エッジの要約されたセットにマッピングされます[2]。スタックには、メタ有向グラフの頂点として層状ネット全体があり、それらのメタ頂点はシーケンスで接続されており、各エッジはトレーニングメタパラメーター、強化（リアルタイムフィードバック）信号、またはその他の学習制御のいずれかです。 。ネットの階層は、複数のコントロールを集約してより低いレベルの学習を指示できるという概念、または1つのより高いレベルのスーパーバイザネットワークによって複数の学習要素を制御できるフリップケースを反映しています。
学習トポロジーの傾向の分析
機械学習アーキテクチャの傾向を分析できます。トポロジーには3つの傾向があります。
因果関係の次元の深さ—信号処理のレイヤー。アクティベーションの1つのレイヤーの出力は、減衰パラメーター（重み）のマトリックスを通じて次のレイヤーの入力に供給されます。より大きな制御が確立されると、後方伝播における基本的な勾配降下から始めて、より深い深度を達成できます。
入力信号の次元—スカラー入力からハイパーキューブ（ビデオには水平、垂直、透明度を含む色深度、フレームがあります）—これはパーセプトロンの意味での入力数と同じではないことに注意してください。
トポロジーの発達—上記の2つは本質的にデカルトです。寸法は既存の寸法に直角に追加されます。ネットワークは（ラプラシアン階層のように）階層に配線され、メビウスストリップは（GANのように）円のようにストリップされるため、傾向は地形的であり、頂点がニューロンではなく、それらのより小さなネットワークである有向グラフによって最もよく表されます。
不足しているトポロジは何ですか？
このセクションでは、タイトルの質問の意味について詳しく説明します。
- それぞれがニューラルネットを表す複数のメタ頂点を配置して、複数のスーパーバイザーメタ頂点が連携して複数の従業員のメタ頂点を監視できる理由はありますか？
- エラー信号の逆伝播が、負のフィードバックの唯一の非線形等価物であるのはなぜですか？
- コントロールを表す2つの相互エッジがある場合、監視ではなくメタ頂点間のコラボレーションを使用できませんか？
- ニューラルネットは主に非線形現象の学習に使用されるので、ネットまたはそれらの相互接続の設計で他のタイプの閉じたパスを禁止するのはなぜですか？
- ビデオクリップを自動的に分類できるように、画像にサウンドを追加できない理由はありますか？その場合、脚本は映画の可能な特徴抽出であり、敵対的なアーキテクチャを使用して映画スタジオシステムなしで脚本を生成し、映画を制作できますか？そのトポロジーは有向グラフとしてどのように見えますか？
- 直交配置されたセルは、非直交の頂点とエッジの任意の規則的なパッキング配置をシミュレートできますが、プラスまたはマイナス90度以外のカメラの傾きが一般的であるコンピュータービジョンでこれを行うのは効率的ですか？
- 自然言語の理解と組み立て、または人工認識を目的とした学習システムで、ネットワーク内の個々のセルまたはAIシステム内のセルのネットワークを直交して配置することは効率的ですか？
ノート
MLPの人工セルは、振幅と近接に基づくしきい値に基づく電気化学パルス送信ではなく、浮動小数点または固定小数点の算術伝達関数を使用します。これらはニューロンの現実的なシミュレーションではないため、頂点ニューロンを呼び出すことは、この種の分析では誤った名称になります。
画像の特徴と、近接するピクセル間の相対的な変化の相関は、離れたピクセルの相関よりもはるかに高くなります。