機械学習で大部分が探索されていないトポロジはどれですか?[閉まっている]


12

ジオメトリとAI

マトリックス、キューブ、レイヤー、スタック、および階層は、トポロジーと正確に呼ぶことができるものです。この文脈でトポロジーを検討してください。学習システムのより高いレベルの幾何学的設計です。

複雑さが増すにつれ、これらのトポロジーを有向グラフ構造として表すと便利な場合があります。状態図とマルコフのゲーム理論に関する研究は、有向グラフが一般的に使用される2つの場所です。有向グラフには、頂点(多くの場合、閉じた図形として視覚化される)と、図形を結ぶ矢印として視覚化されるエッジがあります。

また、GANを有向グラフとして表すこともできます。この場合、各ネットの出力は、反対の方法で他のトレーニングを駆動します。GANはトポロジー的にメビウスの帯に似ています。

最適なソリューションに収束したり、最適なソリューションを追跡したりする数学だけでなく、そのような収束をサポートできるネットワーク接続のトポロジーも理解せずに、新しい設計とアーキテクチャを発見することはできません。オペレーティングシステムを作成する前に、オペレーティングシステムが何を必要とするかを想像しながら、最初にプロセッサを開発するようなものです。

まだ検討していないトポロジーを垣間見るために、最初にどのトポロジーが検討されたかを見てみましょう。

ステップ1 — 2次元での押し出し

1980年代には、元のパーセプトロンの設計を拡張して成功を収めました。研究者たちは、多層ニューラルネットワークを作成するために2番目の次元を追加しました。合理的な収束は、学習率によって減衰され、他のメタパラメーターで減衰された活性化関数の勾配による誤差関数の勾配の逆伝播によって達成されました。

ステップ2 —離散入力信号への次元の追加

既存の手動で調整された画像のたたみ込み手法に基づくたたみ込みネットワークの出現が、ネットワーク入力に垂直方向、色成分、およびフレームに導入されたことがわかります。この最後の次元は、CGI、顔の置換、および現代の映画制作におけるその他の形態学的手法にとって重要です。それがなければ、画像の生成、分類、ノイズ除去ができます。

ステップ3-ネットワークのスタック

ニューラルネットのスタックが出現するのは1990年代後半であり、1つのネットワークのトレーニングが別のネットワークによって監視されています。これは、ニューロンの連続した層という意味でも、画像内の色の層という意味でもない、概念的な層の導入です。このタイプの階層化も再帰ではありません。それは、ある構造が別の完全に異なる種類の構造内の器官である自然界に似ています。

ステップ4 —ネットワークの階層

2000年代から2010年代初頭にかけての研究(ラプラシアンなど)からニューラルネットの階層が頻繁に出現することがわかります。トポロジーを表す有向グラフで、ネットワーク全体が頂点になるメタ構造が表示されます。

ステップ5%mdash; デカルトオリエンテーションからの出発

非カルテシアの体系的に繰り返される細胞の配置とそれらの間のつながりが文献に登場し始めています。たとえば、Gauge Equivariant Convolutional Networksと 20面体CNN(Taco S. Cohen、Maurice Weiler、Berkay Kicanaoglu、Max Welling、2019)は、凸正二十面体に基づく配置の使用を検討しています。

まとめ

レイヤーには、隣接するレイヤー間の有向エッジの完全なセットにマッピングされた頂点と減衰行列の通常重要なアクティベーション関数があります[1]。画像のたたみ込みレイヤーは、多くの場合、2次元の頂点配置にあり、減衰キューブは隣接するレイヤー間の有向エッジの要約されたセットにマッピングされます[2]。スタックには、メタ有向グラフの頂点として層状ネット全体があり、それらのメタ頂点はシーケンスで接続されており、各エッジはトレーニングメタパラメーター、強化(リアルタイムフィードバック)信号、またはその他の学習制御のいずれかです。 。ネットの階層は、複数のコントロールを集約してより低いレベルの学習を指示できるという概念、または1つのより高いレベルのスーパーバイザネットワークによって複数の学習要素を制御できるフリップケースを反映しています。

学習トポロジーの傾向の分析

機械学習アーキテクチャの傾向を分析できます。トポロジーには3つの傾向があります。

  • 因果関係の次元の深さ—信号処理のレイヤー。アクティベーションの1つのレイヤーの出力は、減衰パラメーター(重み)のマトリックスを通じて次のレイヤーの入力に供給されます。より大きな制御が確立されると、後方伝播における基本的な勾配降下から始めて、より深い深度を達成できます。

  • 入力信号の次元—スカラー入力からハイパーキューブ(ビデオには水平、垂直、透明度を含む色深度、フレームがあります)—これはパーセプトロンの意味での入力数と同じではないことに注意してください。

  • トポロジーの発達—上記の2つは本質的にデカルトです。寸法は既存の寸法に直角に追加されます。ネットワークは(ラプラシアン階層のように)階層に配線され、メビウスストリップは(GANのように)円のようにストリップされるため、傾向は地形的であり、頂点がニューロンではなく、それらのより小さなネットワークである有向グラフによって最もよく表されます。

不足しているトポロジは何ですか?

このセクションでは、タイトルの質問の意味について詳しく説明します。

  • それぞれがニューラルネットを表す複数のメタ頂点を配置して、複数のスーパーバイザーメタ頂点が連携して複数の従業員のメタ頂点を監視できる理由はありますか?
  • エラー信号の逆伝播が、負のフィードバックの唯一の非線形等価物であるのはなぜですか?
  • コントロールを表す2つの相互エッジがある場合、監視ではなくメタ頂点間のコラボレーションを使用できませんか?
  • ニューラルネットは主に非線形現象の学習に使用されるので、ネットまたはそれらの相互接続の設計で他のタイプの閉じたパスを禁止するのはなぜですか?
  • ビデオクリップを自動的に分類できるように、画像にサウンドを追加できない理由はありますか?その場合、脚本は映画の可能な特徴抽出であり、敵対的なアーキテクチャを使用して映画スタジオシステムなしで脚本を生成し、映画を制作できますか?そのトポロジーは有向グラフとしてどのように見えますか?
  • 直交配置されたセルは、非直交の頂点とエッジの任意の規則的なパッキング配置をシミュレートできますが、プラスまたはマイナス90度以外のカメラの傾きが一般的であるコンピュータービジョンでこれを行うのは効率的ですか?
  • 自然言語の理解と組み立て、または人工認識を目的とした学習システムで、ネットワーク内の個々のセルまたはAIシステム内のセルのネットワークを直交して配置することは効率的ですか?

ノート

  1. MLPの人工セルは、振幅と近接に基づくしきい値に基づく電気化学パルス送信ではなく、浮動小数点または固定小数点の算術伝達関数を使用します。これらはニューロンの現実的なシミュレーションではないため、頂点ニューロンを呼び出すことは、この種の分析では誤った名称になります。

  2. 画像の特徴と、近接するピクセル間の相対的な変化の相関は、離れたピクセルの相関よりもはるかに高くなります。


私はこの質問を1〜2回読みましたが、何が質問されているのかわかりません。特に、「トポロジー」は、あなたが言及している概念のいずれにも言及していません。多分あなたは「建築」を意味しますか?しかし、それも意味をなさないようです……この質問は、「〜しない」というカテゴリーに正直に当てはまると思います。
kc sayz 'kc sayz'

回答:


0

トポロジーは、交差と分岐によって区別される幾何学的形状の研究です。この用語は、グラフィックアスペクトのネットワークアーキテクチャに使用されます。ANNは生物学的ニューロンとは活性化の方法があまり似ていないことを理解し、ニューラルネットワークの類似性の拡張を検討するためにそれを使用するのは適切です。そのため、大部分が未探索であるものを検討するとき、トポロジーの懸念に議論を限定することは困難です。

スーパーバイザの従業員のパラダイムはスタックとラプラシアン階層が使用するものであり、コラボレータのパラダイムは敵対的なネットワークが使用するものです。フィードバックは否定的ですが、生成モデル(G)と判別モデル(D)は実際に協力して目標を達成します。悪魔の支持者が真実に収束するために談話で使用されるためです。確かに、頂点が人工ニューロンではなく、ANN全体またはCNN要素である他の設計が近々登場します。

教師-学生と上司-従業員のパラダイムは、おそらく2つにすぎません。神経可塑性をシミュレートするには、庭師植物、アプライアンス修理工、およびエンジニア製品のパラダイムを調査する必要があります。

エラー信号の逆伝播は、負のフィードバックの唯一の非線形等価ではありません。メビウスの帯のアナロジーの使用で示したように、GANの循環トポロジも負のフィードバックです。しかし、それらの線に沿ってもっと考えるべきです。

メタ頂点間のコラボレーションは興味深いものです。コラボレーションは、偽の敵対的なタイプでなければなりませんか?ポジティブフィードバックは、人工知能トポロジで役立ちますか?農場主と食品流通トラックの運転手は、役割が一部にすぎない一連のプロセスの最後にあるスーパーマーケットで食品を購入します。トポロジーと設計の有向グラフ表現におけるより大きなサイクルは、おそらく正または負のフィードバックを有効に利用できます。

映画の人工的な制作は、コーネルUのテキストからのビデオ生成に関する研究(Li、Min、Shen、Carlson、Carin)のような研究から生まれるかもしれませ


0

カオスのエッジと機械学習; 意思決定におけるメリットとメリット


あなたの質問への直接回答:-

カオスの端


素人説明:-

https://www.lucd.ai/post/the-edge-of-chaos#!)


この回答について:-

カオス理論におけるEdge of Chaosは、人工知能の研究の重要なトピックになる可能性があります。

カオスの縁は何ですか?このフィールドは、さまざまなシステム内に存在すると仮定されています。そのような分野で多くの用途があります。このフィールドは、秩序と無秩序の間の相互作用の間の移行ゾーンです。

AIとカオス理論の交差点に興味があります。カオスのエッジは、機械学習ではほとんど探索されていない潜在的なトポロジとして機能します。

これは、大きな可能性を秘めた豊かな分野です。それは両方とも、ほとんど知られておらず、過小評価されています。

この回答では、そのような分野を分析することの利点を探ります。利点は、組織に人員を投資して管理する最適な方法などの意思決定に現れます。


技術的な移植:-

「マトリックス、キューブ、レイヤー、スタック、および階層は、トポロジーと正確に呼ぶことができるものです。このコンテキストでは、トポロジーを学習システムのより高いレベルの幾何学的設計と考えてください。」〜ダグラス・ダシーコ、オープニングポスター

それを、以下の論文の要約からのこの抜粋と比較してください。--

"...さまざまなコンピュータービジョンモデルの動的安定性分析を通じて、最適なディープニューラルネットワークパフォーマンスが、安定したアトラクタとカオスアトラクタを分離する遷移点の近くで発生するという直接的な証拠を見つけます。..." Feng、Ling、およびChoy Heng Lai。—「カオスの端近くの最適なマシンインテリジェンス。」arXivプレプリントarXiv:1909.05176(2019)。

-

「カオスの縁は、秩序と無秩序の間の遷移空間であり、さまざまなシステム内に存在すると仮定されています。この遷移ゾーンは、秩序と無秩序の間の一定の動的相互作用を生み出す、境界が不安定な領域です。

カオスのエッジの概念は抽象的で直感的ではありませんが、生態学、経営学、心理学、政治学、および社会科学の他のドメインなどの分野で多くの用途があります。物理学者は、カオスの端への適応がフィードバックのあるほとんどすべてのシステムで発生することを示しました。 "ウィキペディアの貢献者" —「カオスの端」。ウィキペディア、フリー百科事典。Wikipedia、The Free Encyclopedia、2019年9月10日。Web。2019年9月22日。


そのような分野を研究することの利点:-

"[...]戦略、プロトコル、チーム、部門、階層。すべてが最適なパフォーマンスのために細心の注意を払って構成されています。

または、少なくとも、それがそうであるはずです。しかし、私たちが行うビジネスに複雑性理論家のレンズを適用すると、問題はかなり複雑になります。私たちはもはや組織を組織として、または部門を部門としてではなく、3つの部分で理解するのに最も役立つ複雑な適応システムと見なしています。

雇用

メンタルモデルを使用して職場でより適切な意思決定を行う職業生活には難しい選択が散らばっています。このプロモーションの準備はできていますか?メンターとしてどのマネージャーを選ぶべきですか?昼食には何を食べたらいいですか?最善の策を一貫して実行するための確実な方法はありません。たとえ私たちの最高の人でもミスを犯す場合でも)、適切なツールを使用することで、成功の可能性を最大化することが可能です。

まず、従業員(複雑に言えば、異機種エージェント)です。各従業員には、環境を反映し、環境の変化を予測する試みの両方を行う、異なる進化する決定ルールがあります。第二に、従業員同士の相互作用、およびこれらの相互作用が生み出す構造–科学者はこれを創発と呼んでいます。最後に、出現する包括的な構造は、基礎となるエージェントのものとは異なるプロパティと特性を持つ上位レベルのシステムのように動作します。この最後の部分は、「全体がその部分の合計よりも大きい」とよく言われる理由です。

管理者のコントロールに対する欲求を考えると、複雑さは便利な現実にはほど遠いものです。管理者は、維持しようとしているシステムの残酷な現実に直面するのではなく、サイロで作業し、確実に単板を課すモデルとメカニズムを作成します。そうすることで、彼らは自分自身と同僚がより少ない変数で意思決定を行うのを助けます。これらのモデルによって設定された目標を満たすことは成功の証拠を生成しますが、それはシステム全体としての最善の利益とはならない可能性がある単純化された成功です。

たとえば、株主の利益を最大化することを厳格に優先することは、労働者にとって物事を明確にします。困難なトレードオフの場合、即時の収益性に役立つオプションが好ましいオプションです。しかし、もちろん、短期的なマージンを増やすために費用と投資を削減することは、企業の長期的な健全性に有害となる可能性があることは誰もが知っています。複雑さを受け入れることによってのみ、競合する値と優先順位(およびそれらすべてに対する決定の影響)を効果的にバランスさせることができます。[...]「—フレズノ、ブランカゴンサレスデル。「カオスからの注文:職場で複雑性理論を適用する方法:BBVA」NEWS BBVA、BBVA、2017年12月4日、< www.bbva.com/en/order-from-chaos-how-to-apply-complexity-theory-at-work/ >。


さらに読む:-


出典および参考文献:-


-1

これはトピックから外れている可能性があります。その場合は削除してください。

電子回路には、ジェネレーター、トリガー、メモリセル、セレクター、alus、fpus、バス、その他多くのチップなどの論理ブロックがあります。これからコンピューターができ、次のレベルからコンピューターネットワークができます...

機械学習の場合も同様の構成にする必要がありますが、64ビットのコンピューターを使用している場合、ニューラルネットワークは、プログラミング言語で定義されているよりも複雑な入出力とより多くの論理関数を備えている可能性があります。

したがって、X入力ビットの場合、1つの出力ビットにはX ^(2 ^ 2)状態があり、必要な論理関数を選択するには2 ^ Xビットがあります。

したがって、例のように最初のopencv-filtersとして、これらの関数を一貫して研究し、必要性を強調する必要があります。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.