現在の技術を使用して、ハードウェアで任意の大規模ニューラルネットワークを技術的に作成できますか？

トランジスタを使用してニューロンとシナプスを実装できる場合、GPUを作成するのと同じ方法を使用して任意の大規模ニューラルネットワークを作成できないのはなぜですか。

本質的に、シーケンシャルプロセッサに実装された非常に優れた仮想ニューラルネットワークがどのように機能するかを見てきました（GPUもシーケンシャルマシンですが、大量のコアがあります）。

GPUの設計原則（基本的には並列に動作する数千のプログラム可能な処理ユニットを備える）を使用すると想像できますが、はるかに単純な「ニューロン処理ユニット」を作成し、数百万または数十億のこれらのNPUを1つの大きなチップに配置できます。それらは（重みを保存するための）独自のメモリを持ち、バスを共有することにより数百の他のニューロンに接続されます。それらは、例えば20Hzの周波数を持つことができ、それにより、他の多くのニューロンとデータバスを共有することができます。

明らかに、ここにはいくつかの電気工学の課題がありますが、すべての大手テクノロジー企業がこのルートを今までに探究しているように思えます。

多くのAI研究者は、超知能が2045年頃に来ると言います。彼らの推論はムーアの法則と、私たちが持っている最速のコンピューターで実行されるソフトウェアに実装できるニューロンの数に基づいていると思います。

しかし、実際には、今日、何十億ものトランジスタを搭載したシリコンチップを製造しています。SPARK M7には100億個のトランジスタがあります。

（プログラム不可能な）ニューロンとそのための数百のシナプスを実装する場合、たとえば100 000のトランジスタが必要であれば、100 000のニューロンをエミュレートするハードウェアでニューラルネットワークを作成できます。

より多くのニューロンが必要な場合に、物理的に大きくできるようにこのようなチップを設計すると、任意の大きなニューラルネットワークは単に予算の問題であるように思えます。

現在の技術を使用して、ハードウェアで任意の大規模ニューラルネットワークを技術的に作成できますか？

覚えておいてください。そのようなネットワークが実際に非常にインテリジェントになるかどうかは尋ねていません。私がこれを行うためにインテルに支払うことを決定した場合、私が事実上、任意に大きく、高度に相互接続されたニューラルネットワークを作成できるかどうか尋ねているだけですか？

つまり、一部の科学者がソフトウェアで一般的なインテリジェンスを作成できる日に、ハードウェア機能を使用して、この一般的なインテリジェンスを人間のレベル以上に成長させることができます。

あなたが説明するアプローチはニューロモーフィックコンピューティングと呼ばれ、非常に多忙な 分野です。

IBMのTrueNorthにはスパイクニューロンさえあります。

これらのプロジェクトの主な問題は、誰がそれらをどう処理すればよいのかまだ誰も知らないことです。

これらのプロジェクトは、ニューラルネットワークを実行するために最適化されたチップを作成しようとはしません。それは確かに可能ですが、高価な部分はニューラルネットワークの実行ではなくトレーニングです。そして、トレーニングには巨大な行列乗算が必要ですが、GPUはすでに非常に優れています。（GoogleのTPUはNNを実行するために最適化されたチップになります。）

脳に実装されている可能性があるアルゴリズムについて調査するには（これらについてはほとんど何も知りません）、柔軟性が必要です。これらのチップにはありません。また、エンジニアリングの課題は、多くのシナプスを提供することにあると考えられます。TrueNorthのニューロンあたりの平均シナプス数256と脳の10,000を比較するだけです。

したがって、いくつかのニューラルアーキテクチャに基づいて設計されたチップを作成すると、より速く、より効率的になります。ただし、そのためには、どのアーキテクチャが最初に機能するかを知る必要があります。ディープラーニングは機能することがわかっているので、Googleはカスタムメイドのハードウェアを使用してアプリケーションを実行します。将来的には、カスタムメイドのディープラーニングハードウェアが近くのスマートフォンに登場することも想像できます。強力なAIのためのニューロモーフィックチップを作成するには、まず強力なAIを開発する必要があります。

ニューロンとシナプスがトランジスタを使用して実装できる場合、

現在、機械学習のすべての競争に勝っているニューラルネットワーク（MLP、CNN、RNN、Deep Residual Networksなど）について話していないことを願っています。これらはかつてニューロンのモデルとして使用されていましたが、実際の脳細胞で起こることとは非常に大まかに関連しています。

スパイクネットワークは、実際のニューロンに非常に近いはずです。Hodgkin-Huxleyモデルは非常に現実的であると聞きました。ただし、上で名前を付けたモデルとは異なり、スパイクネットワークには効果的なトレーニングアルゴリズムがないようです。

大きなニューラルネットワークを作成できない理由

• 計算リソース：ニューラルネットワークのトレーニングには多くの時間がかかります。コンピュータービジョンの一部のCNNモデルのGPUクラスターについて、約12日間話し合っています。
• トレーニングデータ：モデルに追加する変数が多いほど、それらを推定するために必要なデータも多くなります。ニューラルネットワークは魔法ではありません。彼らは彼らが協力できる何かを必要としています。

しかし、実際には、今日、何十億ものトランジスタを搭載したシリコンチップを製造しています。SPARK M7には100億個のトランジスタがあります。

（プログラム不可能な）ニューロンとそのための数百のシナプスを実装する場合、たとえば100 000のトランジスタが必要であれば、100 000のニューロンをエミュレートするハードウェアでニューラルネットワークを作成できます。

それはそれほど単純ではありません：

• Asynchonosity：生物学的ニューラルネットワークは非同期に動作します。これは、1つのニューロンがアクティブで、他のすべてのニューロンがアクティブではない可能性があることを意味します。
• エミュレーション：生物学的ニューロンをシミュレートするために必要なサイクルは1つだけであると想定します。ただし、何千サイクルも必要です。並列化できないものがあるため、単純にもっと多くの計算ユニットを使用することはできません。たとえば、関数について考えてみましょうf(x) = sin(x*x + 1)。ヒトでは、3つの計算は基本的にありますr1 = x*x、r2 = r1 + 1、r3 = sin(r2)。3人で結果の計算に取り組んでいる場合でも、このグループで最速の1人よりも速くなることはありません。どうして？前回の計算結果が必要だからです。

1つのトランジスタで1つのニューロンの基本的な機能を近似することはできますが、電子素子がシナプス/軸索をシミュレートできることには同意できません。トランジスタは平らな面にエッチングされており、隣接または近接するトランジスタにのみ相互接続できます。脳の軸索は（ニューロン自体のサイズと比較して）非常に長い距離に広がり、2次元の表面に限定されません。プロセッサ上のトランジスタの数を脳内のニューロンの数に近づけることができたとしても、接続数ほどではありません。脳のアナログ信号は、チップ上のバイナリインパルスと比較して、単位時間あたりにより多くの情報を運ぶと主張することもできます。さらに、脳には実際に可塑性があります。つまり、ニューロン間の接続を弱める/破棄する、またはまっすぐにする/作成することができます。

このリストを検討する必要があるかもしれません：

脳とコンピューターの10の重要な違い：

1. 脳はアナログ、コンピュータはデジタル
2. 脳は連想記憶を使用する
3. 脳は超並列マシンです。コンピュータはモジュール式でシリアル
4. 処理速度は脳で固定されていません。システムクロックはありません
5. 短期記憶はRAMのようなものではありません
6. 脳や心に関してハードウェア/ソフトウェアの区別をすることはできません
7. シナプスは電気論理ゲートよりはるかに複雑です
8. コンピュータとは異なり、処理とメモリは脳内の同じコンポーネントによって実行されます
9. 脳は自己組織化システムです
10. 脳には身体がある