デジタル値が単なる推定値である場合、AIのアナログに戻ってみませんか？

20世紀のアナログ回路からデジタル回路への移行の背後にある推進力は、より高い精度とより低いノイズへの欲求によるものです。現在、結果が近似でノイズが正の値であるソフトウェアを開発しています。

• 人工ネットワークでは、勾配（ヤコビアン）または2次モデル（ヘッシアン）を使用して、収束アルゴリズムの次のステップを推定し、許容範囲の不正確さと疑念を定義します。¹
• 収束戦略では、ランダムまたは擬似ランダム摂動を注入して意図的にノイズを追加し、本質的に収束中に最適化表面の極小値を飛び出すことで信頼性を向上させます。²

現在のAIシステムに受け入れられ、意図的に導入されているのは、電子機器をデジタル回路に動かしたのと同じことです。

ニューラルネットのアナログ回路に戻り、デジタル信号処理要素のマトリックスではなく、オペアンプマトリックスを使用して実装しませんか？

人工ネットワーク学習パラメーターの値は、D-Aコンバーターを介して充電された統合コンデンサーを使用して維持できるため、学習状態はデジタル精度と利便性の恩恵を受け、順伝播はアナログの利点を享受できます。

• より速い速度 ³
• ネットワークセルを表すトランジスタの桁数が少ない
• 自然な熱雑音⁴

アナログ人工ネットワークの学術論文または特許検索により、過去40年間に多くの仕事が明らかになり、研究傾向は維持されています。計算アナログ回路は十分に開発されており、ニューラルアレイの基礎を提供します。

デジタル計算に対する現在の強迫観念は、AIアーキテクチャオプションの一般的な見解を曇らせているでしょうか？

ハイブリッドアナログは人工ネットワークの優れたアーキテクチャですか？

脚注

[1] PAC（おそらくほぼ正しい）学習フレームワークは、許容誤差$\epsilon$および許容誤差$\delta$を特定のモデルタイプの学習に必要なサンプルサイズに関連付けます。（$1 - \epsilon$は精度を表し、$1 - \delta$はこのフレームワークの信頼。）

[2]適切な戦略とハイパーパラメーターを使用すると、学習中により迅速に収束する確率的勾配降下が示され、人工ネットワークの典型的な実世界のアプリケーションでのベストプラクティスになりつつあります。

[3] Intel Core i9-7960Xプロセッサーは4.2 GHzのターボ速度で動作しますが、標準の固定衛星放送は41 GHzです。

[4]アバランシェ点で逆バイアスされたツェナーダイオードの電子リークを増幅およびフィルタリングすることにより、シリコンで熱ノイズを得ることができます。量子現象の原因は、ジョンソンナイキスト熱雑音です。サンギネッティら 等 「携帯電話での量子乱数生成」（2014）の状態、「検出器は、伝送確率ηの損失チャネルとしてモデル化でき、その後に単位効率の光子電子変換器が続きます...分布が測定されます量子不確実性と技術的ノイズの組み合わせである」とCalTechのJTWPAの成果があります。これらは両方とも、集積回路で真に非決定的な量子ノイズを生成するための標準になる可能性があります。

参照資料

• 畳み込みスパイクニューラルネットワークによる画像パッチのSTDP学習、Saunders et。al。2018、U MassおよびHAS
• 限定精度アナログ計算による汎用コード高速化、Amant et。ほか、2014
• アナログコンピューティングと生物学的シミュレーションは、2016年Devin Coldeweyの新しいMITコンパイラから後押しされます
• Larry Hardestyによるアナログコンピューティングのリターン、2016年*
• なぜアナログ計算なのか？、NSA機密解除文書
• アナログコンピューティングに戻る：コロンビアの研究者は、アナログコンピューティングとデジタルコンピューティングを1つのチップに統合します（コロンビア大学、2016年）
• リコンフィギャラブルコンピューティング用のフィールドプログラマブルクロスバーアレイ（FPCA）、Zidan et。al。、IEEE、2017
• FPAA / Memristorハイブリッドコンピューティングインフラストラクチャ、Laiho et。al。、IEEE、2015
• 生きている細胞のコンピューティングのための基礎と新しいパラダイム、Ma、Perli、Lu、Harvard U、2016
• Zebulum、Stoica、Keymeulen、NASA / JPL、2000年によるハードウェア進化（FPAA）をターゲットとしたCMOSフィールドプログラマブルトランジスタアレイの柔軟なモデル
• カスタムリニアアレイには、チップあたり最大48個の高精度オペアンプが組み込まれています、Ashok Bindra、2001、Electronics Design
• アナログ信号処理用の大規模なフィールドプログラマブルアナログアレイ、Hall et。al。、Circuits and SystemsのIEEE Transactions、vol。52、いいえ。2005年11月
• アナログ信号処理用の大規模なフィールドプログラマブルアナログアレイ、Hall et。al。2005年
• 低電力スパイクニューロンとスパイクタイミング依存可塑性を備えた双安定シナプスのVLSIアレイ、Indiveri G、Chicca E、Douglas RJ、2006年
• https://www.amazon.com/Analog-Computing-Ulmann/dp/3486728970
• https://www.amazon.com/Neural-Networks-Analog-Computation-Theoretical/dp/0817639497

いろいろな理由があると思います。まず第一に：柔軟性。最新のCPUとGPUを使用すると、必要なほぼすべてのAIモデルを、あらゆるサイズと複雑さで構築できます。現在使用しているモデルが数年後もまだ適切であることをどのようにして確認できますか？おそらく、今後数年間でNNに大きなブレークスルーが起こるでしょうか？たぶん、一部の科学者は、NN、遺伝的アルゴリズムなどを使用するよりもAIを開発する方法が優れていることを発見します。通常のチップはそれをすべて処理でき、十分に処理できます。しかし、それを最適化し、お金の心配がなければ、特別なアーキテクチャを開発することができます（これは、さまざまな企業によって既に行われており、特定のタスクを大幅にスピードアップします）。

理由その2：大量生産。つまり、企業は最終的に高度に統合されたアナログAIコンポーネント（たとえば、NNチップなど）を生産できるようになりました。しかし、それは大きな投資になるでしょう。深刻なAIハードウェアの代替となるのに十分な柔軟性を備えたユニットを、CPUやGPUと競合できる大量nm生産で簡単に生産できるかどうかは、はっきりしていません。特に後者は、大規模な並列計算を行うために高度に最適化されています。また、GPUに類似したアーキテクチャの開発を見てみると（ほとんど何もできませんが、非常にうまくいきます）、機械学習にさらに最適化されているので、アナログユニットの厳しい競争になることがわかります。

上記のすべては、この分野での研究がないという意味ではありません。それを実現しようとするいくつかの実験がありますが、それらは一般的なアーキテクチャではまだ「危険」ではありません。最終的には、AIとインテリジェンスを一般的によく理解し、微調整しようとしているときに、将来登場しますが、私はそれについてかなり懐疑的です。

編集：また、柔軟性にも属します。「通常の」デジタルハードウェア上で実行されるAIアルゴリズムを試してみてください。たとえば、特定の場所でNNを簡単に検査したり、入力データをすばやく変更したり、代替データを提供したりできますが、実際には何にも縛られていません。そして、私たちはまだすべてのモデルを完全に理解または理解していないため、特定のタスクなどに適したアーキテクチャがある場合、固定アナログに「若い」と「実験的な」何かを入れることは意味がありません建築。

素早い回答

IntelがNirvanaを買収したとき、彼らは、アナログVLSIが近い将来のニューロモーフィックチップに位置付けられるという信念を示しました^1、2、3。

アナログ回路の自然な量子ノイズをより簡単に活用できるかどうかはまだ公表されていません。これは、単一のVLSIチップにパックできる並列アクティベーション機能の数と複雑さのためです。その点で、アナログはデジタルよりも桁違いに優れています。

AIスタック交換のメンバーにとって、この強く示されたテクノロジーの進化について理解することは有益である可能性があります。

AIの重要なトレンドと非トレンド

この疑問に科学的にアプローチするには、トレンドの偏りなくアナログとデジタルの信号理論を対比することが最善です。

人工知能愛好家は、ディープラーニング、特徴抽出、画像認識、およびダウンロードしてすぐに実験を開始するソフトウェアライブラリに関する多くの情報をWeb上で見つけることができます。これはほとんどの人がテクノロジーに足を踏み入れる方法ですが、AIへのファーストトラックの導入にも欠点があります。

消費者向けAIの初期の成功した展開の理論的基礎が理解されていない場合、それらの基礎と矛盾する仮定が形成されます。アナログ人工ニューロン、スパイクネットワーク、リアルタイムフィードバックなどの重要なオプションは見過ごされています。フォーム、機能、および信頼性の改善が損なわれます。

技術開発への熱意は、常に少なくとも同等の合理的思考で和らげるべきです。

収束と安定性

フィードバックによって精度と安定性が達成されるシステムでは、アナログ信号値とデジタル信号値は常に単なる推定値です。

• 収束アルゴリズムのデジタル値、またはより正確には、収束するように設計された戦略
• 安定したオペアンプ回路のアナログ信号値

この問題を考えるには、デジタルアルゴリズムのエラー修正による収束とアナログ計測のフィードバックによる安定性の類似点を理解することが重要です。これらは現代の専門用語を使用した類似点であり、左側がデジタル、右側がアナログです。

┌───────────────────────────────┬──────────────────── ─────────────┐
│*デジタル人工ネット*│*アナログ人工ネット*│
├───────────────────────────────┼──────────────────── ─────────────┤
│順伝播│一次信号経路│
├───────────────────────────────┼──────────────────── ─────────────┤
│エラー関数│エラー関数│
├───────────────────────────────┼──────────────────── ─────────────┤
│収束│安定│
├───────────────────────────────┼──────────────────── ─────────────┤
│勾配の飽和│入力での飽和│
├───────────────────────────────┼──────────────────── ─────────────┤
│アクティベーション機能│フォワード伝達関数│
└───────────────────────────────┴──────────────────── ─────────────┘

デジタル回路の人気

デジタル回路の人気が高まった主な要因は、ノイズの抑制です。今日のVLSIデジタル回路では、平均故障時間が長くなっています（不正なビット値に遭遇した場合のインスタンス間の平均時間）。

ノイズを実質的に除去したことにより、デジタル回路は、測定、PID制御、計算、およびその他のアプリケーションでアナログ回路よりも大幅に有利になりました。デジタル回路を使用すると、小数点以下5桁までの精度を測定し、驚くほどの精度で制御し、再現性と信頼性の高い精度で小数点以下1000桁までのπを計算できます。

主に航空、防衛、弾道、および対策の予算が、デジタル回路製造の規模の経済を達成するための製造需要を高めました。ディスプレイの解像度とレンダリング速度の需要が、GPUをデジタル信号プロセッサとして使用するようになっています。

これらの主に経済的な力が最良の設計選択を引き起こしていますか？デジタルベースの人工ネットワークは、貴重なVLSI不動産を最大限に活用していますか？それがこの質問の挑戦であり、良い質問です。

ICの複雑さの現実

コメントで述べたように、シリコンに独立した再利用可能な人工ネットワークニューロンを実装するには、数万個のトランジスタが必要です。これは主に、各活性化層につながるベクトル行列の乗算によるものです。ベクトル行列乗算と演算増幅器の層の配列を実装するには、人工ニューロンごとに数十個のトランジスタしか必要ありません。オペアンプは、バイナリステップ、シグモイド、ソフトプラス、ELU、ISRLUなどの機能を実行するように設計できます。

丸めによるデジタル信号ノイズ

ほとんどのデジタル信号は丸められているため、近似値であるため、デジタル信号にはノイズがありません。逆伝播における信号の飽和は、この近似から生成されたデジタルノイズとして最初に現れます。信号が常に同じバイナリ表現に丸められると、さらに飽和状態になります。

$v$$e$$k$$n$$N$

$v = \sum_{n = 0}^{N} 1_n \, 2^{\, k + e + N - n}$

プログラマは、0.2と予想される回答が0.20000000000001として表示される場合、倍精度または単精度のIEEE浮動小数点数の丸めの影響を受けることがあります。5は2の因数ではないため、5分の1は完全な精度で2進数として表すことはできません。

メディアの誇大広告と人気の傾向に関する科学

$E = mc^2$

機械学習では、多くの技術製品と同様に、4つの重要な品質指標があります。

• 効率（速度と使用の経済性を促進します）
• 信頼性
• 正確さ
• わかりやすさ（保守性を高める）

常にではありませんが、ある人の達成が別の人と妥協することがあります。その場合、バランスをとる必要があります。勾配降下法は、これら4つをうまくバランスさせるデジタルアルゴリズムで実現できる収束戦略です。そのため、多層パーセプトロントレーニングや多くのディープネットワークで支配的な戦略です。

これら4つのことは、ベルラボの最初のデジタル回路または真空管で実現された最初のフリップフロップに先立つ、ノーバートウィナーの初期のサイバネティックス作業の中心でした。長期サイバネティックスは、ギリシャκυβερνήτης（発音から導出されkyvernítisルーダーと帆は常に変化し、風と現在と意図したポートまたは港に収束するために必要な船を補うために持っていた操縦者を意味します）、。

この質問の傾向に敏感な人は、アナログネットワークの規模の経済性を達成するためにVLSIを達成できるかどうかという考えを取り囲むかもしれませんが、著者によって与えられた基準は傾向に基づく見解を避けることです。前述のように、そうでない場合でも、デジタルよりもアナログ回路を使用して人工ネットワーク層を作成するために必要なトランジスタはかなり少なくなります。そのため、VLSIアナログはそれを達成することに注意が向けられた場合、合理的なコストで非常に実現可能であると仮定して、質問に答えることは正当です。

アナログ人工ネットワーク設計

IBM / MITの合弁会社、IntelのNirvana、Google、米国空軍など、1992年にはアナログ人工ネットが世界中で調査されています⁵、Teslaなど、、一部はコメントとこの付録に記載されています。質問。

人工ネットワークのアナログへの関心は、VLSIチップの1平方ミリメートルに収まる学習に関与する並列活性化関数の数に関係しています。それは、必要なトランジスタの数に大きく依存します。減衰行列（学習パラメータ行列）⁴はベクトル行列の乗算を必要としますが、これには多数のトランジスタが必要であり、したがってVLSIのかなりの部分が必要です。

基本的な多層パーセプトロンネットワークを完全に並列トレーニングに使用できるようにするには、5つの独立した機能コンポーネントが必要です。

1. 各層の活性化関数間の順方向伝播の振幅をパラメーター化するベクトル行列乗算
2. パラメータの保持
3. 各レイヤーのアクティベーション関数
4. バックプロパゲーションに適用するアクティベーションレイヤー出力の保持
5. 各層の活性化関数の導関数

アナログ回路では、信号伝送の方法に固有のより大きな並列性により、2と4は必要ない場合があります。Spiceのようなシミュレータを使用して、フィードバック理論と高調波解析が回路設計に適用されます。

$c_p$$c(\int r)$$r(t, c)$$t$$i$$I$$w_i$ $\tau_p$$\tau_a$$\tau_d$

$c = c_p \; c(\int r(t, c) \, dt) \; \Big( \sum_{i = 0}^{I - 2} \, (\tau_p w_i w_{i-1} + \tau_a w_i + \tau_d w_i) + \tau_a w_{I-1} + \tau_d w_{I-1} \Big)$

現在のアナログ集積回路におけるこれらの回路の一般的な値については、同等のトレーニング並列性を備えたデジタルチップの値より少なくとも3桁低い値に時間とともに収束するアナログVLSIチップのコストがあります。

ノイズ注入に直接対処する

質問では、「勾配（ヤコビアン）または2次モデル（ヘッシアン）を使用して収束アルゴリズムの次のステップを推定し、意図的にノイズを追加する[または]擬似ランダム摂動を注入して誤差の局所井戸を飛び越えて収束の信頼性を向上させています」収束中の表面。」

トレーニング中およびリアルタイムリエントラントネットワーク（強化ネットワークなど）で疑似ランダムノイズが収束アルゴリズムに注入される理由は、そのグローバルミニマムではない視差（エラー）表面にローカルミニマムが存在するためです。表面。グローバルミニマムは、人工ネットワークの最適なトレーニング状態です。極小値は最適とはほど遠いかもしれません。

この表面は、パラメーターの誤差関数（この非常に単純化されたケース^6の 2つ）と、グローバルミニマムの存在を隠すローカルミニマムの問題を示しています。表面の低い点は、最適なトレーニング収束の局所領域の重要な点での最小値を表します。^7,8

エラー関数は、トレーニング中の現在のネットワーク状態と目的のネットワーク状態との間の格差の単なる尺度です。人工ネットワークのトレーニング中の目標は、この不均衡のグローバルな最小値を見つけることです。このような表面は、サンプルデータにラベルが付いているかラベルが付いていないか、およびトレーニング完了基準が人工ネットワークの内部か外部かに関係なく存在します。

学習率が小さく、初期状態がパラメーター空間の原点にある場合、勾配降下を使用した収束は、右端のグローバルミニマムではなく、ローカルミニマムである左端のウェルに収束します。

学習のために人工ネットワークを初期化する専門家が2つの最小値の中間点を選択するのに十分賢い場合でも、その点の勾配は依然として左手最小に向かって傾き、収束は最適でないトレーニング状態に到達します。トレーニングの最適性が重要である場合（多くの場合これは重要です）、トレーニングは生産品質の結果を達成できません。

使用中の解決策の1つは、収束プロセスにエントロピーを追加することです。これは、多くの場合、擬似乱数ジェネレーターの減衰出力の単純な注入です。あまり使用されない別の解決策は、トレーニングプロセスを分岐し、2番目の収束プロセスで大量のエントロピーの注入を試行することです。これにより、保守的な検索とある程度ワイルドな検索が並行して実行されます。

極めて小さなアナログ回路の量子ノイズは、デジタル擬似ランダムジェネレータよりもエントロピーからの信号スペクトルの均一性が高く、高品質のノイズを実現するために必要なトランジスタがはるかに少ないことは事実です。VLSI実装でこれを行うことの課題が克服されたかどうかは、政府や企業に組み込まれた研究所によってまだ明らかにされていません。

• トレーニングの速度と信頼性を向上させるために、測定された量のランダム性を注入するために使用されるこのような確率的要素は、トレーニング中の外部ノイズに対して十分に耐性がありますか？
• 内部クロストークから十分にシールドされますか？
• VLSI製造のコストを十分に下げて、高額の資金を提供されている研究企業以外でより多くの使用ポイントに到達する需要が生じますか？

3つの課題はすべてもっともらしい。確かで非常に興味深いのは、設計者とメーカーがアナログ信号経路のデジタル制御とアクティベーション機能を促進して高速トレーニングを実現する方法です。

脚注

[1] https://ieeexplore.ieee.org/abstract/document/8401400/

[2] https://spectrum.ieee.org/automaton/robotics/artificial-intelligence/analog-and-neuromorphic-chips-will-rule-robotic-age

[3] https://www.roboticstomorrow.com/article/2018/04/whats-the-difference-between-analog-and-neuromorphic-chips-in-robots/11820

[4]減衰とは、1つの作動からの信号出力にトレーニング可能なパラメータを乗算し、他の加算対象を加算して、後続のレイヤーのアクティブ化への入力を提供することです。これは物理学の用語ですが、電気工学でよく使用され、あまり教育されていない円ではレイヤー入力の重み付けと呼ばれるものを達成するベクトル行列乗算の機能を記述するのに適切な用語です。

[5] http://www.dtic.mil/dtic/tr/fulltext/u2/a256621.pdf

[6]人工ネットワークには3つ以上のパラメーターがありますが、この図では3次元でしか理解できないため、誤差関数値には3次元の1つが必要なので、この図では2つのみを示しています。

[7]表面の定義： $z = (x-2)^2 + (y-2)^2 + 60 - \frac {40} {\sqrt{1 + (y - 1.1)^2 + (x - 0.9)^2}} - \frac {40} {(1 + {((y - 2.2)^2 + (x - 3.1)^2)}^4)}$

[8]関連するgnuplotコマンド：

set title "Error Surface Showing How Global Optimum Can be Missed"
set xlabel "x"
set ylabel "y"
set pm3d at b
set ticslevel 0.8
set isosample 40,40
set xrange [0:4]
set yrange [0:4]
set nokey
splot (x-2)**2 + (y-2)**2 + 60 \
    - 40 / sqrt(1+(y-1.1)**2+(x-0.9)**2) \
    - 40 / (1+(y-2.2)**2+(x-3.1)**2)**4

アナログセルのデジタル計測

アナログ人工ネットワークの重要な課題の1つは、ネットワーク計装がデジタルの場合に最も実用的であることです。アナログパーセプトロン、畳み込み、またはスパイキングネットワークのVLSI実装には、いくつかの機能のためにハイブリッド構成のデジタルコンポーネントが必要になる可能性があります。

• 健康指標
• 障害インジケータ
• 学習したパラメーターのアーカイブと取得¹
• システム全体の制御
• ハイパーパラメーターの設定
• 運用統計
• 開発とデバッグのための内省
• ブレークポイント
• 監査可能性

つまり、汎用アナログ人工学習ネットワークを実現するには、A-DおよびD-to-A変換が必要です。² VLSI設計の課題は、多数の変換ブロックの導入によるトランジスタのビルドアップを回避することです。これは、順方向および逆方向の伝播のアナログ実現の密度の利点を無効にします。

考えられる解決策は、ラッチマトリックスを使用して、D / Aコンバーターからコンデンサーに信号を分配し、低リークスイッチングマトリックスを使用して、A / Dコンバーターで読み取る値を選択することです。これは、アナログパスにデジタルノイズを導入することなく、蓄積された電荷を劣化させたり、充電の精度を低下させたりすることなく行う必要があります。

プライマリネットワーク回路の外にある追加のトランジスタとルートの数がどれほど重要かは、VLSI設計プロセスを実行することによってのみわかります。

重要なオープンソースの貢献

マサチューセッツ大学は、2018年2月にオープンソースのBindsNetリポジトリ^3,4を導入しました。デジタルソフトウェアとハ​​ードウェアでアナログスパイクネットワークをシミュレートし、PyTorchを介してGPUアクセラレーションを活用します。

これにより、スパイキングネットワークの設計と戦略に関する今日の実験が容易になります。シミュレーションを使用した成功は、十分に重要な場合、優れたVLSI設計につながる可能性があります。

脚注

[1]実用的な学習システムでは、学習したパラメーターをVLSI実装から抽出し、データベースに保存し、展開、欠陥根本原因分析、スケーリング、および開発のために、任意の数の開発、テスト、UAT、または実動システムで利用可能にする必要があります災害からの回復。保存と読み込みは、トレーニング中と実際のフィールド使用中のエポック間であっても、VLSIハイブリッドアナログ人工ネットワークの基本機能でなければなりません。

[2]コンデンサ内の人工ネットワークの学習状態を無期限に保持することはできません。コンデンサは、標準のCMOSプロセスで設計されたアナログ回路の主要な受動部品になりましたが、容量が大きくなく、リークはゼロではありません。容量性ストレージ回路の半減期と必要なパラメーター値の精度により、読み取りおよび条件付き再更新サイクルの速度が決まります。

[3] BindsNetオープンソースリポジトリ

[4] BindsNET [論文]： BindsNet論文の要約のハーバード大学出版物のためのPythonの機械学習指向のスパイキングニューラルネットワークライブラリ。

アナログAI分野の具体的な研究の方向性について誰も言及していないことに驚いています。また、人工知能を明確にすることは、この回答が示すように機械学習とまったく同じではありません。アナログ計算の最近の進歩は、機械学習の分野に限られています。

アナログCMOS：

まず、ニューロンの最も初期のアナログ実装について話しましょう。Dr.Giacomo Indiveri等は、この分野の先駆者の数少ない。CMOSロジックでは、STDP（スパイク時間依存可塑性）を使用してスパイクニューラルネットを設計できますが、機械学習アルゴリズムで使用することは困難です。人間の脳はまだ完全に理解されていません。特に、複雑な情報をスパイクでどのように伝達するかについては理解されていません。スパイクベースのネットワークは、比較的小さな画像認識と複雑さの低いタスクの実行に適しています（ほとんどの論文は、非常に複雑なタスクに適用するよりもパフォーマンスの改善に関心があるようです）。利用可能なトランジスタの数が非常に多いため、複雑なタスクで使用できる場合があります。

最良の例は、時間、精度、面積の間に何らかのトレードオフを引き起こす膨大な数の処理ユニットを使用することにより、GoogleがTPUの低精度と補正精度のこのアイデアを使用することです。これは、精度は低いものの、プロセッサ内の膨大な数のトランジスタに類似しています。（Googleの最初のTensor Processing Unit（TPU）の詳細な調査）

注：一部の人は、CMOS技術がデジタル領域に該当すると主張するかもしれませんが、ここでは特にデジタル操作を実行するためにCMOSを使用していないので、アナログと考えたいと思います。

スパイクベースのタスクは、勝者Take Allネットワーク（自己組織化マップのようなもの）には明らかに非常に優れているため、VLSIチップで機械学習アルゴリズムを実装する一般的な方法です。

スパイクベースのネットワークには理想的なメモリがありません。高精度の重みを持つことはできません。彼らは、コンデンサを使用して生物学的重量またはシナプスまたはメモリを実装することを提案しましたが、電荷リークや他のシリコンベースの非理想性からの通常のシリコンチップと同様の問題に直面していると思われます-1、0、1など）。

デジタル計算：

ここに、デジタル計算が登場します。大量の浮動小数点表現を必要とするタスクは、スパイクによって単純に実装することはできません。なぜなら、私たちは生物物理学または真のニューロンのあらゆる側面をまだ知らないか、完全に模倣することさえできないからです。デジタル計算は、より多くの情報を伝えるのに役立つだけでなく、私たちが好きなだけの精度で伝えることができます（そのようなCPUを設計する場合）。ボトルネックはデジタル計算のフォンノイマンアーキテクチャの既知の欠点ですが、スパイクによる情報表現ほど問題ではありません。スパイクは常に一定の大きさを持ち、おそらく情報を伝える唯一の方法はその頻度とサイン（興奮性または抑制性）です。また、最新のコンピューターではクロック速度がかなり高速です。

メモリスタ：新しい方向

ここに、最新の発明であるMemristorが登場します。これは、機械学習で最も有望なアナログデバイスです。メムリスタは、70年代に予測された非常に新しいコンセプトであり、2008年にのみ生産されました。基本的に、RRAMまたは抵抗RAMです。これにおいて、記憶抵抗器またはメモリスタの抵抗は、ニューロンの生物物理モデルに非常に似ている過去の現在の履歴に直接関係しています。メモリスターのクロスバーアレイ（基本的に電気接点のマトリックス）を使用して簡単にトレーニングすることもできます（クロスバーアレイは重量マトリックスを表し、行または列に沿って印加される電圧により、順方向伝搬または逆方向伝搬が決まります）。

したがって、Memristorは機械学習アルゴリズムに真のアナログスピンを与えます。残念ながら、最近の到着により、まだ解決されていない多くの問題があります。

• メムリスタは非常に急速に劣化する可能性があります。つまり、トレーニングサイクルが制限されます。
• メムリスタは多くのノイズを導入しますが、これは明らかに、MLエンジニアが考えるように正則化の原因にはなりません。
• それを作るのに必要なエキゾチックな要素（$TiO_2$ そして $HfO_2$）学界のMemristorsのユーザーは非常に限られています。ただし、この分野で作業しているラボは次のとおりです。

パデュー大学ナノエレクトロニクス研究所

電気化学材料、ETHチューリッヒ

人間の脳プロジェクト

MARCS脳、行動および発達研究所

ニューロモルフィックフォトニクス：

最近、ニューロモーフィックフォトニクスの分野に関心が寄せられています。同じものに関する短い記事があります。私は同じものの内部動作に精通していませんが、知る限りでは、処理チップ自体の内部での光学形式での情報の送信を伴います。これにより、通常のアナログまたはデジタル回路よりもいくつかの利点が得られます。

• より高速な情報処理。
• より高い情報密度。
• 損失が非常に少ないため、データの忠実度が向上します。

私はほとんどの人が本当に有益な方法で熱心に質問に答えたと信じています。それは既存の技術であり、間違いなくアナログ回路が本当に有望であるため、私たちは一般的にデジタル回路を使用していると言いたいです。

しかし、現時点では、過去数年間に行われた研究の量にもかかわらず、このアイデアはあまりよく開発されていません。これまでのところ、このようなチップを研究室外で使用する商業レベルでの実装を試みた企業はありません。

その上、このアイデアは新しいアプローチのように感じられ、大きな可能性を秘めています。

しかし、一部のモデルがどのように機能するかについての理解が不足しているため、一部のモデルは問題に対応していません。ニューラルネットワークがこのような複雑な問題やその他の多くの問題を実際に解決する方法です。

PS私はまだこの分野の初心者であり、私の意見は重要ではないと考えています。

情報理論の観点から質問にアプローチすることもできます。

選択できる2つのトレードオフがあります。

より正確/特定の方法で情報を表すことができるが、量が限られているアナログ情報。

現実の世界を完全には表していないが、数ビット以内に無制限の量の情報を含む可能性のあるデジタル情報。良い例は、forループの増分のようなものです。

i = 0
while True:
   print(i)
   i += 1

それより強力なのはどれですか？

ハヴァ・シーゲルマン

一見すると、アナログコンピューティングはデジタルコンピューティングよりも優れています。量子コンピューターはVon-Neumannコンピューターよりも高速で、ニューロモーフィックチップはIntel CPUよりも少ないエネルギーで済みます。また、理論的な観点からは、多くの人がアナログコンピューターについて語っています。Hava Siegelmannは、ニューラルネットワークのスーパーチューリング機能を研究しました。つまり、アナログコンピューターはデジタルコンピューターをエミュレートできますが、その逆はできません。それでは、なぜアナログコンピューティングを使用すべきではないのでしょうか。

スティーブン・ウルフラム

その理由は、教育システムに関係しています。学校で教えられている古典数学はアナログ数学です。これは、スライド規則、対数表、および回路の考え方に基づいています。対照的に、アルゴリズムの離散値で考え、ゼロと1で世界を記述することは根本的に異なり、新しい種類の数学につながります。スティーブン・ウルフラムは、セルオートマトンの理解は宇宙を記述するための重要なステップであり、彼は正しいと説明しています。アナログ数学を無視し、有能なコンピューター言語を採用することは、教育における強力な方法です。コンピューターに精通するだけでなく、医学、文学、経済のような他のすべてのものにも慣れるのに役立ちます。アナログマシンが技術的に優れている場合でも、低速ではあるが個別のチューリングマシンを選択する必要があります。

数学を教える

デジタル計算とアナログ計算の違いを理解するには、学校で利用されている数学自体に注目する必要があります。アナログ計算を前に進めることを目的とする場合、適切な種類の数学は電場、統合、および微分の周りにグループ化されます。学校では、これは「数学分析」という包括的な用語で教えられています。分析は橋、機械、自動車の構築に役立つため、このトピックは過去において非常に重要でした。これらすべての領域で、幾何空間を記述するためのベクトル代数が使用されます。

アナログ計算が非常に強力な場合、デジタル数学が必要なのはなぜですか？アルゴリズムに関係しています。プラニメーターと差動アナライザーが提供する必要がないのは、プログラミング機能です。アルゴリズムと人工言語を定義することはできません。数学の歴史を見ると、アルゴリズム理論は過去にあまり一般的ではなかったことがわかります。現代の数学では、ラムダ計算とホールティング問題という用語で議論されています。

面白いことに、一見するとラムダ計算には実用的なアプリケーションがありません。誰かが橋の面積を計算したい場合は必要ありません。アルゴリズム理論は、批判的思考を改善するための思考学校です。それは機械ではなく人間が必要とする哲学です。