タグ付けされた質問 「hardware」

20世紀のアナログ回路からデジタル回路への移行の背後にある推進力は、より高い精度とより低いノイズへの欲求によるものです。現在、結果が近似でノイズが正の値であるソフトウェアを開発しています。 人工ネットワークでは、勾配（ヤコビアン）または2次モデル（ヘッシアン）を使用して、収束アルゴリズムの次のステップを推定し、許容範囲の不正確さと疑念を定義します。1 収束戦略では、ランダムまたは擬似ランダム摂動を注入して意図的にノイズを追加し、本質的に収束中に最適化表面の極小値を飛び出すことで信頼性を向上させます。2 現在のAIシステムに受け入れられ、意図的に導入されているのは、電子機器をデジタル回路に動かしたのと同じことです。 ニューラルネットのアナログ回路に戻り、デジタル信号処理要素のマトリックスではなく、オペアンプマトリックスを使用して実装しませんか？ 人工ネットワーク学習パラメーターの値は、D-Aコンバーターを介して充電された統合コンデンサーを使用して維持できるため、学習状態はデジタル精度と利便性の恩恵を受け、順伝播はアナログの利点を享受できます。 より速い速度 3 ネットワークセルを表すトランジスタの桁数が少ない 自然な熱雑音4 アナログ人工ネットワークの学術論文または特許検索により、過去40年間に多くの仕事が明らかになり、研究傾向は維持されています。計算アナログ回路は十分に開発されており、ニューラルアレイの基礎を提供します。 デジタル計算に対する現在の強迫観念は、AIアーキテクチャオプションの一般的な見解を曇らせているでしょうか？ ハイブリッドアナログは人工ネットワークの優れたアーキテクチャですか？ 脚注 [1] PAC（おそらくほぼ正しい）学習フレームワークは、許容誤差ϵϵ\epsilonおよび許容誤差δδ\deltaを特定のモデルタイプの学習に必要なサンプルサイズに関連付けます。（1 − ϵ1−ϵ1 - \epsilonは精度を表し、1 - δ1−δ1 - \deltaはこのフレームワークの信頼。） [2]適切な戦略とハイパーパラメーターを使用すると、学習中により迅速に収束する確率的勾配降下が示され、人工ネットワークの典型的な実世界のアプリケーションでのベストプラクティスになりつつあります。 [3] Intel Core i9-7960Xプロセッサーは4.2 GHzのターボ速度で動作しますが、標準の固定衛星放送は41 GHzです。 [4]アバランシェ点で逆バイアスされたツェナーダイオードの電子リークを増幅およびフィルタリングすることにより、シリコンで熱ノイズを得ることができます。量子現象の原因は、ジョンソンナイキスト熱雑音です。サンギネッティら 等 「携帯電話での量子乱数生成」（2014）の状態、「検出器は、伝送確率ηの損失チャネルとしてモデル化でき、その後に単位効率の光子電子変換器が続きます...分布が測定されます量子不確実性と技術的ノイズの組み合わせである」とCalTechのJTWPAの成果があります。これらは両方とも、集積回路で真に非決定的な量子ノイズを生成するための標準になる可能性があります。 参照資料 畳み込みスパイクニューラルネットワークによる画像パッチのSTDP学習、Saunders et。al。2018、U MassおよびHAS 限定精度アナログ計算による汎用コード高速化、Amant et。ほか、2014 アナログコンピューティングと生物学的シミュレーションは、2016年Devin Coldeweyの新しいMITコンパイラから後押しされます Larry Hardestyによるアナログコンピューティングのリターン、2016年* なぜアナログ計算なのか？、NSA機密解除文書 アナログコンピューティングに戻る：コロンビアの研究者は、アナログコンピューティングとデジタルコンピューティングを1つのチップに統合します（コロンビア大学、2016年） リコンフィギャラブルコンピューティング用のフィールドプログラマブルクロスバーアレイ（FPCA）、Zidan et。al。、IEEE、2017 FPAA / …

18 machine-learning  hardware  neuromorphic-engineering  analog-computing  spiking-networks 

中国の有力な2人の科学者、Wang GangとYu Kaiなどからなるパネルによる講演を聞きました。 近い将来（3〜5年）の人工知能の開発の最大のボトルネックについて尋ねられたとき、ハードウェア業界での経験を持つYu Kaiは、ハードウェアが本質的な問題であり、私たちのほとんどに支払うべきであると述べましたそのことに私たちの注意。彼は私たちに2つの例を示しました： コンピューターの初期の開発では、マシンをチップで比較しています。 近年非常に人気のある人工知能は、NvidiaのGPUによって強化されなければ、ほとんど不可能です。 基本的なアルゴリズムはすでに1980年代と1990年代に存在していましたが、人工知能は3冬のAIを通過し、GPUブーストメガサーバーでモデルをトレーニングできるようになるまでは経験的ではありませんでした。 その後、王博士は、世界中のすべてのGPUと計算を組み合わせても自動車を構築できないため、ソフトウェアシステムも開発する必要があるとの意見にコメントしました。 すると、いつものように頭が離れて、​​1980年代と1990年代にスーパーコンピュータを操作できる人が、当時存在していたニューラルネットワークアルゴリズムを利用して、大量の科学データでトレーニングするとしたらどうだろうと考え始めました。当時は明らかに、私たちが現在構築しているAIシステムの構築を試みる人もいます。しかし、なぜAIが話題になり、数十年後まで経験的になったのでしょうか。ハードウェア、ソフトウェア、データの問題だけですか？

11 history  hardware  software-development 

私たちは、上で読むことができますWikipediaのページ、Googleが機械学習のためのカスタムASICチップを構築し、AIを加速するのに役立ちますTensorFlowに合わせていること。 ASICチップは、その回路を変更することができない特定の用途に合わせて特別にカスタマイズされているため、呼び出される固定アルゴリズムが必要です。 では、アルゴリズムを変更できない場合、ASICチップを使用したAIの加速はどのように正確に機能するのでしょうか。それのどの部分が正確に加速していますか？

9 neural-networks  machine-learning  hardware  neuromorphic-engineering 

トランジスタを使用してニューロンとシナプスを実装できる場合、GPUを作成するのと同じ方法を使用して任意の大規模ニューラルネットワークを作成できないのはなぜですか。 本質的に、シーケンシャルプロセッサに実装された非常に優れた仮想ニューラルネットワークがどのように機能するかを見てきました（GPUもシーケンシャルマシンですが、大量のコアがあります）。 GPUの設計原則（基本的には並列に動作する数千のプログラム可能な処理ユニットを備える）を使用すると想像できますが、はるかに単純な「ニューロン処理ユニット」を作成し、数百万または数十億のこれらのNPUを1つの大きなチップに配置できます。それらは（重みを保存するための）独自のメモリを持ち、バスを共有することにより数百の他のニューロンに接続されます。それらは、例えば20Hzの周波数を持つことができ、それにより、他の多くのニューロンとデータバスを共有することができます。 明らかに、ここにはいくつかの電気工学の課題がありますが、すべての大手テクノロジー企業がこのルートを今までに探究しているように思えます。 多くのAI研究者は、超知能が2045年頃に来ると言います。彼らの推論はムーアの法則と、私たちが持っている最速のコンピューターで実行されるソフトウェアに実装できるニューロンの数に基づいていると思います。 しかし、実際には、今日、何十億ものトランジスタを搭載したシリコンチップを製造しています。SPARK M7には100億個のトランジスタがあります。 （プログラム不可能な）ニューロンとそのための数百のシナプスを実装する場合、たとえば100 000のトランジスタが必要であれば、100 000のニューロンをエミュレートするハードウェアでニューラルネットワークを作成できます。 より多くのニューロンが必要な場合に、物理的に大きくできるようにこのようなチップを設計すると、任意の大きなニューラルネットワークは単に予算の問題であるように思えます。 現在の技術を使用して、ハードウェアで任意の大規模ニューラルネットワークを技術的に作成できますか？ 覚えておいてください。そのようなネットワークが実際に非常にインテリジェントになるかどうかは尋ねていません。私がこれを行うためにインテルに支払うことを決定した場合、私が事実上、任意に大きく、高度に相互接続されたニューラルネットワークを作成できるかどうか尋ねているだけですか？ つまり、一部の科学者がソフトウェアで一般的なインテリジェンスを作成できる日に、ハードウェア機能を使用して、この一般的なインテリジェンスを人間のレベル以上に成長させることができます。

9 neural-networks  recurrent-neural-networks  hardware