MLがNvidiaのチップが利用可能になった後にのみ実行可能になったのはなぜですか？

中国の有力な2人の科学者、Wang GangとYu Kaiなどからなるパネルによる講演を聞きました。

近い将来（3〜5年）の人工知能の開発の最大のボトルネックについて尋ねられたとき、ハードウェア業界での経験を持つYu Kaiは、ハードウェアが本質的な問題であり、私たちのほとんどに支払うべきであると述べましたそのことに私たちの注意。彼は私たちに2つの例を示しました：

1. コンピューターの初期の開発では、マシンをチップで比較しています。
2. 近年非常に人気のある人工知能は、NvidiaのGPUによって強化されなければ、ほとんど不可能です。

基本的なアルゴリズムはすでに1980年代と1990年代に存在していましたが、人工知能は3冬のAIを通過し、GPUブーストメガサーバーでモデルをトレーニングできるようになるまでは経験的ではありませんでした。

その後、王博士は、世界中のすべてのGPUと計算を組み合わせても自動車を構築できないため、ソフトウェアシステムも開発する必要があるとの意見にコメントしました。

すると、いつものように頭が離れて、​​1980年代と1990年代にスーパーコンピュータを操作できる人が、当時存在していたニューラルネットワークアルゴリズムを利用して、大量の科学データでトレーニングするとしたらどうだろうと考え始めました。当時は明らかに、私たちが現在構築しているAIシステムの構築を試みる人もいます。しかし、なぜAIが話題になり、数十年後まで経験的になったのでしょうか。ハードウェア、ソフトウェア、データの問題だけですか？

AI業界のブームには多くの要因があります。しかし、多くの人が見逃しているのは、ブームのほとんどがAIの機械学習の部分にあります。これは、以前の比較と一緒に、さまざまな単純な理由が原因である可能性があります。

• 数学：MLアルゴリズムの背後にある数学はかなり単純で、長い間知られています（機能するかどうかは不明でしたが）。以前は、チップ上で計算するために、許容可能な時間内に高精度の数値を必要とするアルゴリズムを実装することはできませんでした。数値の主要な算術演算除算の1つは、現代のプロセッサでは依然として多くのサイクルを必要とします。古いプロセッサは、最新のプロセッサよりも100倍以上遅いため、このボトルネックにより、最新のプロセッサで高度なモデルをトレーニングすることができませんでした。
• $1$$0$
• 並列化：行列演算の並列化の概念は新しいものではありません。ディープラーニングを単なる行列演算のセットと見なし始めたときでしたが、超並列GPUで簡単に並列化できることに気付きましたが、MLアルゴリズムが本質的に並列ではない場合でも、CPUとGPUのどちらを使用しても問題ありません（例：RNN）。
• データ：おそらくMLブームの最大の原因。インターネットは、ユーザーから膨大な量のデータを収集する機会を提供し、関係者がそれを利用できるようにしました。MLアルゴリズムはデータに基づく関数近似にすぎないため、データはMLアルゴリズムで最も重要なものの1つです。データが多いほど、モデルのパフォーマンスが向上します。
• コスト：MLモデルのトレーニングコストは大幅に減少しました。スーパーコンピュータを使用してモデルをトレーニングすることは問題ないかもしれませんが、それだけの価値はありましたか？スーパーコンピュータは通常のPCとは異なり、冷却やスペースなどの点で非常に多くのリソースを消費します。最近の記事MIT Technology Reviewでは、ディープラーニングモデル（MLのサブブランチ）のトレーニングのカーボンフットプリントを指摘しています。それは、以前の時代にスーパーコンピュータでトレーニングすることが実行不可能であった理由を示す非常に良い指標です（現代のプロセッサははるかに少ない電力を消費し、より高速になると考えられます）。確かではありませんが、以前のスーパーコンピューターは「並列+非常に高精度のコンピューティング」（天候、天文学、軍事アプリケーションなどに必要）に特化しており、「非常に高精度な部分」は機械学習シナリオでは過剰です。

もう1つの重要な側面は、今日誰もが強力なコンピューターにアクセスできることです。したがって、誰でも新しいMLモデルを構築したり、既存のモデルを再トレーニングしたり、モデルを変更したりできます。これは、以前はまったく不可能でした。

このすべての要因により、MLへの関心が大幅に高まり、今日見られるブームを引き起こしています。また、デジタルプロセッサを超えてどのように進んでいるかに関するこの質問もご覧ください。

GPUはAIブームに理想的でした

• 彼らは適切な時期を迎えました

AIは長い間研究されてきました。ほぼ半世紀。しかし、それはすべて、アルゴリズムがどのように機能し、どのように見えるかについての調査でした。NVがAIが主流になりつつあることを知ったとき、彼らはGPUを調べ、プログラミングが比較的容易である巨大な並列処理能力が、これからの時代に理想的であることに気付きました。他の多くの人々もそれを実現しました。

• GPUは一種の汎用アクセラレータです

GPGPUは、一般的なタスクにGPU並列処理を使用する概念です。グラフィックを高速化したり、GPUで利用可能な数千のコアをアルゴリズムで利用したりできます。そのため、GPUはAIを含むあらゆる種類のユースケースの素晴らしいターゲットになります。それらがすでに利用可能であり、プログラミングが難しくないことを考えると、AIアルゴリズムを加速するための理想的な選択肢です。

申し訳ありませんが、人工知能はまだ発明されていません。最初のレゴリーグでは、ロボットは単純なラインを走ることができません。DARPAロボットは、ヒューマノイドロボットがバルブを開くのに苦労します。実際の交通状況では、テスラオートパイロットは推奨されません。ディープラーニングが機能する唯一の状況は、猫を検出する精度が100％であるパワーポイントスライドですが、実際には通常の画像検索エンジンでは何も見つかりません。

少し後戻りしましょう：今日、どのようなAIアプリケーションが利用可能ですか？そう、何も。実際に利用できる唯一の制御システムは、温度を5度に保つ通常の冷蔵庫ですが、これは機械学習ではなく、サーモスタットです。

ディープラーニングがどこでも利用できるのは、画像を検出するための強力なテクノロジーではなく、人間を教えるためのカリキュラムの一部だからです。ディープラーニングは、人間が統計、Pythonプログラミング、エッジ検出アルゴリズムについて何かを学ぶべきであることを意味します。コンピューターが賢くなるのではなく、学生が賢くなるでしょう。

主題に関する本

ディープラーニング自体はロボットを制御するための非常に強力な手法ではありませんが、主題に関する本の量と質は素晴らしいです。2010年以降、人工知能をより多くの聴衆に紹介するのに役立つ多くの主流の出版物が発行されました。それらのすべては、タイトルにGPUでサポートされているニューラルネットワークを備えており、画像認識、モーションプランニング、音声認識とは何かを非常によく説明しています。読者が機械学習をまったく使用せずに、従来のパラダイムでロボットプロジェクトを実現することを決定した場合でも、彼は新しく作成されたチュートリアルを読むことから利益を得るでしょう。