ディープニューラルネットワークとディープラーニングが一般的な知能を実現するには不十分なのはなぜですか

ディープラーニング（DL）およびディープ（er）ネットワークに関連するすべてのものは「成功」しているように見え、少なくとも非常に速く進行しており、AGIが到達可能であるという信念を育んでいます。これは人気のある想像です。DLは、AGIの作成など、非常に多くの問題に取り組むためのすばらしいツールです。しかし、それだけでは十分ではありません。ツールは必要な要素ですが、多くの場合不十分です。

ドメインの主要人物は、他の場所で進歩を目指しています。このレポート/クレームには、Yoshua Bengio、Yann LeCun、Geoff Hintonの声明へのリンクが集められています。レポートはまた説明します：

DLの主な弱点（私がそれらを見ると）は、次のとおりです。最も単純な可能なモデルニューロンへの依存（LeCunがそれらを呼び出すときの「漫画」）。エネルギー関数と対数尤度法の基礎である19世紀の統計力学と統計からのアイデアの使用。バックプロップや確率勾配降下法などの手法でこれらを組み合わせると、適用範囲が非常に限定され（オフライン、ほとんどがバッチ処理、教師あり学習）、高度な才能を持つ実務家（別名「確率的大学院降下」）が必要になり、大量の高価なラベル付きのトレーニングデータと計算能力。才能を誘惑または購入し、無制限のリソースを展開してデータを収集し、それを処理することができる大企業にとっては優れていますが、DLはほとんどの人にとってアクセスも有用でもありません。

このような説明は興味深く関連性がありますが、実際には問題の要点を扱っていません。何が不足していますか？

質問は広いようですが、それは単純な答えがないためかもしれません。AGIに欠けているDLを特定する方法はありますか？

ニューラルネットワークを扱うすべての人は、システムを人間のような知能と比較するときに重要なポイントを見逃します。人間が理解できることを行うには何ヶ月もかかりますし、大人の人間がほとんど対処できない問題を解決できることは言うまでもありません。それと人間の脳のサイズは、私たちのニューラルネットワークに比べて巨大です。方向は正しいかもしれませんが、スケールはかなりずれています。人間の脳のニューロンの数はメモリごとに一致させることができますが、リアルタイムでシミュレーションするための並列処理の量はまだ実現できていません（少なくともランダムな研究者にとって）。少し古いですが、これは処理能力がどれだけ不足しているかを理解するのに役立ちます。

ディープラーニングは主に教師あり学習で成功しますが、脳は主に教師なしでカテゴリを作成します。その方法はまだわかりません。（グーグル脳を見てください：16,000コアとこのすべてができることは猫と人間の顔をかなりひどい精度で認識することです。）

ディープラーニングは高度に構造化されていないアクティベーションを使用します。つまり、ニューラルネットワーク分類器での「犬」と「猫」の高レベルの表現は、まったく同じである必要はありません。一方、脳は抑制ニューロンを使用して、意味論的側面に分解可能な疎な分散表現を作成します。これは、類推による抽象化と推論のためにおそらく重要です。

脳には、一緒に働く多くの異なる部分があります。深層学習の研究者は、メモリまたは注意メカニズムをアーキテクチャに統合し始めたばかりです。

脳はさまざまな感覚からの情報を統合します。ほとんどのディープラーニングアプリケーションは、テキストや画像など、1種類の入力のみを使用します。

脳は、シーケンスをカテゴリとしてモデル化できます。（基本的に、すべての動詞は順次（つまり、時間的）カテゴリーに名前を付けます。）次に、これらのカテゴリーを長期的な階層プランに配置できます。これまでのところ、ディープラーニングではそのような方向で何も見ていません。

また、ニューラルネットワークはまだ人間の脳と同じ規模で動作することはできません。この質問の答えを見ると、人間の脳はニューロンの数でさらに数十年先を行くでしょう。ニューラルネットワークは、同様のパフォーマンスに到達するために脳と同じ数のニューロンを必要としない場合があります（精度が高いため）。

IMHO最初のハードルはスケールです。Googleの最大のDNNでさえ、脳のスケールに近づくことはなく、数桁の因数で...

人間の脳を作る要素がまだ足りていないように思います。多くの異なるネットワークが互いに連携している。

瞑想が脳をより相乗的に機能させることによって認知能力を向上させるのと同じように、それを機械にも適用できます。

たとえば、グーグルは、私たちと同じように、すでに学んだことを強化するために、コンピューターが夢を見ることを学んでいます。 https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

そして、これがニューラルネットワークのネットワークであるパスネットです。 https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

これらのメカニズムをすべて作成し、それらをすべて組み合わせて、十分なパワーを備えれば、かなり近づきます！

今日の人工知能の支持者は、計算可能性の問題、つまり複雑な問題を迅速に解決する能力に焦点を当てています。この方向で成功しても、特定の領域では確かに人間より優れているとはいえ、人間（一般）の知性にはつながらないというのが私の信念です。代わりに、どんな神経学的事象が感覚を引き起こすのか（クオリアの経験）の研究に向けた努力がなされるべきです。もちろん、これは哲学の難しい問題ですが、私はそれが一般的な知性とその能力のユニークな鍵であると信じています。リバースエンジニアリングとテスト可能な理論は、この目的に向かって前進する必要があります。