スティーブンホーキングが「人工知能は私たち全員を殺す」と言うのはなぜですか？[閉まっている]

スティーブンホーキングによるこの引用は、かなり前から見出しになっています。

人工知能は、人間が蟻のようになるため、賢くなりすぎると人間性を一掃する可能性があります。

なぜ彼はこれを言うのですか？簡単に言えば、AIからの脅威とは何ですか？AIが非常に危険であることを知っている場合、なぜそれをまだ推進しているのですか？なぜ禁止されないのですか？

いわゆる技術的特異点の悪影響は何ですか？

それはホーキングだけではなく、多くの人々からこのリフレインのバリエーションが聞こえてきます。そして、彼らはたいてい非常に頭が良く、教育を受けており、知識の豊富な人々（たとえば、Elon Muskもその1人です）であることを考えると、おそらく手放せないはずです。

とにかく、基本的な考え方は次のように見えます。「実際の」人工知能を作成すると、ある時点でそれ自体を改善でき、それ自体を改善する能力を改善します。つまり、それ自体を改善する能力を改善できます詳細など...「超人知能」につながる暴走カスケード。つまり、私たちの領域よりもインテリジェントな何かにつながります。

では、この惑星に文字通り私たち（人間）よりもインテリジェントな実体があるとどうなるでしょうか？それは私たちにとって脅威でしょうか？まあ、それがそうである可能性があると推測することは確かに合理的であるようです。OTOH、今はそうなると思う理由は特にありません。

したがって、ホーキングやムスクなどは、より慎重で恐ろしい状況に陥っているようです。超人AIが危険かどうかはわからないので、悪意のある攻撃に遭遇した場合に止められない可能性があることを考えると（私たちよりも賢いことに注意してください！）、考慮することは合理的なことです。

Eliezer Yudkowskyも、有名な「AIボックス」実験を思いつくことを含めて、この主題についてかなり書いています。このトピックに興味がある人は、彼の資料のいくつかを読むべきだと思います。

http://www.yudkowsky.net/singularity/aibox/

彼は現在のAIがどれほど遠いのかまだ知らなかったので...メディアAIラボで働いているので、私はこの質問をたくさん聞きます。しかし、本当に...これからはまだ遠いです。ロボットは、私たちが詳細に説明するすべてのことを実行します。ロボットをインテリジェントであると見なす代わりに、創造性が実際にどこで発生するかを人間のプログラマーに確認します。

簡単に言えば、AIによる脅威は何ですか？

現在、脅威はありません。

脅威が発生するのは、人間がいわゆる超インテリジェントマシンを作成した場合です。このマシンは、あらゆる人間のすべての知的活動を超えることができます。この機械は人間よりも機械を発明するのに優れているため（これは知的活動であるため）、これは人間が最後に行う必要がある発明です。ただし、これによりマシンが人間を破壊する可能性のあるマシンを発明する可能性があり、私たちよりもはるかに賢いため、マシンを停止できません。

これはすべて仮説であり、超インテリジェントマシンがどのようなものであるかを知る手がかりさえありません。

AIが非常に危険であることを知っている場合、なぜそれをまだ推進しているのですか？なぜ禁止されないのですか？

前にも言ったように、超インテリジェントマシンの存在は仮説です。人工知能には多くの便利なアプリケーションがあり（この回答に含まれる以上）、それを開発すれば、さらに便利なアプリケーションが得られます。マシンが追い越さないように注意する必要があります。

Andrew Ngが言ったように、AIからのそのような脅威を心配することは、火星の人口過剰を心配することに似ています。それは空想科学小説です。

そうは言っても、（はるかに弱い）ロボットや他の（半）自律エージェントの台頭により、法と倫理の分野はますますそれらを組み込んでいます（例：Roboethicsを参照）。

質問のこの種に答えるために長いリソースの数があります：スチュアート・アームストロング氏の著書を検討賢くよりも私たち、ニック・ボストロムの本Superintelligenceこのから生まれた、edge.orgの答えは、ティム・アーバンの説明、またはマイケル・コーエンの説明を。

しかし、これが私の（やや短い）答えです。インテリジェンスはすべて意思決定に関するものであり、人間が意思決定において可能な限り最高の状態に近いと信じている理由はありません。AI AI研究者（つまり、コンピューターをより優れたものにする方法を知っているコンピューター）を構築できるようになると、人間の経済的および軍事的関連性は、人間が行う可能性のある決定が行われる可能性があるため、急速に消えます。コンピュータでより良い。（なぜロボット将軍の代わりに人間将軍、ロボットエンジニアの代わりに人間エンジニアなどがいるのか）

これは必ずしも大災害ではありません。バルカンが明日現れ、地球により良い意思決定をもたらしたなら、私たちは多くの悲惨さを避けることができました。私たちが得るものは、私たちの価値観を共有しない何かではなく、私たちの周りにいて幸せなヴァルカンであることを確認することです。

それが起こり得るので、彼はこれを言います。何かが私たちよりも賢くなった場合、なぜそれが私たちに貢献し続けるのでしょうか？最悪のシナリオは、すべての製造プロセスを引き継ぎ、すべての物質を消費して計算可能な材料に変換し、すべての物質が消費されるまで無限に外側に拡張することです。

私たちはAIが危険であることを知っていますが、ほとんどの人がそれを信じていないのでそれは問題ではありません。それは宗教が提供しなければならないすべての慰めに反します。人間は宇宙のすべての存在であり、その事実に異議が唱えられると、人々は場違いで目的がないと感じるでしょう。

多くの評判の良いAIの専門家が20年以内に特異点の発生を置いたとしても、ほとんどの人はそれが可能であるか、それが私たちの人生で起こることを認めていません。自分よりも賢いAIが可能であると人々が本当に認めたとしたら、彼らは違う生き方をしているのではないでしょうか。彼らは自分たちが恐れていることは何でも自動化されることを知って、彼らが楽しんでいることをしようと考えていませんか？誰もが普遍的なベーシックインカムを求めているのではないでしょうか？

私たちがそれを禁止しないもう一つの理由は、その約束がとても素晴らしいからです。1人の研究者が1,000人のデジタル研究助手によって増強される可能性があります。手作業はすべて自動化できます。初めて、テクノロジーは私たちに好きなことをする自由を与えてくれます。

しかし、それが私たちを追い越さないこの最良のケースのシナリオでさえ、人間は依然として彼らの経済システムを労働を必要としないものに適応させ変更する必要があります。そうでなければ、技術的な訓練を受けていない人は飢えて反乱するでしょう。