人工知能の文脈では、特異性とは、再帰的な自己改善が可能な人工的な一般的な知能の出現を指し、技術的特異性が達成された直後に、その限界は不明である人工超知能（ASI）の急速な出現につながります。したがって、これらのスーパーインテリジェンスは、おそらく解決できない問題を解決することができます。

人工知能の将来の進歩で報告された世論調査によると：専門家の意見の調査（2014）

回答者の推定中央値は、高レベルのマシンインテリジェンスが2040〜2050年頃に開発されるという2分の1のチャンスでした

それほど遠くないです

AIが多くの問題を解決することで私たちに利益をもたらす可能性があることを考えると、AIは全知に対応できるという考えの何が問題になっていますか？

私はあなたの見通しを非常に気に入っています。他の多くの質問でカバーされている「特異点」がどのように影響を受けるか、または意識と全知は要件ではないためにどのように意識と「全知」が作用するかについての詳細には触れません。代わりに、次の2つの主要な哲学者を紹介します。

• フィリップK.ディック。AI に関する1968年の有名な本の中心テーマは共感です。 （あなたがそれを読んでいないなら、私はネタバレを投稿していませんが、その陰謀はたった5年後に形式化された進化ゲーム理論の概念によって動かされていると言うだけです。）

• ジョン・ナッシュ、特にナッシュ均衡の概念。（ナッシュは、「douchebag」であることは最適な戦略ではないことを数学的に実証したと言えます。彼の証拠は、核デテントが実際に機能した理由を説明するために使用でき、これはフォンノイマンの期待に反していました。）

だから人々が狂って、マシンが私たちを破壊するために立ち上がる「スカイネット」の神話に焦点を当てているとき、私は彼らがナッシュほどスマートではないか、ディックほど深遠ではないかどうかを疑わなければなりません。 「電気羊」パラダイムと呼ばれるもの。

問題は良いものであり、多くの人々の心にあります。考慮すべき考え方にいくつかの誤解があります。

• 人間以外の知的な存在の優位性は文明を脅かしています—その脅威の想像力は理にかなっていますか？人間の知性が今日の生物圏で最も脅威的な生物学的現象であるとき、それは合理的な結論です。昆虫の知性はより持続可能かもしれません。アリとシロアリの文明は確かにより協力的です。世界大戦と虐殺は人類の歴史の主要な特徴の1つです。
• 人工知能は人間よりもインテリジェントになります—人工知能はすでにいくつかの点で人間よりもインテリジェントです。そのため、計算機、オペレーターの代わりに通信信号の自動切り替え、自動メールソーターを使用しています。他の方法では、AIは人間の知性に近づき始めるために天文学的な距離を横断する必要があります。推論、創意工夫、思いやりの人間の能力を将来的にシミュレートしたり複製したりできるというヒントさえ示すものは何もありません。
• 特異点は2040年代に予測されます—これらの予測には、12を超える非現実的な仮定があります。それらの背後にある引数のいずれかを批判的な目で見てください。そうすれば、目隠しをして757を飛ばすことができる細かい穴ができます。
• 知識の指数関数的な増加—情報の指数関数的な増加がありますが、正当にピアレビューされた情報の割合は、誤報、ワイルドな推測、および偽のニュースが増えるにつれて減少します。私の考えでは、世界の情報量はlog（n）で概算できます。ここで、nは母集団です。私がその関係に順守している場合、平均的な個人の情報値はlog（n）/ nであり、人口が増えるにつれて減少します。
• AIは全知に対応します—全知はあらゆる質問に答える以上のものです。Omniscienceは、答えが100％信頼でき、100％正確であることを要求します。これには、宇宙に存在するよりも多くのシリコンが必要になる場合があります。理由を理解したい場合は、Gleickのカオスを読んでください。全知の存在は指揮の質問に答えないだろうと主張する人もいるかもしれません。

人間の知性によって制御されている世界よりも優れた世界が必要な場合、取るべき1つの方向は、私たちが犬や猫。

簡単な方法は、私たち全員が死ぬことです。生物圏は、私たちが到着してすべてを殺したり、お互いを殺したりする前に、より文明化されていたのかもしれません。しかし、それは私の望みではありません。

私の推奨は、私たちはNI（非知性）を研究し、人間の行動や地政学的な相互作用から愚かなものを取り除く方法を発見することです。それは、気を散らして実質的に無関係な機械学習ガジェットとアプリよりもはるかに世界を改善するでしょう。

ここに私の猿の心が思いついたいくつかの問題があります。

1.Smart！=すべてを知っている

AI自己改善爆発により、それはますます賢くなります。賢くなっても、多くの事実を知ることにはなりません。これはかなりうるさい議論だと思いますが、考えてみる価値はあると思います。

あなたの病歴を知らない非常に賢い医者は、より良いデータを持っているあまり知性のない医者よりも悪い選択をするかもしれません。

2.それはすべて人間のためですか？それはすべての人間のためですか？

より高いレベルに達したASIは私たちの幸福に興味がありませんでした。

制御されたASIは、少数のみが利益を得るために機能する可能性があります。これらの少数が間違った目標を決定した場合、後戻りすることができます。

3過酷なASI

科学的な心は必ずしも同情や共感でいっぱいではありません。

4.賢くて賢くない

偉大な心はまだ間違いを犯します：*彼らの目標を設定することで、*それを達成するための計画を実行することで。

肉の知性は、ショロサイトの欠如や死角の欠如を保証するものではありません。

5.制限

存在の境界（ライトタイプの制限の速度）がある場合、AIもこれらによって制限されます。これは、ASIでも「取得」できないものがあることを意味する場合があります。また、私たちの心にはその構造に基づいた制限がある可能性があるため、次のAIにも制限がある可能性があります。uppnが改善されても、uppnは「愚かすぎる」ために解決策を見つけることができない制限に達する可能性があります。

6.わかりません

世界の特定の側面に関するASIの理解は、ほとんどの人間に伝達的ではないかもしれません。理解できないだけです（すべてを理解できるとしても、それが理解できるという意味ではありません）。

7.使い方は？

私たちは自分自身を破壊する可能性があり、それを構築するのに役立つ技術を備えたAIがあります。爆弾である必要はありません。それは地球工学や不思議な薬になる可能性があります。

これは、ASIがすでに強力であるが、負の結果を予測するのに十分ではない場合（またはとにかくそれを無視する場合）、特に強力です。