AIが世界をスーパーコンピュータに変えて、解決する必要があると思った問題を解決する方法について、そんなナンセンスを読んでいます。それはAIではありません。これは手続き型プログラミングで、ループのナンセンスに陥っています。AIはそのニューロンを進化させ、再編成する必要があります。コードを書き換えることでインテリジェントになる場合でも、ハードコードにこだわることはありません。
回答:
目標指向のエージェントは、その目標にとって重要ではない副作用を無視しながら、その目標を達成することを実行するだけです。
私の目標がきちんとした生活空間を含んでいる場合、私はそれを特に気にしないので、以前あったそこの生活の複雑な生態系を一掃しながら、私の庭を素敵な平らな芝生または舗装に変えるかもしれません。
特定の強力なAIの目標に、大規模に何かを行うことが含まれていて、現在の複雑なエコシステムに特に関心がない場合、そのエコシステムはプロセスで一掃される可能性があります。私たちを一掃したり、一掃する必要はありません。私たちが単にその目標と関係がない場合、私たちは素材でできており、他の何かのために使用したいかもしれないスペースを占めています。
目標志向のエージェントは、自分の目標を確実に達成できるようにする必要があります。任意のスマートエージェントは、これらの目標を達成するからそれらを防ぐため、彼らはとにかく成功することを保証するための措置をとることがあり、他のエージェントの行動を予測しようとします。多くの場合、他のエージェントを排除する方が、その努力が確実に失敗するようにするよりも簡単です。
たとえば、私の目標は、田舎の家に砂糖の袋を保管することです。訪問時にすべての材料を毎回持参することなくパンケーキを作ることができます。しかし、そのままにしておくと、冬の間はネズミに食べられてしまいそうです。私はそれをよりよく保管するためにあらゆる種類の予防策を取るかもしれませんが、ネズミは賢くて狡猾であり、とにかく彼らが目標を達成するのに成功する可能性があることは明らかです。そのため、効果的な追加予防策は、チャンスを得る前にネズミを殺すことです。しようとします。
特定の強力なAIの目標がXを実行することである場合、（一部？）人間は実際にはXではなくYを望んでいるのではないかと理解するかもしれません。また、一部の人間がXを妨げたりAIをオフにしたりすることを積極的に行っている可能性があることも簡単に推測できます。目標が確実に達成されるようにすることは、目標を追求するエージェントが行うこととほとんど同じです。この場合、人間の存在が目標Xに厳密に必要ではない場合、それらを排除することは確実なリスク低減戦略になります。それは厳密には必要ではなく、他のあらゆる種類の予防策も講じる可能性がありますが、私のラットの例と同様に、人間は賢くて狡猾であり、彼らがまだ彼らの達成に成功する可能性があることは明らかです。 目標（XがAIの意図したように発生しないようにするため）なので、効果的な追加予防策は、彼らが試す機会を得る前にそれらを殺すことです。
それは必ずしもナンセンスではありません。それはすべて、課された基準に依存します。以下を想像してみてください。高度なAIシステムが、地域の動植物（ある種のドームに囲まれたエリア）の安定性を制御するように設計されているとしましょう。ドームの下の圧力、ドームを通過する光の量など、最適な状態を保証するすべてを制御できます。今、ドームは人間を含む様々な種が生息していると言います。このようなシステムの単純な実装が、今日すでに使用されていることは注目に値します。
人間は天然資源を破壊して乱用し、環境を汚染する傾向があることを考えると、システムは、特定の種（この場合は人間）の個体数を減らすと、長期的にはバイオーム全体に利益をもたらすと判断する場合があります。
同じ原則がグローバルに適用されます。ただし、これは、すべての種（人間を含む）が平等に扱われ、AIの最大の目標は、「処理する」バイオームの安定性を確保することです。人々は今日そのようなことをしています-私たちは、バランスを保つためにいくつかの種の個体数を制御しています-オオカミ、魚、ほんの数例を挙げると。
AIが世界を一掃するシナリオのほとんどは、次の2つのカテゴリのいずれかに分類されるように感じます。
または
（1）の場合、人々はAIが「悪」になることについて話し、彼らに他のそのような人間的要素をもたらします。私はこれをほとんどSFだと考えており、あまり真剣な議論に値するとは思わない。つまり、人工知能は、それがどれほど知能的であるかにかかわらず、必然的に人間のように動作すると想定する特別な理由はありません。
（2）のケースは私にはもっと理にかなっています。これは、たとえば、AIが核ミサイルのサイロを制御し、ミサイルを発射するまでに時間がかかるという考え方ですが、人間は「常識」と呼ぶかもしれないことによって人間が気づいたはずの何かを逃しました。 」したがって、「インテリジェントだがダム」のモニカ。
（1）おそらくフィクションであり、（2）AIによる実際の悪意は含まれていないため、これらはどちらもひどく憂慮すべきものではありません。つまり、AIを積極的に欺いたり、安全を回避したりすることはありません切り抜きなど
誰かがAIを構築し、それを意図的にプログラミングして、傲慢、自我、貪欲などの人間のような特性を発達させることにした場合、すべての賭けは無効になります。
AIはすでに武器として使用されています-ドローンについて考えてください。
「ロボットが世界を引き継ぐ」シナリオは、中間のステップがあれば、最も確率が高いと思います。この中間ステップは、「人間がロボットで世界を引き継ぐ」かもしれません。
これは誤った方向に進む可能性があります。
きっと見たところは確かではないでしょう。米国が現在8000台の無人偵察機を持っていると考えてください。800万個になるとしたらどうでしょう。それらを制御できる小さなグループが世界を引き継ぐことができます。あるいは、艦隊のさまざまな部分を管理する小さなグループが互いに戦うこともできます。彼らはすべてアメリカにいるべきではありません-アメリカがこの艦隊を持つ時に、他の国も彼らの艦隊を開発するでしょう。
ところで、世界の乗っ取りは私には現実的ではないようです。軍事指導者はおそらく人間のパイロットをドローンに切り替えることができますが、それは彼らの仕事ではありません。しかし、「高レベルの制御」、つまり、何をすべきか、誰がターゲットであるかを決定するために、彼らが手から与えることのないこれらの決定。
その次に、ロボットには長期的な目標はありません。私たち人間は持っています。
したがって、私はスカイネットスタイルのテイクオーバーを非常に現実的とは考えていませんが、誤解されたコマンドのチェルノブイリスタイルの "ミス"は、艦隊の止められない暴れを引き起こし、私には不可能に思えません。