停止問題が人工知能に与える制限は、もしあれば、どのようなものですか？

チューリングマシンの実証済みの停止問題を考えると、強力な人工知能の能力の限界を推測できますか？

停止の問題は、人間の認知の制限を意味しますか？

はい、絶対に-人間が見ることができるコードの断片があり、それが有限時間で停止するかどうかはわかりません。（確かに人間が見て「はい」または「いいえ」と言うことができるコードの一部がありますが、私たちは実際に分析するのが非常に難しいものについて話している。）

停止する問題とは、数学的に不可能なため、コンピューターでは不可能な種類のコード分析があることを意味します。しかし、可能性の領域は、強力な人工知能を許可するのに十分な大きさです（コードの意味では、自分自身を十分に理解して、自分自身を改善することができます）。

停止の問題は、Undecidabilityとして知られる一般的な現象の例であり、チューリングマシンでは有限時間で解決できない問題があることを示しています。チューリングマシンがライスの定理と呼ばれる重要な特性Pを満たすかどうかは決定できないという一般化を考えてみましょう。

まず、Turingマシンが任意の長い入力を受け取る場合にのみ、停止の問題が適用されることに注意してください。入力が制限されている場合、考えられるすべてのケースを列挙することが可能であり、問​​題はもはや決定不能ではありません。それを計算するのはまだ非効率かもしれませんが、それから複雑さの理論に目を向けています。これは別の質問であるべきです。

ライスの定理は、知性（人間）が別の知性（AGIなど）が特定の特性（友好的であるなど）を所有しているかどうかを判別できないことを意味します。これは、Friendly AGIを設計できないという意味ではありませんが、任意のAGIがFriendlyであるかどうかをチェックできないという意味です。したがって、友好的であることが保証されているAIを作成することはできますが、ITが友好的でない別のAIを作成できないようにする必要もあります。