柔軟性と効率の間にトレードオフはありますか？

「一般的な知能」は多くの異なることを学ぶことができるかもしれませんが、能力を持つことは実際にそれを持っていることとは異なります。「AGI」は学習する必要があります...そしてその学習プロセスには時間がかかる場合があります。AGIで車を運転したりGoをプレイしたりするには、何らかの方法でAGIを「教える」必要があります。AGIを構築したことがないため、トレーニングプロセスの期間はわかりませんが、悲観的な見積もりを想定しても安全です。

それを「狭い知性」と対比してください。狭いAIは、車の運転や囲碁のプレイ方法をすでに知っています。ある特定のタスクで非常に優れているようにプログラムされています。マシンは事前にトレーニングされているため、マシンのトレーニングについて心配する必要はありません。

「一般的な知能」は「狭い知能」よりも柔軟性があるようです。AGIを購入して、車を運転してGo をプレイすることができます。さらに多くのトレーニングをしたい場合は、新しいトリックを教えることもできます：ケーキを焼く方法。予期しないタスクが発生することを心配する必要はありません。十分なトレーニング時間が与えられれば、AGIは最終的にその方法を理解するからです。でも長い間待たなければならなかった。

「ナローインテリジェンス」は、そのタスク専用にプログラムされているため、割り当てられたタスクでより効率的です。それは何をすべきかを正確に知っており、「学習」に時間を費やす必要はありません（ここのAGIバディとは異なります）。さまざまなタスクをうまく処理するために1つのAGIを購入する代わりに、専門のナローAIを購入したいと思います。狭いAI＃1が車を運転し、狭いAI＃2がGoを再生し、狭いAI＃3がケーキを焼くなど。それを処理します。私はそのリスクを受け入れても構わないと思っています。

私の「思考」は正しいですか？上記のように、柔軟性（AGI）と効率（狭いAI）の間にトレードオフはありますか？または、AGIを柔軟かつ効率的にすることは理論的に可能ですか？

この問題で最もクリーンな結果は、「無料ランチなし」の定理です。基本的に、特定のタスクでシステムのパフォーマンスを向上させるには、他のタスクでシステムのパフォーマンスを低下させる必要があるため、柔軟性と効率のトレードオフがあります。

しかし、より広い質問、またはあなたの考えが正しいかどうかについては、あなたが「狭い知性」によってあなたが何を意味するかをより詳しく見ることは価値があると思います。私たちがGoをプレイして車を運転するAIシステムは、それらのことを実行できる存在に飛び込んでいませんでした。彼らはゆっくりと、たくさんのトレーニング例と、問題の領域を反映する適切に選択されたアーキテクチャを通じて、方法を学びました。

つまり、方法論としての「ニューラルネットワーク」は意味のある方法で「一般的」に見えます。メタ学習問題（つまり、トレーニングデータから特定の問題の重みを学習しながら特定の問題に最も適したアーキテクチャを学習する）を解決することで、一般的なインテリジェンスを形成できると想像できます。

その場合でも、柔軟性と効率のトレードオフが存在します。アーキテクチャを変更できる一般的なインテリジェンスは、多くの異なる問題を解決できますが、直面している問題を発見するにはしばらく時間がかかります。特定のアーキテクチャーに固定されたインテリジェンスは、アーキテクチャーが適切である問題（検出する必要がないため、一般的なものよりも優れています）で十分に機能しますが、あまり適さない他の問題ではあまり機能しません。

マシュー・グレイブスが別の答えで説明したように、無料のランチ定理は柔軟性を確認しません-効率のトレードオフ。ただし、この定理は、完全に独立したタスクのセットがある状況を説明しています。多くの異なる問題がそれらのコアで同等であるか、少なくともいくつかの重複があるため、これはしばしば成り立たない。次に、「転移学習」と呼ばれることを実行できます。つまり、あるタスクを解くためのトレーニングによって、別のタスク（または複数の異なるタスク）の解法についても学ぶことができます。

たとえば、RusuらのPolicy Distillationなど。彼らは、さまざまなエキスパートネットワークから1つの一般的なネットワークに知識を「蒸留」して、最終的には各エキスパートよりも優れたパフォーマンスを発揮しました。ジェネラリストがこれらの「教師」から最終的な方針を学んでいる間、専門家は特定のタスクのために訓練されました。

そうだろう。具体的にはAI関連ではありませんが、デジタルコンピューターとアナログコンピューターの違いがその一例です。今日私たちが「コンピュータ」と考えるほとんどすべてのものは、フォンノイマンアーキテクチャを備えたデジタルコンピュータです。そして、それは物事が非常に汎用的であり、本質的に何でも行うように簡単にプログラムできるためです。しかし、アナログコンピュータは、デジタルコンピュータよりも速く、ある種の問題を解決できます（60年代かその頃に戻ることができます）。しかし、柔軟性の欠如のために、彼らは支持を失いました。yを解くためにオペアンプとコンパレーターを使用して回路を手配線することを望んでいる人はいません。