マシンの動機は何ですか？

現在、AI開発分野では、主な焦点はパターン認識と機械学習にあるようです。学習とは、フィードバックループに基づいて内部変数を調整することです。

マズローのニーズのヒエラルキーは、アブラハムマズローが提唱する心理学の理論であり、個人の最も基本的なニーズは、より高いレベルのニーズを達成するために動機付けられる前に満たさなければならないと主張しています。

マシンが行動する動機となる可能性があるのは何ですか？マシンは、ニーズの階層を説明するようなDNAのような構造を持っている必要があります（マズローの理論に似ています）。マシンの基本的なニーズは何でしょうか？

モチベーションを実装する現在の方法は、ある種の人為的な報酬です。たとえば、DeepmindのDQNは、ゲームのスコアによって決まります。スコアが高いほど優れています。AIは、最も多くのポイントを獲得し、したがって最も多くの報酬を獲得するようにアクションを調整することを学習します。これは強化学習と呼ばれます。報酬は、いわばAIを行動に適応させる動機付けになります。

より専門的な用語では、AIはユーティリティを最大化することを望んでいます。これは、実装されているユーティリティ関数に依存します。DQNの場合、これはゲームのスコアを最大化することになります。

人間の脳は同様に機能しますが、少し複雑ですが、多くの場合、それほど単純ではありません。私たち人間は通常、ドーパミンとセロトニンの高出力を生成するために行動を調整しようとします。これは、強化学習中にAIを制御するために使用される報酬に似ています。人間の脳は、どのアクションがこれらの物質を最も多く生成するかを学習し、出力を最大化する戦略を見つけます。もちろん、これはこの複雑なプロセスを単純化したものですが、全体像をつかむことができます。

動機について話すときは、意識やクオリアと混同しないでください。これらはモチベーションにまったく必要ありません。AIで意識とクオリアを議論したい場合、それはまったく異なる球技です。

子供は好奇心のために興味がありません。子供の脳の効用機能が報酬を与える神経伝達物質を放出することで探求に報酬を与えるため、探求するときに積極的に強化されます。そのため、メカニズムは同じです。これをAIに適用することは、新しい経験に報いるユーティリティ関数を定義することを意味します。ある種の強化報酬なしには、内なるドライブはありません。

これは実際に興味深い質問です。

ジェフ・ホーキンスとサンドラ・ブレイクスリーが書いた「知性について」という本には、「どこから好奇心が生まれるのか」という非常に現実的な考えがあります。

そのような声明に基づいています：

• マインドは、それが存在する世界の独自のモデルを作成します。

• 常にすべてについて予測します（実際、Jeff Hawkinsはこれが知性の主な特徴であると述べています）。

• 何かについての予測の後に世界の適切な行動が続かなかった場合、このことは心にとって非常に興味深いものになり（モデルが間違っているため修正する必要があります）、さらに注意が必要です。

たとえば、左の人間の目を見ると、脳はそれが人間の顔であり、右に2番目の目があるはずだと予測します。右を見て、鼻が見える！驚いた！今ではすべての注意が必要であり、モデルに適合しなかったこのような奇妙なことについてさらに観察するという動機付けがあります。

だから、AIはそのモデルに従って特定のことをするか、またはそれが世界について行っている予測が真実である間、ランダムに振る舞うかもしれないと言いたいです。しかし、何らかの予測が破られると、AIはそのモデルに対してエラー修正を行う動機を取得します。

単純なケースでは、マシンは出力で可能なすべてを実行するだけの完全なランダム性で開始します。ある種の順序または繰り返しパターンを検出すると、モデルもランダムモデルもありませんが、「興味を持ち」モデルに追加されます。しばらくすると、モデルはより洗練され、より複雑な予測を行い、モデル内のより高いレベルの誤りを検出します。ゆっくりと、すべてを思い出すのではなく、興味深い何かを観察するために何をすべきかを知るようになります。

私は尋ねた教授リチャード・サットンに強化学習コースの最初の講義では、同様の質問を。マシンの動機付けにはさまざまな方法があるようです。実際、機械の動機付けは、専任の研究分野のように思えます。

通常、機械は、目的関数、コスト関数、または損失関数と呼ばれるものによって動機付けられます。これらは同じ概念の異なる名前です。時々、それらは

マシンの目標は、最小化問題を解決することです。 $\min_a L(a)$、または最大化問題、 $\max_a L(a)$の定義に応じて $L$。

私はゲームのコンテキストでこれについて考えるのに時間を費やしました。

報酬関数の問題は、一般にノードの重み付けが関係することです。これは有用ですが、最終的には実質的に意味がありません。

以下に、2つの重要な報酬を示します。

計算リソース

AIがポイントではなく、プロセッサ時間とメモリを奪い合うゲームを考えてみましょう。

ゲームでアルゴリズムのパフォーマンスが向上するほど、より多くのメモリと処理にアクセスできます。これには実用的な効果があります。オートマトンで使用できるリソースが多いほど、その機能は強くなります。（つまり、合理性はそれほど制限されていません、決定を行う時間と空間の点でれてい。）したがって、アルゴリズムは、そのようなコンテストに勝つために「動機付けられ」ます。

エネルギー

ここで特に処理にエネルギーが必要であるという知識に言及する、十分な程度の「自己認識」を備えたオートマトンは、ビットの不必要なフリッピング（不要なエネルギー消費）を排除するために独自のコードを自己最適化するように動機付けられます。

そのようなアルゴリズムは、機能を継続できるように、電源を確保することにも動機付けられます。