アルファゼロはどのように「より人間的」ですか？

AlphaZeroについて、おそらく素朴な質問があります。他のコンピューターよりも「人間らしい」スタイルでプレイすると説明しましたが、それが何であれ、それを行うことで約100のELOポイントを獲得します。Kasparov、および他の多くの人は、コンピューターと連携した強力な人間が強力なコンピューター（おそらく約100 ELO ??）に勝ると主張しています。したがって、明らかな疑問は、AlphaZeroが「ケンタウロス」の組み合わせとどのように比較されるかということです。

いくつかのゲームを見ただけで、ほとんどのコンピューターは自分のモビリティを最大化する広く開かれたゲームをプレイしていますが、AlphaZeroは相手のモビリティを制限することを非常に心配しているようです。人間のプレーヤーでは、これはスタイルの問題であり、多かれ少なかれ人間ではありません。

論文の5ページに答えがあります。

... AlphaZeroは、その深層ニューラルネットワークを使用して、最も有望なバリエーションに対してより選択的にコストをかけることにより、より少ない評価数を補正します。

「選択的に」がキーワードです。どういう意味ですか？この例では、次の位置を使用します。

https://chess24.com/en/read/news/london-classic-5-caruana-shows-how-it-s-done

これは、2017年ロンドンチェスクラシックでCaruanaが獲得した最近のゲームです。ホワイト司教は攻撃を受けており、あなたはそれを動かさなければならないことを知っています。しかし、どこに？

可能性（ピースを失っていない）：

• Bh4
• Be3
• Bd2
• Bc1

カルアナは何を考えていましたか？

ある時点で負ける気がしましたが、25.Bc1を見たとき、私は突然自分のチャンスについて少し楽観的になり始めました。私は自分のポジションが悪いことに気づきましたが、少なくとも私には計画があり、それがこのポジションである程度の自信を得るために本当に必要なすべてでした。このb3、c4を見たとき、位置は両刃であり、いくつかのチャンスがあります。

これは人間の思考であり、「人間の動き」です。Caruana は、Bh4、Be3、およびBd2を「見た目が悪い」ため、考慮していませんでした。彼が注目されていただけとだけ BC1の動きに。

人間は非常に選択的にチェスをします。すべての可能性を等しく調べる時間がないので、不当な動きを捨てます。

• Bh4は、h6ポーンのテンションを解放するため、破棄します
• Be3は、3番目のランクの2つの白いルークをブロックするため、破棄します。
• Bd2は、ホワイトクイーンをキングサイドにブロックするため、破棄します。

AlphaZeroがこの論文で主張しようとしていることです。彼らは彼らのアルゴリズムを、Stockfishよりも遅いものの、検索においてStockfishよりも良い動きを選択的に選択できると主張しています。Stockfishは高速ですが、悪い動きに時間を浪費します。AlphaZeroは低速ですが、より正確です（Caruanaが行っていたように）。

たとえば、AlphaZeroはBc1に80％のリソースを費やし、他のすべての司教の動きに20％を費やします。ストックフィッシュは、各移動（Bh4、Be3、Bd2、Bc1）に対して25％を与える可能性があります。

最も強力なエンジンは、表面的な評価機能を持つことを犠牲にして、非常に深く見ることを強調しています。AlphaZeroの論文で、彼らはStockfishが毎秒7000万のポジションを見ていると言っています。

人間のグランドマスターは、エンジンと比較して実際にはごくわずかなポジションにしか見えませんが、特定のポジションで誰が優れているかという感覚はより優れています。

AlphaZeroは1秒あたり80,000のポジションのみを調べたため、評価機能により多くの時間を費やしました。

それは、彼らが「より人間的な」ことを意味する意味であり、それ以上ではありません。

AlphaZeroは、すでに通常の「ケンタウロス」のようにプレイしているようです->エンジン支援のある対応GM。

FMとして、AlphaZeroを通常のエンジンよりもずっと楽しませてくれるでしょう。

1つの比較は、Karpovが完璧な戦術で行うようにプレーすることです。（ゲーム9 AlphaZeroは、15ムーブの間、非常にタルのような作品をプレイします）。

それは単なるスタイルではなく、AlphaZeroはStockfishよりもポジションをよく理解している印象を与えます。

AlphaZeroは、これまですべてのチェスエンジンが受けていたHorizo​​n効果も受けません。何度も何度も、Stockfishが行うよりも下の位置を正しく評価することができます。

以下に例を示します。

AlphaZeroがキングをセンター16でプレーします。Kxd2！中間のゲームでは、黒はそれを利用できないと正しく判断します。

ピースの犠牲30を正しく評価できます。Bxg6！通常のエンジンは、多くの動きで失われていることを確認できません。

32. f5もとてもいいです。

ゲーム3の交換の犠牲など、他の例もあります。

Alpha-Zeroのプレイは以前のコンピューターチェスプログラムよりも「人間的」であり、反対側のワゴンにジャンプしてAlpha-Zeroのプレイは完全に「エイリアン」であると言うので、時流に乗ってジャンプするのは簡単です。特に擬人化に対する人間の傾向を考えると、アルファゼロのプレイが「より人間的」であることは明らかではありません。

（人間の）心の闘争としてのチェス

しかし、チェスではこの傾向は本当ですか？マグナスカールセンはかつて、「伝統的な」コンピューターは一般に人間の創造性に欠けていることについて次のように語っていました。

「チェスとは人間の心の闘いです。それがエキサイティングなことです。コンピューターのチェスは機械的で、ドライで、当たり障りのないものです。もちろん動きは非常に強いですが、スタイルはありません。チェスのコンピューターと対戦する場合、あなたは非常に高い確実性で失うだけでなく、その過程で退屈するでしょう。

Magnus Carlsenは、伝統的なチェスコンピューターで人間のスタイルのプレーの証拠を見ませんでした。そこで、アルファゼロの最近の業績がこの展望を覆し、私たちをもっと自分自身を連想させる何かに私たちを動かしたかどうかを調べてみましょう。

「人間に似た」とは、「擬人化の感覚に訴える可能性がより高い行動を示す」というプレイを意味する場合、アルファゼロのスタイルはより人間らしく見えますか？この主観的な近視の人間が、人間以外のものに投影するのを好むのをどうやってテストするのでしょうか？聞いてみましょう-アルゴリズムは、そのプレイスタイルで「選択的に優れた選択」または「より人間的な創造的選択」を示しますか？

アルゴリズムのクリエイターがStockfishとは異なりアルファ・ベータ検索アルゴリズムを使用することを示し、アルファ・ゼロは、加重パラメータが〜前回の結果から構築θを入力として受け入れ、モンテカルロ木探索（MCTS）アルゴリズム採用ページ3.マスタリングチェスとを一般的な強化学習アルゴリズムを使用した自己プレイによる将gi）。

そのため、アルゴリズムには選択肢がまったくありません。実際には、ランダムではあるが確率的なモンティ・カルロ検索が行われ、利用可能な検索パスが以前の結果によってますます偏見されています。Alpha-zeroは、このようにプレイスタイルを最適化することを選択しましたか、それともプログラマの選択でしたか？

アルファゼロには、考えられるすべての可能な動きが常に考慮されていますか、または人間が擬人的に解釈できる経験を模倣する方法でアルゴリズム的に偏った動きがありますか？

最初はすべての動きが利用可能でしたので、その「スタイル」は完全にランダムでした。ただし、検索は以前の成功または失敗によってますます最適に制約されるため、そのスタイルは実際にプログラマーが束縛したモードに向かって変化しています。これは「より人間的」ですか？時々ますマグナスCarlesenにこれを比較し、彼らがより創造的であるため、少ない最適な移動を選択してください：

マグナスカールセン：「ユニークなものを作ってくれてありがとう」

（エイリアン）マインドの闘争としてのチェス

人間は、自分のスタイルのプレイを促進する基準を選択できます（たとえば、自分のスタイルで衝動とエラーをしばしば選択しました）。多くの人が両方のチェスでアルファゼロのプレーを見て、明らかにエイリアンとして行きます。MITのコンピューターサイエンスおよび人工知能研究所（CSAIL）の大学院生であるニックハインズは次のように述べています。

「ここで見ているのは、人間の偏見や前提のないモデルです。最適であると判断したものは何でも学習することができます。それは、タイムトラベルのようなことをすることができる独自の数学を発明したエイリアン文明のようなものです...」

同様に、GMピーター・ハイネ・ニールセンはChess.comに語った。

「論文を読んだ後、特に私が考えていたゲームを見て、よく、私は常に、優れた種が地球に上陸し、チェスをする方法を示したとしたらどうなるだろうと思っていました。

ほとんどの場合、Alpha-Zeroの新しいスタイルのプレイには「より人間的」ではなく「エイリアンプレイ」として反応するようです。

したがって、「はい」と言う上記の回答に同意しない理由があります。

これは生きていくための非常に興味深い時間です。

1970年代以降のチェスコンピュータは、アルファ-ベータプルーニングを使用したミニマックスツリーベースの検索アルゴリズムです。これらのプログラムは、コンピューターの速度と並列処理の進歩と、枝の剪定とリーフノードの選択に使用されるヒューリスティック評価関数の改善の両方により、ますます強力になりました。しかし、人々は長い間、唯物論的で退屈なコンピュータープレイがどれほど優れているかに気付いていました。

しかし、これらのゲームを見たことがありますか？

AlphaZeroは、非常に美しいプレイを展示しています。これには、長期的なポジショニングアドバンテージのための材料の犠牲の例がいくつか含まれています。これは、人間のマスターからの最も美しいゲームのいくつかを連想させますが、他の追随を許さない技術的な正確さも備えています。これは、コンピューターで生成され、深みのある美しさを持つ私の人生で見た最初の例です。

ケンタウロスの主張：

ギャリーがこれを何度も言うのを聞いたことがありますが、それは真実ではありません。または、少なくとも、AlphaZeroのシー​​ンではそれは当てはまりません。

これを想像してください。10,000個の関連する継続があるピースsacがあり、5,000個は純粋に戦術的（ほとんど相互に無関係）で、もう5,000個はほとんど位置的（まだほとんど無関係）です。人間は、間違いを犯さずにこれらすべてのバリエーションをふるいにかけることができますか？AlphaZeroがこれらの非常に創造的な動きを見ることができる場合、人間はどのような貢献ができるでしょうか？

最後のフロンティア：

ブルート計算がディープニューラルネットに勝つ場所は1つあります。それはエンドゲームです。テーブルベースに勝るものはありません。しかし、テーブルベースを必要とするエンディング（検索ツリーは、正しい動きを計算するだけの深さにはならないため）は非常にまれです。また、テーブルベースをAlphaZeroに接続するだけでもかまいませんが、それは「独学」エンジンの純度を破壊するでしょうか？

人間には、従来のコンピューターチェスプログラム（fritz、stockfishな​​ど）のように深く検索する能力がないため、「戦略的原則」または親指のルール（センターコントロール、開発、キングの安全性）、およびさまざまな犠牲、接続されたルーク、司教のペア、特定の結末など、さまざまな方法で状況。たとえば、ルークとポーンで王を追い詰める方法。

アルファゼロは独立してそのような多くの概念（知覚と概念）を再発明し、多くの新しい概念も学んだと思います-その知識は人間の評価関数と常に敵を仮定する強力なminmax検索に基づいて構築する必要がなかったからです天才。

もちろん、このような原則自体は状況によって矛盾するため、さまざまなオープニングプレイや落とし穴が慎重に研究されています。たとえば、クイーンをすぐに開発しないでください。

一方、人間は、1つのピースを（交換なしで）失うと、力を弱めることに気付くので、補償なしでピースを失うことがないように非常に注意します。

Alphazeroのプレイは、小さな素材を失い、本や作品の価値を開くことに過度に依存するという奴隷的な恐怖からコンピューターチェス（および人間のチェス）を解放したと思います。

Alphazeroゲームは、対戦相手がだらしない場合、センターコントロール、開発、スペース、イニシアチブなどの「戦略的原則」のようなものがはるかに重要であることを示しています。言い換えれば、「犠牲」は本当に犠牲ではなく、イニシアチブ、ポジション、指示された動きで利益を得るためにピースをトレードオフします。

Alphago（ゼロではない）は人間の評価に依存していましたが、alphazeroは評価のチェーン全体を単一のエンドツーエンドプロセスとして「検索またはシミュレーション」に設定し、まったく新しいプレイ方法を考え出しました。

考えてみれば、モルフィ、フィッシャー、カスパロフなどの過去の偉大な巨匠は、特別な状況を利用することで、石に書かれた評価に縛られないこの種の「反直感的」なプレイで賞賛されています出現する。アルファゼロのゲームには、そのような「すごい」要素があると思います。

なぜニューラルネットワークなのか。シンボリック表現と離散検索を使用するコンピュータープログラムは「1つの」考え方しか使用できませんが、ニューラルネットワークは状況を代替の競合する評価で並列処理し、後の層のより価値のあるビューに切り替えることができます。

それが演じる動きが人間のアプローチと多かれ少なかれ一致するという意味で、より人間的です：長期的な利点、位置的な犠牲、作品活動のために遊ぶ。人間のチェスの知識と、数世紀にわたって洗練された受け入れられた戦略的原則との明らかな収束があります（たとえば、多くの同じ開口部を「発見」しました）。AlphaZeroに人間が構築したチェスの知識がシードされていないという事実を考えると、これは驚くべきことです。

しかし、類似点はここで終わりです。AlphaZeroは、それを次のレベルに引き上げ、より良くし、人間が考えたことのない方法でそれを行います。AlphaZeroは、「AlphaZeroが超人間レベルのプレイを達成した[...]」（https://arxiv.org/pdf/1712.01815.pdf）を引用する「超人間」機能を備えています。さらに、人間に固有の弱点、つまり集中力の問題、恐怖、疲労、感情、直感など、人間を制限するものはありません。また、そのシリコンブレインにより、必要に応じて人間の能力を超える戦術的な組み合わせが可能になります。

多くの場合、繊細さと洞察力でこの質問に答えてくれたすべての人に感謝したいと思います。応答の主な違いは、人間という言葉の解釈にあるようです。

AlphaZeroは、見落としや誤算という意味で人間のチェスをしませんが、その「思考」プロセスは、高度な形で、ほとんどの強力なプレイヤーが考える方法に対応するようです。プレイしたい「候補の動き」のリストをかなりすばやく作成します。最強のプレイヤーにとっては、このリストは驚くほど正確で、1分で認識できるゲームのようなものをプレイすることさえできます。残りの時間は質問に費やされますが、そのリストのどの動きが実際に機能しますか？ペトロシアンは、最終的にプレーした動きが彼が最初に考えたものであるときに、彼が最も形に感じたと言いました。私たちは皆、私たちが最もプレイしたかった動きが戦術的にプレイできるようになったときにどれほど満足しているのかを知っています。AlphaBeta検索よりもはるかに簡単にAlphaZeroアルゴリズムに関連付けることができます。

最も興味深いと思われるのは、マシンがどのようにして有望な候補者を自己再生で認識できたかです。それが本当の革命の可能性があるところです。これは、目的が明確に定義できるチェスやゴーなどのドメインでのみ可能かどうかと思います。しかし、AlphaZeroが意図的なプレイを見せているように見えるのは印象的ですが、Stockfishには何が起こっているのかわかりません。

ニューラルネットワークを理解する方法、A0の本当の利点は、ボードの位置の優れた評価です。この評価には、短期的な戦術的知識（ある意味で、検討したポジションの数の乗数として役立つ）と戦略的価値の優れた評価の両方が組み込まれています。

議論全体が逃したと思うことの1つは、A0がチェス、将gi、およびゴーを、すべて非常にうまく、そしてすべて自己学習から行えるということです。これははるかに人間的です。さらに、行くうちに、それはトッププレイヤーに深く新しいアイデアを明らかにしました（私はそれを理解しています）。他のエンジンはタスク固有であり、A0はそうではないようです。私はそれがチェス960をするのを見たいです。

アルファには「人間」はいないと思います。より強力なハードウェアを使用し、高品質のチェスをプレイしました。（たとえば、Bg2を使用してフィアンチェットキングサイドに）見つけることができる適切なオープニングムーブは、完全にシミュレートされたオープニングブックによるものです。私が感銘を受け、「チェスの秘密」で作成した概念：http : //davidsmerdon.com/?p=1970（アルファがトップエンジンの中で初めて使用する）は、たとえばd4などのより長いチェーンです。 -Bg6犠牲ゲームで全体を破ったe5-f6チェーン、および両エンジン間のフランス国防ゲームで見られるように、中央の後方メーカー。どちらの概念も非常に奥深くまで検索することを必要としますが、恐らくここではアルファはその巨大なハードウェアに助けられました。そうでなければ、私はそのプレイについて人間を見ない。ゲームの多くは、確かに、