Connect Fourをプレイする機械学習アルゴリズム

現在、機械学習について読んでおり、Connect Fourのプレイにそれをどのように適用するのか疑問に思っています。

私の現在の試みは、シグモイド関数モデルとone-vs-allメソッドを使用した単純なマルチクラス分類器です。

私の意見では、入力フィーチャは7x6 = 42グリッドフィールドの状態（プレーヤー1のディスク、プレーヤー2のディスク）でなければなりません。

出力は、ディスクを挿入する行の番号になります。これは1〜7の離散的な数値であるため、これはマルチクラス分類問題として扱うことができると思います。

しかし、教師あり学習で使用可能なトレーニング例を生成するにはどうすればよいですか？

主な目標はゲームに勝つことですが、最終ターン以外のすべての結果は明らかにわかりません。何千回もお互いに何をプレイするかをランダムに決定する2人のプレーヤーにさせた場合、トレーニングの例として、各ゲームラウンドの勝者によって行われたすべてのターンを取るだけで十分ですか？または、これを完全に異なる方法で行う必要がありますか？

編集：コメントで示唆されているように、強化学習について少し読みました。 私が知っていることから、Qラーニングはトリックを実行する必要があります。つまり、現在の状態の関数Qとその状態で始まる最大累積報酬になるために実行するアクションを近似する必要があります。次に、各ステップでQの最大値が得られるアクションを選択します。ただし、このゲームでは、たとえばルックアップテーブルとしてこれを行うには状態が多すぎます。それでは、このQ関数をモデル化する効果的な方法は何ですか？

強化学習のより単純な代替手段を提供するために、基本的なミニマックスアルゴリズムを使用して良い動きを検索し、機械学習を使用してボードの位置を評価できます。

明確にするために、ミニマックスはゲームツリーを構築し、各ノードはリーフアップの結果でラベル付けされます（1 =プレーヤーAが勝ち、0 =プレーヤーBが勝ちます）。それを最小化します。

ゲームが非常に単純でない限り、ゲームツリー全体を端末まで構築することはできません。代わりに、未完成のボードポジションで停止し、何らかのヒューリスティック（基本的に、プレイヤーAが特定のポジションから勝つ確率）でリーフを評価する必要があります。ニューラルネットワークのような機械学習アルゴリズムに、既知の結果を持つ4つの位置を接続してこの確率を学習させることができます。

トレーニングサンプルを生成するには、単純なヒューリスティックでミニマックスプレーヤーを構築し、1000回プレイし、それらのゲームを使用して最初のニューラルネットワークをトレーニングし、それから1,000ゲームなどを支払うことができます。少し運が良ければ、システムは世代ごとに改善されます。

ミニマックスを使ってコネクトをプレイすることについてのブログ投稿を4年前に書きました。ここで実行中のコードを見ることができます。モデルをトレーニングする必要がある場合は、私のミニマックスの実装に対して数千のゲームをプレイさせることができます。