コインフリッピング、意思決定プロセス、および情報の価値

次のセットアップを想像してください。2つのコインがあります。コインAは公平であることが保証され、コインBは公平である場合とそうでない場合があります。100コインフリップを行うように求められます。目的は、ヘッドの数を最大にすることです。

コインBについての事前情報は、コインBが3回裏返され、1つのヘッドが得られたことです。決定ルールが、2枚のコインの頭の予想確率を比較することに単に基づいている場合、コインAを100回裏返し、それで完了します。これは、コインBがより多くの頭を生み出すと信じる理由がないため、確率の合理的なベイズ推定（事後平均）を使用する場合でも当てはまります。

しかし、コインBが実際に頭に有利にバイアスされている場合はどうなりますか？確かに、コインBを数回ひっくり返して（したがって、その統計的特性に関する情報を取得して）あきらめる「潜在的な頭」は、ある意味で価値があり、したがって、決定に影響を与えます。この「情報の価値」を数学的にどのように説明できますか？

質問：このシナリオで、最適な決定ルールを数学的にどのように構築しますか？

多腕バンディット

これは、Multi-Armed Bandit問題の特定のケースです。一般的に、我々は知らないので、私は、特定の場合を言う任意のヘッドの確率を（このケースでは、我々はコインの一つが確率0.5を持って知っています）。

あなたが提起する問題は、探検対搾取のジレンマとして知られています。他のオプションを探求しますか、それとも最良と思われるものに固執しますか。すべての確率を知っていると仮定すると、即座に最適な解決策があります。単に、勝つ可能性が最も高いコインを選択してください。問題は、あなたが示唆したように、本当の確率が何であるかについて私たちが確信していないということです。

このテーマに関する多くの文献があり、多くの決定論的アルゴリズムがありますが、このベイジアンをタグ付けしたので、私の個人的なお気に入りのソリューション、ベイジアンバンディットについてお話したいと思います！

ベイジアンバンディットソリューション

この問題に対するベイジアンのアプローチは非常に自然です。「コインXが2つの方が良い確率はどれくらいですか？」と答えることに興味があります。

先験的に、コインフリップがまだ観察されていないと仮定すると、この未知の示す、コインBのヘッドの確率が何であるかわかりません。したがって、事前確率分布をこの未知の確率に割り当てる必要があります。代わりに、コインAの以前の（および後の）ものは、完全に1/2に集中しています。$p_B$

あなたが述べたように、コインBから2つの尾と1つの頭を観察します。事後分布を更新する必要があります。均一な前と仮定すると、とフリップはベルヌーイコインは、反転され、私たちの後方である。事後分布またはAとBを今比較する：$Beta( 1 + 1, 1 + 2)$

ほぼ最適な戦略を見つける

後継者がいるので、どうすればいいですか？「コインBの方が2つの方が良い確率はどれですか」と答えることに興味があります（ベイジアンの観点から、どちらが良いかについては明確な答えがありますが、確率でしか話せません）。

ほぼ最適なソリューションは、確率と確率1 − w Bの A を選択することです。このスキームは、期待されるゲインを最大化します。事後分布がわかっているので、w Bは計算で計算できますが、興味深い方法は次のとおりです。$w_B$$1 - w_B$$w_B$

1. Sample P_B from the posterior of coin B
2. If P_B > 0.5, choose coin B, else choose coin A.

このスキームも自己更新です。コインBを選択した結果を確認したら、この新しい情報で事後情報を更新し、再度選択します。このように、コインBが本当に悪い場合、コインBの選択を減らし、コインBが実際に良い場合、より頻繁に選択します。もちろん、私たちはベイジアンですので、コインBの方が優れているとは絶対に確信できません。このように確率的に選択することは、探査と開発のジレンマに対する最も自然な解決策です。

これは、トンプソンサンプリングの特定の例です。詳細については、Googleの研究論文とYahooの研究論文をご覧ください。私はこのものが大好きです！

これは、多腕バンディット問題の単純なケースです。気付くように、短期的には最適ではないと思うときに未知のコインを試して、収集した情報のバランスを取りたいと思います。

$1/2$

一般に、動的プログラミングの問題から逃れることはできないと思いますが、最適な戦略をより簡単に見つけて確認できる特別な場合もあります。

事前に統一した場合、ここで停止する必要があります。

$(0 ~ \text{heads}, 3 ~\text{tails}), (1 ~\text{head}, 5 ~\text{tails}), (2 ~\text{heads}, 6 ~\text{tails}), (3,7), (4,8),...(31,35), (32,35), (33,36), (34,37), ... (41,44), (42,44), ... (46,48), (47,48), (48,49), (49,50)$

$61.3299$

次のMathematicaコードを使用して株式を計算しました。

Clear[Equity];
Equity[n_, heads_, tails_] := Equity[n, heads, tails] = 
    If[n == 0, heads, 
       Max[1/2 + Equity[n - 1, heads, tails], 
           (heads + 1)/(heads + tails + 2) Equity[n - 1, heads + 1, tails] + 
           (tails + 1)/(heads + tails + 2) Equity[n - 1, heads, tails + 1]
           ]
      ]

比較のために、Thompsonのサンプリングヒューリスティック（Cam Davidson Pilonが最適であると主張）は、平均60.2907ヘッドを与え、1.03915だけ低くなっています。トンプソンのサンプリングには、良い賭けではないことを知るのに十分な情報があるときにBをサンプリングするという問題があり、情報が最も価値があるときにBを早期にサンプリングする機会を無駄にすることがよくあります。このタイプの問題では、オプション間でほとんど無関心ではなく、純粋に最適な戦略があります。

tp[heads_, tails_] := tp[heads, tails] = 
    Integrate[x^heads (1 - x)^tails / Beta[heads + 1, tails + 1], {x, 0, 1/2}]


Clear[Thompson];
Thompson[flipsLeft_, heads_, tails_] := Thompson[flipsLeft, heads, tails] = 
    If[flipsLeft == 0, heads, 
       Module[{p = tp[heads, tails]}, 
           p (1/2 + Thompson[flipsLeft-1,heads,tails]) + 
           (1-p)((heads+1)/(heads+tails+2)Thompson[flipsLeft-1,heads+1,tails] + 
           ((tails+1)/(heads+tails+2)) Thompson[flipsLeft-1,heads,tails+1])]]