頻度論者は、バイナリ応答に関してグループAがグループBを上回る可能性をどのように計算しますか

...（オプション）Google Web Optimizerのコンテキスト内。

2つのグループとバイナリ応答変数があるとします。これで、次の結果が得られます。

オリジナル：401回の試行、125回の成功した試行
組み合わせ16：試行441件、成功141件

差は統計的に有意ではありませんが、Combination16がOriginalを上回る確率を計算できます。

「オリジナルを打つチャンス」を計算するために、私はベイジアンアプローチを使用しました。これがコードです：

trials <- 10000
resDat<-data.frame("orig"=rbeta(trials,125+1,401-125+1),
                    "opt"=rbeta(trials,144+1,441-144+1))
length(which(resDat$opt>resDat$orig))/trials

これは0.6764になります。

頻度主義者が「打つチャンス...」を計算するために使用するテクニックはどれですか？たぶん、フィッシャーの正確確率検定のべき関数ですか？

オプション：Google Webオプティマイザーのコンテキスト

Google Webオプティマイザーは、多変量テストまたはA / Bテストを制御するためのツールです。これは導入部にすぎません。これは質問自体には関係ないためです。

上記の例は、ここにあるGoogle Webオプティマイザー（GWO）の説明ページ（「推定コンバージョン率の範囲」のセクションまでスクロールしてください）、特に図2から取得したものです。

ここで、GWOは67.8％を「オリジナルを倒すチャンス」を提供しますが、これは私の結果とは少し異なります。私はグーグルがより頻繁な手法のようなアプローチを使用していると思います、そして私は疑問に思いました：それは何であることができるでしょうか？

編集：この質問は消える寸前だったので（私はその特定の性質が原因であると思います）、私は一般的な興味があると言い換えました。

bayesian ab-test

— Steffen
ソース

常連主義の観点では、OriginalはCombinationを上回っています。「チャンス」や関連する確率はありません。

— charles.y.zheng

@ charles.y.zheng hm ...テストの検出力を計算できます。つまり、真のパラメーターを仮定して、Null仮説が拒否される確率です。どのように呼びますか？

— steffen

α

$\alpha$

@ charles.y.zheng私はそれを知っていました;）。そのような確率が頻度論者によって計算できないと思うなら、答えとしてそれを提出しないのはなぜですか。コミュニティが同意した場合、私はそれを喜んで受け入れます:)。

— steffen

@steffen：テストの有意水準は、計算またはシミュレーションによって簡単に取得できます。テストのパワーレベルは、特定の代替案に関してのみ定義されます。そのため、テストの一般的な「検出力」を計算することはできません。このような概念は定義できません。

— charles.y.zheng

これを機会として、頻度主義の実践をベイジアンの観点から解釈することにより、頻度主義とベイジアン統計の違いに関するいくつかの基本的な問題を説明します。

$D_1$ $D_2$ $p_1$ $p_2$ $f_i(p_i)$ $F_i(p_i)$ $p_1 > p_2$

P [p_{1} > p_{2}; f_{1}, f_{2}] = \frac{\int_{0}^{1} \int_{0}^{1} I (p_{1} > p_{2}) P [D_{1} | p_{1}] P [D_{2} | p_{1}] d F_{1} (p_{1}) d F_{2} (p_{2})}{\int_{0}^{1} \int_{0}^{1} P [D_{1} | p_{1}] P [D_{2} | p_{1}] d F_{1} (p_{1}) d F_{2} (p_{2})}

$P[p_1 > p_2;f_1,f_2] = \frac{\int_0^1 \int_0^1 I(p_1 > p_2) P[D_1|p_1] P[D_2|p_1] dF_1(p_1) dF_2(p_2)}{\int_0 ^1 \int_0^1 P[D_1|p_1] P[D_2|p_1] dF_1(p_1) dF_2(p_2) }$

$f_1(p_1)$ $f_2(p_2)$

$\theta$

$g_{\theta_i}(p_i)$

g_{θ_{i}} (p_{i}) = δ (θ_{i})

$g_{\theta_i}(p_i) = \delta (\theta_i)$

$\theta_i$

P [p_{1} > p_{2}; g_{θ_{1}}, g_{θ_{2}}] = δ_{θ_{1}, θ_{2}}

$P[p_1 > p_2;g_{\theta_1},g_{\theta_2}] = \delta_{\theta_1, \theta_2}$

$\theta_1 = \theta_2$

したがって、常習者は沈黙したままです。（または、代わりに、「確率は0と1の間です...」という簡単なステートメントを作成します）

— charles.y.zheng
ソース

ごめんなさい、私が悪かった。私はついに（他の人たちの中で）常習者が経験的データの信頼区間を計算することさえ許可されていないことを学びました。したがって、常連がどのように私の質問に答えるかについての私のフォローアップのアイデア（私は明かしませんでした）もすべて間違っていました。私は質問が4を得たが、あなたの答えではない、単一のupvoteいるので、しかし、少し不安定なよ:(。

— ステファン

今、私はベイジアンのアイデアと頻出主義のアイデアの混合に慣れていません（たとえば、頻出主義者が事前分布にどのように対処するか（彼らはそうではありませんか？））。たぶん、答えはあなたがコメントに書き込んだとおりかもしれません：頻繁に質問する人は質問に答えることができません。ここにたように）ません。

— steffen

おそらく私の解釈は私が信じていたほど主流ではなかったかもしれませんが、頻度論的手法とベイズ的手法を同じ立場に置くことには本質的に問題はありません。LehmannとCasellaの点推定理論を参照してください。ここでは、頻出法とベイズ法が統計的決定理論によって比較されています。

— charles.y.zheng 2011年