ベイジアンABテスト

9

1か月あたりのアクセス数が5,000回しかないページでABテストを実行しています。テストとコントロール間の+ -1％の差を測定するために必要なトラフィックレベルに到達するには、時間がかかりすぎます。ベイジアン統計を使用して、テストの成績が良かったかどうかを判断できる可能性があると聞きました。ベイジアン統計を使用して現在のデータを分析するにはどうすればよいですか？

        Visitors    Conversions
Control 1345         1165
Test A  961          298
Test B  1274         438

bayesian hypothesis-testing ab-test

— 二項式
ソース

1

ベイジアンマジックによるサンプルサイズの制限を回避することはできません。データを収集します。

— Aksakal、2015年

9

私は同じ質問に取り組んでいます。この質問をしたときに利用できなかった役立つ記事がいくつかあります。

アンティRasinenによる「理論とコードとベイズA / Bテスト」 -記事のシリーズの未完成の一連の論理的な結論「A / Bテストのための正確なベイズ推定」エヴァン・ハースによっては、（部分的にここに救出パート1とその2）。

二項分布の事前共役はベータ分布です。したがって、1つのバリアントのコンバージョン率の分布はベータ分布です。数値的または正確に解くことができます。著者はベイズ自身が書いたエッセイ「チャンスの教義の問題を解決するためのエッセイ」に言及しています。 $Pr(A > B)$

Ian Clarkeによる "比例A / Bテスト" -著者は、ベータ分布がA / Bテストにベイジアンソリューションを適用する方法を理解するための鍵であると説明しています。また、と以前の値を決定するためのThompson Samplingの使用についても説明しています。 $\alpha$ $\beta$

Cam Davidson Pilon著の本「Bayesian Methods for Hackers」の「Chapter 2：PyMCについてもう少し」 -これは、多くのアプリケーションでベイズ法を説明するiPythonの本です。第2章の約半分（セクションタイトルは例：ベイジアンA / Bテスト）に、著者はpymcライブラリを使用して、AがBより優れている（またはその逆である）確率を計算する方法の詳細を説明します。結果のプロットを含む完全なpythonコードが提供されます。

現在、オンラインのベイジアン有意性計算機も多数あります。

— レンウッド
ソース

（+1）本当にありがとう、本当に親切

— steffen

2

記事に情報の概要を追加して、人々が情報を追求したいかどうか、リンクが機能しなくなった場合に人々がわかるようにできますか？また、リンクが切れた場合の完全な引用を提供できますか？

— gung-モニカの回復

8

ベータ分布で表される各グループの信頼できる区間のモンテカルロ積分を実行して、あるグループの真の未知のパラメーターが別のグループの真の未知のパラメーターよりも優れている確率を計算できます。私はこの質問で同様済何かしましたfrequentist計算は、グループAは、バイナリ応答に関するグループB打つことのチャンスどのようにどこ試練=来場者と成功した治験=変換を

しかし： ベイズはあなたにこれまでに収集したデータではなく、客観的「真実」に応じて、唯一の主観的な確率を与えることに注意してください。これは、（統計的検定、p値などを使用する）頻度論者とベイジアンの間の哲学の違いに根ざしています。したがって、統計手法で検出できない場合、ベイズを使用して有意差を検出することは期待できません。

上記のMC-Integrationは2つの独立した信頼できる区間を互いに比較するだけなので、これが重要な理由を理解するには、最初に信頼区間と信頼区間の違いを学ぶのに役立つかもしれません。

このトピックの詳細については、たとえば次の質問を参照してください。

— Steffen
ソース

0

ベイジアンA / Bテストを実行するには、いくつかの方法があります。

まず、分析アプローチ（Lenwoodが言及する共役分布を使用）とMCMCアプローチのどちらを使用するかを決定する必要があります。単純なA / Bテストの場合、特にケースであるコンバージョン率の場合、MCMCアプローチを使用する必要はありません。事前分布としてベータ分布を使用するだけで、事後分布もベータ分布になります。

次に、適用する決定ルールを決定する必要があります。ここでは、意思決定のための2つの主要なアプローチがあるようです。1つ目は、インディアナ大学のJohn Kruschkeによる論文に基づいています（K. Kruschke、Bayesian Estimation Supersedes the t Test、Journal of Experimental Psychology：General、142、573 （2013））。このホワイトペーパーで使用されている決定規則は、実用的同等領域（ROPE）の概念に基づいています。

別の可能性は、予想損失の概念を使用することです。Chris Stucchio（C. Stucchio、VWOでのベイジアンA / Bテスト）によって提案されました。

原則として、別の決定ルールを使用できます。

あなたはこのブログ記事でこれ以上のことを見つけることができます：Bayesian A / B Testing：step-by-step guide。また、いくつかのPythonコードスニペットが含まれ、Githubでホストされている Pythonプロジェクトを使用します。

— cbellei
ソース