A / Bテスト:
http://20bits.com/articles/statistical-analysis-and-ab-testing/
http://elem.com/~btilly/effective-ab-testing/
私はA / Bテストに精通していませんが、A / Bテストの実行に使用できる特定のパッケージ/ライブラリがRまたはPythonにあるかどうか疑問に思っていました。
A / Bテスト:
http://20bits.com/articles/statistical-analysis-and-ab-testing/
http://elem.com/~btilly/effective-ab-testing/
私はA / Bテストに精通していませんが、A / Bテストの実行に使用できる特定のパッケージ/ライブラリがRまたはPythonにあるかどうか疑問に思っていました。
回答:
確かに、PythonとRの両方について、いくつかの興味深く使いやすいパッケージ/ライブラリがあります。
まず、Python については、Python / DjangoでのA / Bテストに関する質問に対するこのStackOverflowの回答を読むことを強くお勧めします。それは主題に関する1ページの修士論文です。
Akohaは、DjangoのABテスト向けのかなり最近のパッケージ(1年弱)です。私はこのパッケージを使用していませんが、このタイプの(ダウンロード数に基づく)Djangoパッケージの中で最も広く使用されているようです。bitbucketで利用できます。
Django-ABは、私が認識している他のDjangoパッケージであり、使用した唯一のパッケージです。
パッケージがWebフレームワークをサポートすることを期待するように、各パッケージは、ABテストの結果をセットアップ、構成、実施、および記録するためのマイクロフレームワークを提供します。ご想像のとおり、どちらもviews.pyファイルで参照される(django)テンプレート(スケルトンhtmlページ)を動的に切り替えることで機能します。
Rについては、ペルーの大学が作成および保守しているagricolaeパッケージを強くお勧めします。CRANで利用できます。これはコアディストリビューションの一部です。(完了したABおよび多変量テストからの非常に有用なデータセットで構成されるagridatも参照してください)。
私が知っている限り、そして何度もagricolaeのドキュメントを参照しましたが、WebアプリケーションまたはWebサイトがテスト/分析の主題として言及されることはありません。パッケージ名から、ドメインは農業であることがわかりますが、Webでのテストとの類似性はほぼ完璧です。agricolaeはABテストワークフローの最初(テスト設計と成功/終了基準の確立)と最後(結果の分析)に向けられているため、このパッケージは2つのDjangoパッケージをうまく補完します。
サブジェクトに使用するアプローチに応じて、以下の2つの選択肢があります。1つは分割テスト用の従来のカイ2乗テストで、2つ目は分割テストへのベイジアンアプローチです。分析に対する組織の利害関係者の要件によっては、データがあれば両方を実行することもできます。
カイ二乗検定(従来)PythonによるA / Bテスト:http : //okomestudio.net/biboroku/?p=2375
PythonでのベイジアンA / Bテスト:http : //www.bayesianwitch.com/blog/2014/bayesian_ab_test.html