一連の広告のうち、クリック率が最も高いものを特定するために必要なサンプルサイズ

私は貿易のソフトウェアデザイナーであり、クライアントのプロジェクトに取り組んでいます。私の分析が統計的に正しいことを確認したいと思います。

次のことを考えてみましょう： 私たちは持っているのn広告（N <10）、そして私たちは、単に最高を実行する広告を知りたいです。 広告サーバーはこれらの広告の1つをランダムに配信します。ユーザーが広告をクリックすると成功します-私たちのサーバーはそれを追跡します。

前提：信頼区間：95％

質問：推定サンプルサイズはどのくらいですか？（配信する必要がある広告の合計数）、なぜですか？（私はダミーです）

ありがとう

— ジョナサン
ソース

「誤差5％」とはどういう意味ですか？

— ワンストップ2011年

@onestop-わかりやすく説明-質問から削除しました。私はちょうど次のサンプルサイズ計算からその変数を取った：raosoft.com/samplesize.html しかし、私はこの質問でそのrelavantないと思います。ありがとう！

— ジョナサン

多くのテストでは、想定される（固定された）効果サイズを指定して、テストが特定の検出力を達成するようにサンプルサイズを計算できます。つまり、最初に次のことを指定する必要があります。1）使用するテストは何ですか。2）そのテストにどのような能力を持たせたいですか？条件付き 3）あなたが面白いと思うエフェクトサイズ。1）ここの人々はおそらくあなたを助けることができるものです。2）指定した95％に関連している可能性があります。3）しかし、事前に提供しなければならないものがあります。興味深いことに、確率はどのように異なると見なされる必要がありますか？

— カラカル2011

したがって、ここでさらにパラメータを指定する必要がある場合は、次のようにします。1. 使用するテスト -わからない-提案はありますか？2. 力：ウィキペディアの定義を見た後でも-インテリジェントに答える方法がわかりません。3. 効果のサイズ：10％良いとしましょう

— ジョナサン

あなたがおそらく望む検定はフィッシャーの正確検定です。残念ながら、クリックスルー率が非常に低く、予想される効果サイズが小さい場合、必要な信頼区間を達成するには、非常に大きなNが必要になります。あなたの最高の広告の「真の」クリックスルー率は.11で、2番目に高いのは.1だとしましょう。さらに、帰無仮説（2つの広告の間に差がないという仮説）を不適切に棄却できない確率を.20未満にしたいとします。その場合は、10,000程度のNが必要です。

> library(statmod)   
> power.fisher.test(.1,.11,20000,20000,.05)
[1] 0.84

コメンターが示唆したように、広告パフォーマンスの10％の違いを気にする必要はないでしょう。全体的な差異の場合、必要なサンプルのサイズは急速に減少します。

> power.fisher.test(.1,.2,200,200,.05)
[1] 0.785

— fgregg
ソース