実験を再実行してWeb A / Bテストを検証します-これは有効ですか？

先日、A / Bテスト会社によるウェビナーで、居住者の「データサイエンティスト」に、実験を再実行して結果を検証する必要があることを説明してもらいました。前提として、95％の信頼度を選択した場合、誤検知の可能性は5％（1/20）です。同じ制約で実験を再実行すると、1/400になります（これは0.05 ^ 2 = 1/400と決定したと仮定しています）

これは有効な発言ですか？（つまり、「2回実行すると、2つの統計的有意性の勝利=偽陽性の1/400の確率」）？それはあなたの有意水準を上げるためのより良いアプローチだったでしょうか？

ビジネスの観点から、私が懸念しているのは、実験を再実行することです。つまり、より多くのユーザーを劣ったページ（処理）にさらし、潜在的な売り上げを失うことになります。

当面は誤検知の確率を無視して、次のように考えます。

1. 実験を2回実行して同じ結果が得られた場合、2つの真陽性結果または2つの偽陽性結果が連続していたかどうかはわかりません。
2. 実験を2回実行して2つの異なる結果が得られた場合、どちらが真陽性でどちらが偽陽性の結果であるかはわかりません。

どちらの場合も、念のため、3番目の実験を実行する必要があります。これは、比較的安価な実験では問題ないかもしれませんが、コストが潜在的に高い（顧客を失うような）場合は、本当にメリットを考慮する必要があります。

確率を見ると、初めて実験を実行するとき、偽陽性の可能性は1/20です。2回目の実験を実行するときは、まだ 1/20の確率で偽陽性が発生します（各サイコロが特定の数を取得する1/6の確率でサイコロを振ると考えてください）。1/400の確率で2つの誤検知が続けて発生します。

本当の問題は、厳格な手順で明確に定義された仮説を立て、サンプルサイズ、エラーのレベル、および余裕のある信頼できる間隔を持つことです。実験の繰り返しは探索に任せるべき

1. 時間をかけて顧客
2. 組織による変更
3. 競争によって行われた変更

2番目の推測結果ではなく。これをマネージャーに説明することは言うより簡単です。

ええ、あなたの実験が理想的であると仮定して、そのステートメントは正しいです。しかし、理想的な実験を行うことは、この感情が信用を与えるよりもはるかに困難です。「実世界」のデータは乱雑で複雑であり、そもそも解釈が困難です。欠陥のある分析、隠れた変数（めったに「同じ制約」が存在することはほとんどありません）、または仕事をしているデータサイエンティストと彼らがしているマーキングエグゼクティブの間の誤コミュニケーションの途方もない余地があります。

ビジネスの観点からは、優れた方法論を確保し、結果に自信が持てないようにします。あなたが考えるよりもトリッキーな挑戦。それらを取得したら、その5％に取り組みます。