合計のA / Bテスト比率

 環境

オンラインで商品を販売する会社について、次のシナリオを考えます。ユーザーは複数のアイテム（つまり、アイテムのバスケット）を購入できます。そのうちのいくつかは特に重要で、特に追跡されます（スターアイテムと呼びましょう）。

販売されたスターアイテムの数と総売上の両方に影響を与える可能性のあるアルゴリズムの変更（推奨、リスク評価、ターゲティングの追加など）をテストしたいと考えています。

• これは標準のA / Bテストセットアップです。ランダム化ユニットはユーザーレベルにあります。
• A / Bテストの目的は、アルゴリズム変更の影響を比較することです。コントロールグループには元のアルゴリズムがあり、バリアントには新しいアルゴリズムがあります。
• 重要な指標の1つは、総売上に対するスターアイテムの売上の比率として定義されます。これは、各AまたはBグループのスコープ内のすべてのユーザーのすべてのトランザクションにわたる合計です。
• つまり、分析単位はトランザクションレベルにあり、ランダム化単位とは異なります。
• メトリックは、テストの全期間（2週間など）にわたって計算されます。

使用されるメトリックの詳細

グループAと一連のユーザー与えられた場合、各ユーザーは多数のトランザクションに関与しています。テスト期間中のグループAのすべてのユーザーのすべてのトランザクションのセットは、。$U_A = \{u_1,u_2,...,u_{N_A} \}$$t_{u_n}$$T_A$$T_A = \{ t_{u_{11}}, t_{u_{12}}, ... t_{u_{nm} } \}$

グループAの対象メトリックは、グループAのスコープ内のすべてのトランザクションに対して定義されます。合計は、ユーザーレベルではなくトランザクションレベルです。

もちろん、ユーザーレベルの平均を計算するように定義を変更することもできます。これによりすべてが簡略化されますが、これは使用されているメトリックではありません。

ご質問

そのようなメトリックに使用できる統計的検定は何ですか？追加の考慮事項は、ユーザーがiidであると安全に想定できるが、個々の購入バスケットが同じユーザーのiidであると想定することはおそらく間違っているということです。

ここに私が出会ったいくつかのアイデアがあります、過去にA / Bテストの専門家が同様の指標に出会ったことがありますか？

• 比率のz検定
• ブートストラップとジャックナイフ
• デルタ法
• メトリックを変更する（最後の手段）

https://en.wikipedia.org/wiki/Ratio_estimator

編集-いくつかの説明

この質問の背後にある理由は、この状況で使用されている比率のz検定をよく見たことがあるからです。A / Bテストに使用される一般的なツールは、多くの場合、比率テストにデフォルトで設定され、ビジネスユーザーは、テストが有効であるために必要な基本的な前提条件をチェックすることはほとんどありません。以下の@dnqxtの答えは良い例です：「比例のz検定を使用してください！」-しかし、このような場合にこの検定を使用できる理由（または理由でない）について、厳密な統計的正当化が必要です。

私は個人的に、購入イベントからの売り上げはベルヌーイ試験ではないので、比率のz検定を使用するとうまくいくとは思いません。私は、分母で販売された各ドルが、分子で販売された0または1つ星のアイテムドルをもたらすベルヌーイ裁判と見なすことができるとは言えないと主張します。さらに、ランダム化ユニットはユーザーレベルにあるため、同じユーザーの購入イベントは独立していません（ただし、これは2番目の問題です）。私はここで間違っている可能性があるので、それ以外の場合はこれを証明してください！

メトリックを変更して、カウントを使用してそれを標準に収束するベルヌーイ/二項式にすることもできますが、これは最後の手段です。

• 比率のz検定

  これは、バイナリの結果がある場合の別のケースに適用されます。比率のz検定は、これらのバイナリ結果の比率を比較します。

  （以下では、t検定を実行できるといういくつかの議論が行われます。これは、大きな数の場合、z検定とほぼ同じです。比率を使用すると、2項分布が1つのパラメーターを決定するため、z検定を実行できます。正規分布とは異なり、分散と平均）

• ブートストラップ

  これは可能ですが、観測された統計のエラーをより簡単に提供するDeltaメソッドのため、実際には必要ではありません。

• デルタ法

  2つの、おそらく相関する変数の比率、1。総売上高と2.スターアイテムの売上高に関心があります。

  これらの変数は、多くの個人からの売上の合計であるため、漸近的に正規分布している可能性があります（テスト手順は、個々のユーザーからの売上の分布から個々のユーザーからの売上のサンプルを選ぶようなプロセスと見なすことができます）。したがって、Deltaメソッドを使用できます。

  ここでは、比率の推定にデルタ法を使用する方法について説明します。デルタ方法のこの適用の結果は、実際の近似値と一致ヒンクリーの結果、両者の比の正確な表現は、2つの相関正規確率変数の比で正常に分布変数（ヒンクリーDV、1969、相関Biometricaの体積56 3番）。

  ために $Z = \frac{X}{Y}$ と

  $$\begin{bmatrix}X\\Y\end{bmatrix} \sim N\left(\begin{bmatrix} \mu_x \\ \mu_y \end{bmatrix} , \begin{bmatrix} \sigma_x^2 & \rho \sigma_x \sigma_y \\ \rho \sigma_x \sigma_y & \sigma_y^2 \end{bmatrix} \right)$$ 正確な結果は次のとおりです。 $$f(z) = \frac{b(z)d(z)}{a(z)^3} \frac{1}{\sqrt{2\pi} \sigma_X\sigma_Y} \left[ \Phi \left( \frac{b(z)}{\sqrt{1-\rho^2}a(z)} \right) - \Phi \left( - \frac{b(z)}{\sqrt{1-\rho^2}a(z)} \right) \right] + \frac{\sqrt{1-\rho^2}}{\pi \sigma_X \sigma_Y a(z)^2} \exp \left( -\frac{c}{2(1-\rho^2)}\right)$$ と $$\begin{array}{} a(z) &=& \left( \frac{z^2}{\sigma_X^2} - \frac{2 \rho z}{\sigma_X \sigma_Y} + \frac{1}{\sigma_Y^2} \right) ^{\frac{1}{2}} \\ b(z) &=& \frac{\mu_X z}{ \sigma_X^2} - \frac{\rho (\mu_X+ \mu_Y z)}{ \sigma_X \sigma_Y} + \frac{\mu_Y}{\sigma_Y^2} \\ c &=& \frac{\mu_X^2}{\sigma_Y^2} - \frac{2 \rho \mu_X \mu_Y + }{\sigma_X \sigma_Y} + \frac{\mu_Y^2}{\sigma_Y^2}\\ d(z) &=& \text{exp} \left( \frac {b(z)^2 - c a(z) ^2}{2(1-\rho^2)a(z)^2}\right) \end{array}$$ そして、漸近的な振る舞いに基づく近似は： $\theta_Y/\sigma_Y \to \infty$）： $$F(z) \to \Phi\left( \frac{z - \mu_X/\mu_Y}{\sigma_X \sigma_Y a(z)/\mu_Y} \right)$$ 近似を挿入すると、デルタ法の結果になります $a(z) = a(\mu_X/\mu_Y)$ $$a(z) \sigma_X \sigma_Y /\mu_Y \approx a(\mu_X/\mu_Y) \sigma_X \sigma_Y /\mu_Y = \left( \frac{\mu_X^2\sigma_Y^2}{\mu_Y^4} - \frac{2 \mu_X \sigma_X \sigma_Y}{\mu_Y^3} + \frac{\sigma_X^2}{\mu_Y^2} \right) ^{\frac{1}{2}}$$

  の値 $\mu_X,\mu_Y,\sigma_X,\sigma_Y,\rho$ 単一のユーザーの分散の分散と平均を推定できる観測値から推定でき、これに関連して、複数のユーザーの合計の標本分布の分散と平均を推定できます。

• 指標を変更する

  私は、単一のユーザーからの売上高の分布（比率ではなく）の最初のプロットを行うことは興味深いと思います。最終的にあなたがそこにいることを状況に終わるかもしれないですグループAとBのユーザーとの違いは、それはちょうどあなたが比率の単一の変数を考える際に重要ではないことを起こる（これは、MANOVAはと少し似ているがより強力であること単一の分散分析テストより）。

  あなたがでinterrestedされていることをメトリックに有意差なしのグループ、との差の知識が意思決定を行う際に多くのお手伝いをしていないかもしれないが、それはありませんあなたの基本的な理論を理解する上で、おそらくより良い変更/実験次回の設計を支援します。

図

以下は簡単な図です。

ユーザーからの売上の架空の分布を分数として分布させる $a,b,c,d$ 特定のケースのユーザー数を示します（実際には、この分布はより複雑になります）。

                           star item sales
                         0$              40$ 

other item sales  0$      a               b
                 10$      c               d

次に、1つのアルゴリズムで、10000ユーザーのグループの合計の標本分布

これは、10000回の実行が新しいユーザーを引き、売上と比率を計算していることを示しています。ヒストグラムは比率の分布です。線は、Hinkleyの関数を使用した計算です。

• 2つの合計販売数の分布は、ほぼ多変量正規であることがわかります。比率の等値線は、比率を線形合計として非常に適切に推定できること（前述の/リンクされた線形化デルタ法のように）、およびガウス分布による近似が適切に機能することを示します（その後、t-多数の場合はz検定のようになります。
• このような散布図は、ヒストグラムのみを使用する場合と比較して、より多くの情報と洞察を提供することもわかります。

グラフを計算するためのRコード：

set.seed(1)
#
# 
# function to sampling hypothetic n users 
# which will buy star items and/or regular items
#
#                                star item sales
#                             0$              40$ 
#  
#  regular item sales  0$      a               b
#                     10$      c               d
#
#
sample_users <- function(n,a,b,c,d) {
  # sampling 
  q <- sample(1:4, n, replace=TRUE, prob=c(a,b,c,d))
  # total dolar value of items
  dri = (sum(q==3)+sum(q==4))*10
  dsi = (sum(q==2)+sum(q==4))*40
  # output
  list(dri=dri,dsi=dsi,dti=dri+dsi, q=q)
}


# 
# function for drawing those blocks for the tilted histogram
#
block <- function(phi=0.045+0.001/2, r=100, col=1) {
  if (col == 1) {
    bgs <- rgb(0,0,1,1/4)
    cols <- rgb(0,0,1,1/4)
  } else {
    bgs <- rgb(1,0,0,1/4)
    cols <- rgb(1,0,0,1/4)
  }
  angle <- c(atan(phi+0.001/2),atan(phi+0.001/2),atan(phi-0.001/2),atan(phi-0.001/2))
  rr <- c(90000,90000+r,90000+r,90000)
  x <- cos(angle)*rr
  y <- sin(angle)*rr
  polygon(x,y,col=cols,bg=bgs)
}
block <- Vectorize(block)


#
# function to compute Hinkley's density formula
#
fw <- function(w,mu1,mu2,sig1,sig2,rho) {
  #several parameters
  aw <- sqrt(w^2/sig1^2 - 2*rho*w/(sig1*sig2) + 1/sig2^2)
  bw <- w*mu1/sig1^2 - rho*(mu1+mu2*w)/(sig1*sig2)+ mu2/sig2^2
  c <- mu1^2/sig1^2 - 2 * rho * mu1 * mu2 / (sig1*sig2) + mu2^2/sig2^2
  dw <- exp((bw^2 - c*aw^2)/(2*(1-rho^2)*aw^2))

  # output from Hinkley's density formula
  out <- (bw*dw / ( sqrt(2*pi) * sig1 * sig2 * aw^3)) * (pnorm(bw/aw/sqrt(1-rho^2),0,1) - pnorm(-bw/aw/sqrt(1-rho^2),0,1)) + 
    sqrt(1-rho^2)/(pi*sig1*sig2*aw^2) * exp(-c/(2*(1-rho^2)))

  out
}
fw <- Vectorize(fw)

#
# function to compute
# theoretic distribution for sample with parameters (a,b,c,d)
# lazy way to compute the mean and variance of the theoretic distribution
fwusers <- function(na,nb,nc,nd,n=10000) {
  users <- c(rep(1,na),rep(2,nb),rep(3,nc),rep(4,nd))
  dsi <- c(0,40,0,40)[users]
  dri <- c(0,0,10,10)[users]
  dti <- dsi+dri

  sig1 <- sqrt(var(dsi))*sqrt(n)
  sig2 <- sqrt(var(dti))*sqrt(n)
  cor <- cor(dti,dsi)
  mu1 <- mean(dsi)*n
  mu2 <- mean(dti)*n

  w <- seq(0,1,0.001)
  f <- fw(w,mu1,mu2,sig1,sig2,cor)
  list(w=w,f=f,sig1 = sig1, sig2=sig2, cor = cor, mu1= mu1, mu2 = mu2)
}


# sample many ntr time to display sample distribution of experiment outcome
ntr <- 10^4

# sample A
dsi1 <- rep(0,ntr)
dti1 <- rep(0,ntr)
for (i in 1:ntr) {
  users <- sample_users(10000,0.19,0.001,0.8,0.009)
  dsi1[i] <- users$dsi
  dti1[i] <- users$dti
}

# sample B
dsi2 <- rep(0,ntr)
dti2 <- rep(0,ntr)
for (i in 1:ntr) {
  users <- sample_users(10000,0.19-0.02,0.001,0.8+0.02,0.009)
  dsi2[i] <- users$dsi
  dti2[i] <- users$dti
}


# hiostograms for ratio
ratio1 <- dsi1/dti1
ratio2 <- dsi2/dti2
h1<-hist(ratio1, breaks = seq(0, round(max(ratio2+0.04),2), 0.001))
h2<-hist(ratio2, breaks = seq(0, round(max(ratio2+0.04),2), 0.001))

# plotting

plot(0, 0, 
     xlab = "sum of total sales", ylab = "sum of star item sales",
     xlim = c(82000,92000),
     ylim = c(2500,6000), 
     pch=21, col = rgb(0,0,1,1/10), bg = rgb(0,0,1,1/10))
title("sample distribution for sum of 10 000 users")

# isolines
brks <- seq(0, round(max(ratio2+0.02),2), 0.001)
for (ls in 1:length(brks)) {
  col=rgb(0,0,0,0.25+0.25*(ls%%5==1))
  lines(c(0,10000000),c(0,10000000)*brks[ls],lty=2,col=col)
}

# scatter points
points(dti1, dsi1,
       pch=21, col = rgb(0,0,1,1/10), bg = rgb(0,0,1,1/10))
points(dti2, dsi2,
       pch=21, col = rgb(1,0,0,1/10), bg = rgb(1,0,0,1/10))

# diagonal axis
phi <- atan(h1$breaks)
r <- 90000
lines(cos(phi)*r,sin(phi)*r,col=1)

# histograms
phi <- h1$mids
r <- h1$density*10
block(phi,r,col=1)

phi <- h2$mids
r <- h2$density*10
block(phi,r,col=2)

# labels for histogram axis
phi <- atan(h1$breaks)[1+10*c(1:7)]
r <- 90000
text(cos(phi)*r-130,sin(phi)*r,h1$breaks[1+10*c(1:7)],srt=-87.5,cex=0.9)
text(cos(atan(0.045))*r-400,sin(atan(0.045))*r,"ratio of sum of star items and sum of total items", srt=-87.5,cex=0.9)

# plotting functions for Hinkley densities using variance and means estimated from theoretic samples distribution
wf1 <- fwusers(190,1,800,9,10000)
wf2 <- fwusers(170,1,820,9,10000)
rf1 <- 90000+10*wf1$f
phi1 <- atan(wf1$w)
lines(cos(phi1)*rf1,sin(phi1)*rf1,col=4)
rf2 <- 90000+10*wf2$f
phi2 <- atan(wf2$w)
lines(cos(phi2)*rf2,sin(phi2)*rf2,col=2)

説明されているのは、ユーザーとアイテム（ここで購入）の間に依存関係があるA / B実験の古典的なケースです。これを考慮に入れる必要があります。そうしないと、関連する分散の推定に偏りが生じます。これに対処するには、ユーザー/アイテムのクラスターを考慮してブートストラップするか、混合モデルを使用して完全にパラメトリックにします。Bakshy＆Ecklesによる論文（2013）依存データを使用したオンライン実験の不確実性：ブートストラップ手法の評価は、オンラインA / Bテストに焦点を当てたその問題に関する非常に貴重なリファレンスです。

物事をより詳細に検討すると、ある意味では、B＆Eペーパーはオーエン（2007）のペーパーピジョンホールブートストラップの拡張ユースケースです。同様に、混合効果アプローチは、Bayeen et al。による超古典的な論文に基づいています。（2009）主題と項目の交差ランダム効果を伴う混合効果モデリング。

あなたが言及するメソッドで簡単にコメントするには： $z$-比率のテストは単純化しすぎています。それはIIDを想定し、B＆E論文が提示するように、その想定は非常に誤解を招く可能性があります。データの構造を無視すると、同じ制限がブートストラップにも適用されます。デルタ法について：正常性やノイズの多いデータからの逸脱は通常、ブートストラップアプローチと比較してデルタ法を次善のものにします（たとえば、Hole 2007 喜んで支払う意欲の信頼区間を推定するアプローチの比較）が、最近のいくつかの論文（例：Deng et al.2017オンラインA / Bテストの信頼できる分析：落とし穴、課題、解決策、Deng et al.2018メトリック分析でのデルタ法の適用：新しいアイデアを含む実用的なガイド）有望に思われる; 平均的な治療効果は正常であるという暗黙の仮定があることに注意してください。最後に、メトリックの変更も妥当な場合には優れたアイデアです。メトリックがすでに存在しているという理由だけで、数学的に一貫性のある変更を推進することを恐れるべきではありません。

結論：上記で引用したすべての論文に包括的な体系がある場合、分析の単位と無作為化の単位を研究の質問と一致させる必要があります。

非常に単純なアプローチは、置換テストを使用することです。これは配布フリーのテストなので、配布について心配する必要はありません。

アイデアは簡単です。ラベルをランダムにシャッフルし、関心のあるメトリックの測定された差が実際のデータから得られた差よりも大きい回数を数えます。あなたが得る比率はあなたのp値です。

なぜ機能するのですか？まあ、帰無仮説がTrueの場合、ラベルをランダムにシャッフルすると（つまり、グループAまたはBにあると）、測定した値よりも優れた値が得られることがよくあります。ただし、推奨アルゴリズムが機能する場合、ランダムにシャッフルしても、得られた結果よりも良い結果が得られることはめったにありません。

ブートストラップを使用して、AグループとBグループの両方のメトリックの信頼区間を取得することもできます。この2つは、ディストリビューションでの仮定なしに許可されます。これは、（CI間隔が交差しなくても）統計テストと同等ではありませんが、「バー+エラー」バーの視覚的な側面は、チームにとって興味深いものになります。

私は非常によく似た質問に答えました（あなたが本当に私を見つけた場所です）。結果がバイナリでない場合、2つの比率の違いをテストする方法は？。私が提案したコードはここにも当てはまると思います。

p1 <- sum(sales_data[target_control==1,"final_value"])/sum(sales_data[target_control==1,"initial_value"])
p2 <- sum(sales_data[target_control==0,"final_value"])/sum(sales_data[target_control==0,"initial_value"])
yourGap<-abs(p1-p2)
L<-sales_data["target_control"]==1
LfilterOnlyBuyers<-sales_data["sale_success"]==1

count=0
for ( i in 1:10000) {
  Lperm=sample(L)
  p1_perm <- sum(sales_data[Lperm,"final_value"])/sum(sales_data[Lperm & LfilterOnlyBuyers,"initial_value"])
  p2_perm <- sum(sales_data[!Lperm,"final_value"])/sum(sales_data[!Lperm & LfilterOnlyBuyers,"initial_value"])
  if (abs(p1_perm-p2_perm)>=yourGap) {
    count=count+1
  }
}
pvalue=count/10000

このシナリオでは、ブートストラップ信頼区間が私のテクニックの選択になります。私が使用できるいくつかの例の選択番号とアプローチの背後にある理由を使用してアプローチを概説したいと思います：

1. 2つのポット/バッグがあり、各バッグにはコントロールグループとバリアントグループの人々が含まれています。 $U_{ctr}$ そして $U_{var}$ それぞれのサイズで $N_{ctr}$ そして $N_{var}$。表記を少し変更しましたが、大丈夫です。
2. ランダムなサンプルを選択します $k$両方のグループの人が交代で。両方の人口が「十分に大きい」（たとえば、少なくとも2000人のユーザー）場合は、次を選択できます。$k\leq N_{ctr}$ そして $k \leq N_{var}$。経験則：私は通常、$k = \frac{min(N_{ctr},N_{var})}{5}$より柔軟な結果を得るには、ほとんどのバギング（ブートストラップ集約）アルゴリズムで、デフォルトのオプションは母集団全体からサンプリングします。人口が少ない場合でもそれは可能ですが、「十分に大きい」を選択してください。$k$（少なくとも400ユーザーと言います）。それらに注意するとしましょう$SU_{ctr}$ そして $SU_{var}$ サイズの両方 $k$
3. 各グループの各ユーザーが元のトランザクションを見て行ったすべてのトランザクションを取得することにより、メトリックを計算します $T$ の各ユーザーのトランザクションデータセット $SU_{ctr}$ そして $SU_{var}$。あなたはそれから終わります$Metric_{ctr1}$ そして $Metric_{ctr2}$。これらの値を保存します。重要なお知らせ：これらの値は、スターアイテムの総売上を合計し、総売上で除算して計算する必要があります。一人一人の個々の販売バスケットの平均をとらないでください。これはあなたが見ているメトリックであるため、これは非常に重要です。
4. ポイント2に戻り、繰り返します。ブートストラップサンプルの最適な数$B$、選択できるかどうかは多くの要因に依存しますが、経験則としては約1000倍になります。
5. あなたは今持っています $B$ 数の $Metric_{ctr}$ そして同じ $Metric_{var}$。通常の手法の多くを使用して、平均を比較することができます。私は個人的に信頼区間を構築し、それらが重複するか、独立したサンプルのt検定かを確認し、いくつかのヒストグラム/密度プロットとボックスプロットで分析を完了します。

主題外の個人的意見：可能な場合は常に、ディストリビューションなどのことを常に選択するようにしてください。今日、私たちはそうする力を持っています。上記のテストはまったく問題ありませんが、うまくいかない場合があります。例えばあなたが選ぶなら$B$ 1000000などの非常に高い値である場合、平均間の最小の差でさえ、有意としてフラグが立てられる可能性が高くなります。

根本的な分布がどのようなものであっても、中心極限定理は、 $B$両方とも、十分に大きい手段のは、$Metric_{var}$ そして $Metric_{ctr}$サンプル全体が正規分布し、テストが有効になります。あなたはビジュアルからもそれを目撃します。さまざまなユーザーの支出などの根本的な分布に関する懸念は、CLTによって対処されます。

私の前にはたくさんの参考文献とユーザーによる良い読み物があります。さらに、あなたがそれを調べることができる上記の最適な例の数について行われた多くの研究があります。ロバストなアプローチの概要を、より経験的で理解しやすいものにしたかっただけです。まず、上記の例の番号を変更して、状況が変化するかどうかを確認します。