3つのグループ間の比率を比較するために使用するテストはどれですか？

メールマーケティングキャンペーンをテストしています。最初のテストでは、2つの異なる種類の電子メールを送信し、電子メールを受信しない3番目のコントロールグループを用意しました。現在、アプリに戻ったユーザーの割合として「結果」が返されています。結果は次のとおりです。

Group | received e-mail | returned | %-returned
A | 16,895 | 934 | 5.53%
B | 17,530 | 717 | 4.09%
C | 42408 | 1618 | 3.82%

グループAは実際にはBやCよりも優れているようですが、これを示す適切なテストは何ですか？

hypothesis-testing binomial multiple-comparisons

— thecity2
ソース

成功確率

n

$n$ 独立した結果を含む二項実験における比率の標準偏差は

ことを思い出してください

p

$p$

\sqrt{p (1 - p) / n}

$\sqrt{p(1-p)/n}$

p

$p$

0.18

$0.18$

0.15

$0.15$

0.09

$0.09$

5.53

$5.53$

max (4.09, 3.82)

$\max(4.09, 3.82)$

1.44

$1.44$

@whuber簡単なフォローアップ質問です。この場合、通常の近似を行うことができますが、％がさらに小さい場合はどうなるか、たとえば<1％とします。その場合、どのようなテストが理にかなっていますか？

— thecity2 2013

良い質問。重要なのはパーセンテージではなく、実際のカウントです。これらのカウント（またはその補数- 受け取られなかった数）が約30以下になるまで心配しないでください（結果がどれほど明確であるかに応じて、5のカウントでも問題ない場合があります）。パーセントとカウントの両方が低い場合、ポアソン近似は優れているため、@ gungが推奨するように、ロジスティック回帰を検討する必要があります。それも良い一般的なアプローチです。

— whuber

回答:

このようなテーブルでは、ORを計算したり、ロジスティック回帰を実行したりするのではなく、G検定によって生成されたG統計を分割できます。それをどのように分割するかを決定する必要がありますが。ここで、ピアソンのX ^ 2に似ており、X ^ 2分布に従うG統計は次のとおりです。

G = 2 * sum（OBS * ln（OBS / EXP））。

最初に、テーブル全体（この場合：G = 76.42）を2 dfで計算します。これは非常に重要です（p <0.0001）。つまり、返品率はグループ（A、B、またはC）に依存します。

次に、2つのdfがあるため、2つの小さい1 df（2x2）G検定を実行できます。ただし、最初のテストを実行した後、最初のテストで使用した2つのレベルの行を折りたたみ、それらの値を使用して3番目のレベルに対してテストする必要があります。ここで、まずBをCに対してテストするとします。

Obs   Rec    Ret    Total
B   17530    717    18247
C   42408   1618    44026

Exp     Rec    Ret  Total
B   17562.8  684.2  18247
C   42375.2 1650.8  44026

これにより、1 dfで2.29のG統計が生成されますが、これは重要ではありません（p = 0.1300）。次に、行BとCを組み合わせて新しいテーブルを作成します。次に、AをB + Cに対してテストします。

Obs   Rec    Ret    Total
A   16895    934    17829
B+C 59938   2335    62273

Exp     Rec    Ret  Total
A   17101.4  727.6  17829
B+C 59731.6 2541.4  62273

これにより、1 dfで74.13のG統計が生成されます。これも非常に重要です（p <0.0001）。

2つの小さいテスト統計を追加することにより、作業を確認できます。これは、大きいテスト統計と等しくなるはずです。2.29 + 74.13 = 76.42

ここでの話は、BとCのグループに大きな違いはないが、グループAの方がBとCを組み合わせた場合よりも返品率が高いということです。

お役に立てば幸いです。

最初にAをBに比較し、次にCをA + Bに比較するか、AをCに比較してからBをA + Cに比較することで、G統計を異なる方法で分割することもできます。さらに、これを4つ以上のグループに拡張できますが、各テストの後に、テストした2つの行を折りたたむ必要があります。テストの最大数は、元のテーブルのdfと同じです。より複雑なテーブルで分割する他の方法があります。Agrestiの本「Categorical Data Analysis」には詳細が含まれているはずです。具体的には、双方向の分割表の推論に関する彼の章。

— jww
ソース

グループAとBの間、BとCの間、およびAとCの間のオッズ（またはリスク）比を単純に計算し、それらが統計的に異なるかどうかを確認します。この場合、グループが3つしかないため、「オムニバス」比率テストを実行する理由はわかりません。3つのカイ2乗検定でもトリックを実行できます。

一部の個人が以下のコメントで概説しているように、計画された対比を使用したロジスティック回帰もうまく機能します。

— Behacad
ソース

ここには潜在的な多重比較の問題があります。BとCの2つのダミーコードでロジスティック回帰を行うだけではどうですか。

— ガン-モニカの回復

はい、確かに、3つの比較がある場合、複数の比較の問題はごくわずかです。

— Behacad 2013

@gungはいくつかの良い点を作ります。ロジスティック回帰は最も単純なアプローチです。カイ2乗検定アプローチを行っている場合は、2グループ比較を行う前に（3x2テーブルの分割表の）オムニバステストをほぼ間違いなく開始します（ただし、これはこのインスタンスに当てはまるロジスティック回帰モデルの「全体的な」重要性に対応します。）

— James Stanley

この提案（およびWikipedia）を使用して、A / BおよびA / Cのログオッズの95％CIは0と重複せず、B / Cのログオッズ比は0と重複していることがわかりました。 AがB＆Cと大幅に異なることを意味しますか？

— thecity2 2013

@ Behacad、3つの比較のみの場合、あなたは正しいです。複数の比較の問題はそれほど深刻ではありませんが、私はまだLRモデルで開始します。理想的には、計画された比較がそれに続くでしょう。

— ガン-モニカの回復