二項効果サイズ表示（BESD）は、効果サイズの誤解を招く表現ですか？

ドナルド・ルービンが技術の真のレモンを思いつくことを私が受け入れるのは難しいです。しかし、それはBESD [の私の認識だ1、2、3 ]。

RosenthalとRubin（1982）による元の論文は、「元のデータが連続的であるかカテゴリであるかにかかわらず、製品とモーメントの相関をこのような[2x2]表示に再キャストする方法」を示すことに価値があると主張しました。

下の表はpからのものです。上記の2番目のリンクの451：

この手法は、ほとんどすべてのエフェクトサイズの大きさを誇張しているようです。ここでは、元のデータの = .01ですが、2x2の分割表に「変換」すると、はるかに強い影響に直面するようです。この方法でデータをカテゴリカル形式に再キャストすると、 indeed = .1 になることは否定しませんが、翻訳で何かが非常に歪んでいるように感じます。$R^2$$\phi$

ここで本当に価値のあるものを見逃していますか？また、過去10年ほどの間に、統計コミュニティはこれを正当な方法として概して拒否しているとの印象を持っています。

実験（）と制御（）の成功率（）をそれぞれ計算する方程式は、単純です。$E$$C$$sr$

$E_{sr} = .50 + r/2$

そして

$C_{sr} = .50 - r/2$

参照：

Rosenthal、R.＆Rubin、DB（1982）。実験効果の大きさの単純な汎用表示。Journal of Educational Psychology、74、166–169。

私はそれが偏っている（私は思う）ことを示すことができますが、理由を説明することはできません。私は誰かが私の答えを見て、それをさらに説明するのを助けることを望んでいます。

多くのメタ分析や投稿した画像と同様に、多くの人がBESDを次のように解釈します。両方の変数の中央値を分割すると、2 x 2の分割表の「右」のセルに、時間。

したがって、場合、「これがであるとすると、次のように考えることができます。Xの中央値より上の人は、70％の時間でYの中央値より上になります。 」これは、Kraus（1995、p。69）がそれを解釈する方法です（彼は、一方の変数が真に二分であり、他方の変数が中央値分割であるという架空の状況に依存しています）。$.50 + r/2 = .70$$r$

人々はしばしば医療のメタファーも使用しています。「このは、コントロール状態と実験状態の人々の間の40パーセントポイントの差に対応します。」$r$

メジアンスプリットエスク解釈に偏りがあるかどうかを確認するために、真の母集団である1,000,000ケースの母集団をシミュレーションしました。次に、この母集団から100人を抽出し、BESDの「正しい率」（つまり、）を計算し、2 x 2分割表の実際の中央分割セルを計算しました。人々は「正しく」。これを1万回しました。$r = .38$$.50 + r/2$

次に、長さ10,000のこれらの各ベクトルの平均と標準偏差を取得しました。コード：

library(MASS)
# set population params
mu <- rep(0,2)
Sigma <- matrix(.38, nrow=2, ncol=2) + diag(2)*.62
# set seed
set.seed(1839)
# generate population
pop <- as.data.frame(mvrnorm(n=1000000, mu=mu, Sigma=Sigma))
# initialize vectors
besd_correct <- c()
actual_correct <- c()
# actually break up raw data by median split, see how it works
for (i in 1:10000) {
  samp <- pop[sample(1:1000000, 100),]
  besd_correct[i] <- round(100*(.50 + cor(samp)[1,2]/2),0)
  samp$V1_split <- ifelse(samp$V1 > median(samp$V1), 1, 0)
  samp$V2_split <- ifelse(samp$V2 > median(samp$V2), 1, 0)
  actual_correct[i] <- with(samp, table(V1_split==V2_split))[[2]]
}
# cells for BESD
mean(besd_correct)
100 - mean(besd_correct)
# cells for actual 2 x 2 table with median split
mean(actual_correct)
100 - mean(actual_correct)

BESDに基づいて、次の表を取得します。ここでv1、v2変数lowをhigh参照し、中央値の下および上をそれぞれ参照します。

+---------+--------+---------+
|         | v2 low | v2 high |
+---------+--------+---------+
| v1 low  | 69     | 31      |
+---------+--------+---------+
| v1 high | 31     | 69      |
+---------+--------+---------+

生データで中央分割を実際に行うことに基づいて、次の表を取得します。

+---------+--------+---------+
|         | v2 low | v2 high |
+---------+--------+---------+
| v1 low  | 62     | 38      |
+---------+--------+---------+
| v1 high | 38     | 62      |
+---------+--------+---------+

したがって、BESDを使用して、「コントロールと実験で38パーセントポイントの差」があると誰かが主張する可能性がありますが、実際の中央値の分割は24です。

これが発生する理由がわからない場合、またはサンプルサイズと相関関係に依存している場合は（より多くのシミュレーションを実行して簡単に理解できる可能性があります）、これはバイアスがかかっていることを示していると思います。誰かが計算ではなく数学的説明を取り入れてくれるといいのですが。

マークホワイトの直観は正しくありません。BESDは中央分離を実際にモデル化していません。中央値の分割は、実際の統計情報の損失に関連しています-関係を体系的に減衰させます（http://psycnet.apa.org/record/1990-24322-001を参照））、これが中央分割値がBESDよりも低い精度を示す理由です。BESDは、変数が中央分割によって人為的に二分されたのではなく、真に二分であるかのように、分類の正確さを実証しています。これを確認するには、中央分割データの相関を計算します。元の変数の相関よりも小さいことがわかります。変数が元々バイナリであった場合、2つの方法は一致します。その性質上、BESDは変数を本当にバイナリであるかのように表示しています。連続変数に使用する場合、これは必ず抽象化を表します。実際には「成功」と「失敗」または「治療」と「制御」グループはありませんが、

BESDはバイアスされていません。2つのバイナリ変数を扱っている場合、特定の処理が分類精度に与える影響を正確に反映します。これは、メジャーまたは処理の潜在的な実用的価値を示すための有用な表示であり、そうです、統計を説明する分散が小さい効果でさえ、非常に重要である可能性があることを示しています。BESDは心理学および組織の実践的実践で広く使用されており、他の実際的な効果サイズの表示と強く一致します（たとえば、有効性相関がr = .25のメジャーを使用してグループをトップダウンで選択すると、.25になります。 SDは、選択されたグループと選択されていないグループの間で結果のパフォーマンスが向上します。

二乗演算は非線形であるため、統計の分散は一貫して誤解の原因となり、変数関係のサイズを過小評価します。多くの応用方法学者（例：https://us.sagepub.com/en-us/nam/methods-of-meta-analysis/book240589）は、平方根（より正確に効果）。