ペアのブートストラップでp値を計算する

私は、バークレーNLPグループからの統計的テストに関する新しい論文「NLP における統計的有意性の実証的調査」に出くわしました。

論文にはp値を計算するための疑似コードがあり、基本的には、のサンプルセットは、データからの置換でサンプリングされます。その後 $x_1,x_2,...,x_N$ $x$

$\text{p-value} = \text{count}(\delta(x_i) > 2\delta(x))/N$ 、ここではメトリックゲインです。 $\delta(x_i)$

ケーンの論文「機械翻訳評価のための統計的有意性検定」のp値を計算する式を理解できました。

$\text{p-value} = \text{count}(\delta_a(x_i) < \delta_b(x_i))/N$ 、ここでとはそれぞれシステムとシステムメトリックゲインです。 $\delta_a$ $\delta_b$ $a$ $b$

式のための任意の説明または参照ある。著者は、の平均があり、が対称である場合、上記の両方の式は同等であることにも言及しました。 $\text{p-value} = \text{count}(\delta(x_i) > 2\delta(x))/N$ $\delta(x_i)$ $\delta(x)$ $\delta(x_i)$

hypothesis-testing bootstrap p-value

— ケトラン
ソース

セクション2を見てもわかる限り、著者はブートストラップテストの根拠を次のように説明しているようです。

"はからサンプリングされたため、それらの平均は、帰無仮説の要求のようにゼロにはなりません。代わりに、平均は約ます...解は、平均–私たちは、がよりも期待よりも良い頻度を知りたいと思っています。によってを上回ると予想します。したがって、を破っている少なくとも。 " $x_i$ $x$ $\delta(x_i)$ $\delta(x)$ $A$ $\delta(x)$ $B$ $\delta(x)$ $x_i$ $A$ $B$ $\delta(x)$

著者はゲインがゼロでないかどうかをテストしたいので、p値をとして書き込みます。これはとして書き直すことができます。 ; なぜならの不等式の右辺は、次になるである、それらは拒否しようとしました。 $\delta(x_i) < 2\delta(x)$ $0 < 2\delta(x) - \delta(x_i)$ $E[\delta(x_i)]=\delta(x)$ $\delta(x)$ $H_0$

— サミアー
ソース