順列ベースのp値に必要な順列の数

有意水準順列ベースの値を計算する必要がある場合$p$$\alpha$、いくつの順列が必要ですか？

5ページの記事「分類子のパフォーマンスを研究するための順列テスト」から：

実際には、上限は通常、テストの望ましい精度を達成するために必要なサンプル数を決定するために使用されます。$1/(2\sqrt{k})$

...ここで、は順列の数です。$k$

この式から必要な順列の数を計算するにはどうすればよいですか？

私は認めます、段落は混乱するかもしれません。

順列検定を実行するときは、p値を推定します。問題は、p値の推定自体にとして計算されるエラーがあることです。$\sqrt{\frac{p(1-p)}{k}}$

それで、信頼できる推定値を得るためにいくつの置換kが必要ですか？

$P$$[p-3*P,p+3*P]$

上限を使用する

$\frac{1}{2\sqrt{k}}$$\sqrt{\frac{p(1-p)}{k}}$

$\frac{1}{2\sqrt{k}}\le P$

$\frac{1}{4P^2}\le k$

しかし、引用された式は上限を表すため、このアプローチは非常に大雑把です。

有意水準での誤差の使用

$\alpha$

この場合、を知りたい$\sqrt{\frac{\alpha(1-\alpha)}{k}}\le P$

$\frac{(\alpha(1-\alpha))}{P^2}\le k$

$\alpha$$[p-3*P,p+3*P]$

信頼区間の拡張

このアプローチは、信頼区間の中心が決定しきい値で正しいことに対応しています。推定されたpの信頼区間の上限を決定しきい値（より正確です）未満にするためには、...

$l\sqrt{\frac{\alpha(1-\alpha)}{k}}\le P$

$(l)^2\frac{(\alpha(1-\alpha))}{P^2}\le k$

ここで、lは対応します（もう一度グラフィックを参照してください）

| l | confidence interval |
| 1 | ~68 % |
| 2 | ~95 % |
| 3 | ~99 % |

例： 希望する精度Pを0.005とします。

$k>=10000$

$\alpha=0.05$$k>=7600$

$\alpha=0.01$

最後に、モンテカルロシミュレーションについてさらに詳しく説明することを強くお勧めします。ウィキペディアがスタートです。