順列検定で0に等しいP値

2つのデータセットがあり、それらが大幅に異なるかどうかを知りたい（これは、「2つのグループは大幅に異なる？使用するテスト」から得られます）。

私は置換テストを使用して、Rで次のことを行うことにしました。

permutation.test <- function(coding, lncrna) {
    coding <- coding[,1] # dataset1
    lncrna <- lncrna[,1] # dataset2

    ### Under null hyphotesis, both datasets would be the same. So:
    d <- c(coding, lncrna)

    # Observed difference
    diff.observed = mean(coding) - mean(lncrna)
    number_of_permutations = 5000
    diff.random = NULL

    for (i in 1:number_of_permutations) {
        # Sample from the combined dataset
        a.random = sample (d, length(coding), TRUE)
        b.random = sample (d, length(lncrna), TRUE)
        # Null (permuated) difference
        diff.random[i] = mean(b.random) - mean(a.random)
    }

    # P-value is the fraction of how many times the permuted difference is equal or more extreme than the observed difference
    pvalue = sum(abs(diff.random) >= abs(diff.observed)) / number_of_permutations
    pvalue
}

それにもかかわらず、このペーパーによると、p値は0であってはなりません：http : //www.statsci.org/smyth/pubs/permp.pdf

何をすすめますか？p値を計算するのはこの方法ですか？

pvalue = sum(abs(diff.random) >= abs(diff.observed)) / number_of_permutations

良い方法？または、次のことを行う方が良いですか？

pvalue = sum(abs(diff.random) >= abs(diff.observed)) + 1 / number_of_permutations + 1

討論

順列検定は、データセットのすべての関連する順列を生成し、そのような順列ごとに指定された検定統計量を計算し、統計の結果の順列分布のコンテキストで実際の検定統計量を評価します。それを評価する一般的な方法は、実際の統計よりも（ある意味では）「極端に」または「より極端な」統計の割合を報告することです。これはしばしば「p値」と呼ばれます。

実際のデータセットはこれらの順列の1つであるため、その統計は必然的に順列分布内にあるものの1つになります。したがって、p値がゼロになることはありません。

データセットが非常に小さい場合（通常、合計数が約20〜30未満）、または検定統計量が特に優れた数学的形式である場合を除き、すべての順列を生成することは実用的ではありません。（すべての順列が生成される例は、Rの順列テストにあります。）したがって、順列テストのコンピューター実装は、通常、順列分布からサンプリングします。彼らは、いくつかの独立したランダムな順列を生成することにより、結果がすべての順列の代表的なサンプルであることを望んでいます。

したがって、このようなサンプルから導出された数値（「p値」など）は、順列分布の特性の推定量にすぎません。推定 p値がゼロになることは非常に可能です（そして、効果が大きい場合にしばしば起こります）。それには何の問題もありませんが、推定されたp値が正しい値とどれだけ異なる可能性があるかという、これまで無視されてきた問題がすぐに生じます。 割合のサンプリング分布（推定p値など）は二項分布であるため、この不確実性は二項信頼区間で対処できます。

建築

よく構築された実装は、あらゆる点で議論に密接に従います。 これは、2つのグループの平均を比較するために、検定統計量を計算するルーチンから始まります。

diff.means <- function(control, treatment) mean(treatment) - mean(control)

データセットのランダム置換を生成する別のルーチンを作成し、検定統計量を適用します。これへのインターフェースにより、呼び出し側はテスト統計を引数として提供できます。m配列の最初の要素（参照グループと推定される）を残りの要素（「治療」グループ）と比較します。

f <- function(..., sample, m, statistic) {
  s <- sample(sample)
  statistic(s[1:m], s[-(1:m)])
}

順列検定は、最初に実際のデータ（ここでは2つの配列controlとに格納されると仮定treatment）の統計値を見つけ、次にその多くの独立したランダムな順列の統計値を見つけることによって実行されます。

z <- stat(control, treatment) # Test statistic for the observed data
sim<- sapply(1:1e4, f, sample=c(control,treatment), m=length(control), statistic=diff.means)

次に、p値の二項推定値とその信頼区間を計算します。1つの方法ではbinconf、HMiscパッケージの組み込みプロシージャを使用します。

require(Hmisc)                                    # Exports `binconf`
k <- sum(abs(sim) >= abs(z))                      # Two-tailed test
zapsmall(binconf(k, length(sim), method='exact')) # 95% CI by default

結果を別のテストと比較することは悪い考えではありません。たとえそれがまったく当てはまらないことがわかっているとしても、少なくとも結果がどこにあるべきかについて一桁の感覚を得るかもしれません。（平均を比較する）この例では、スチューデントのt検定は通常とにかく良い結果を与えます：

t.test(treatment, control)

このアーキテクチャーはR、変数が同じ分布に従うかどうかのテストで、より複雑な状況で、動作するコードで説明されています。

例

$10$$0$$20$$1.5$

set.seed(17)
control <- rnorm(10)
treatment <- rnorm(20, 1.5)

上記のコードを使用して置換テストを実行した後、実際の統計をマークするために、置換分布のサンプルと赤い垂直線をプロットしました。

h <- hist(c(z, sim), plot=FALSE)
hist(sim, breaks=h$breaks)
abline(v = stat(control, treatment), col="Red")

二項信頼限界の計算の結果

 PointEst Lower        Upper
        0     0 0.0003688199

$0$$0.00037$3.16e-05$0.00037$$0.00037$$0.05$$0.01$$0.001$

コメント

$k$$N$ $k/N$$(k+1)/(N+1)$$N$

$10$$10^2=100$$0.000005$$1.6$$11.7$100万分の1：報告されているスチューデントのt検定よりも少し小さい。データはスチューデントt検定を使用して正当化される通常の乱数ジェネレーターで生成されましたが、順列テストの結果は、観測の各グループ内の分布が完全に正規ではないため、スチューデントt検定の結果とは異なります。

$\frac{B}{M}$$\frac{B+1}{M+1}$）は有効な（しかし控えめな）p値推定量です。nullが過剰に拒否されることはありません。

（Bは、観測された統計値以上の統計が得られるランダムな順列の数であり、Mはサンプリングされたランダムな順列の総数です）。

$\frac{B}{M}$