ここに1を追加するこのトリックは何ですか？

Lilleforsテストのモンテカルロ実装についてこのページを見ていました。私はこの文章を理解していません：

シミュレーションからのこの計算にはランダムなエラーがあります。ただし、P値を計算するときに分子と分母に1を追加するトリックのため、ランダム性に関係なくそのまま使用できます。

分子と分母に1を追加するトリックとはどういう意味ですか？

関連するコードは次のとおりです。

n <- length(x)
nsim <- 4999
d.star <- double(nsim)
for (i in 1:nsim) {
    x.star <- rnorm(n)
    d.star[i] <- fred(x.star)
}
hist(d.star)
abline(v = d.hat, lty = 2)
## simulation-derived P-value
pval <- (sum(d.star > d.hat) + 1) / (nsim + 1)

monte-carlo lilliefors

— アクサカル
ソース

ここに関連するコンテキストを追加できますか？

— ガン-モニカの回復

確率のモンテカルロ推定量のラプラス平滑化のように見えます。これにより、1/2に縮小されます。@Timが指摘したように、主な効果はおそらくp値が0にならないようにすることです（ただし、シミュレーションを行わない限り、彼が言ったように0で割るリスクはありません）。ただし、これによって「ランダム性に関係なく」使用できる理由はわかりません。

— Dougal

ガイアに直接書いて、文章の意味を尋ねましたか？

— Alexis

@アレクシス、いや、それは良い考えです。

— Aksakal、2015年

@Dougal、はい、それはラプラス平滑化のように見えます。彼がなぜそれをここに適用しているのかは明らかではない。

— Aksakal、2015年

回答:

参照ページの説明は

$\Pr(P \le k / n_\text{sim})$ $k / n_\text{sim}$

これを理解するには、重要な行（かなり省略されている）のコードを調べる必要があります。

fred <- function(x) {ks.test(...)$statistic}  # Apply a statistical test to an array
d.hat <- fred(x)                              # Apply the test to the data
d.star <- apply(matrix(rnorm(n*nsim), n, nsim),
                2, fred)                      # Apply the test to nsim simulated datasets
pval <- (sum(d.star > d.hat) + 1) / (nsim + 1)# Estimate a simulation p-value

顕著な問題は、コードが引用と一致しないことです。 どうすればそれらを調整できますか？1つの試みは引用の後半から始まります。この手順は、次のステップで構成されていると解釈する場合があります。

確率法則に従って独立して同一に分散されたデータ収集します。テストプロシージャ（コードにとして実装）を適用して、数値ます。 $X_1, X_2, \ldots, X_n$ $G$ $t$ fred $T_0=t(X_1, \ldots, X_n)$
生成介してコンピュータ匹敵するデータセット、サイズの各確率法に帰無仮説によれば、。そのような各データセットにを適用して、数値ます。 $N=n_\text{sim}$ $n$ $F$ $t$ $N$ $T_1,T_2,\ldots,T_N$
計算
$P = (\sum_{i = 1}^{N} I (T_{i} > T_{0}) + 1) / (N + 1) .$ $P = \left(\sum_{i=1}^N I(T_i \gt T_0) + 1\right) / (N+1).$
（「」ベクトル値を比較することによって実現さインジケータ関数であるコードである。）右辺は、によってランダムであると理解される同時のランダム（実際の検定統計量）とのランダム（シミュレートされたテスト統計）。 $I$ d.star > d.hat $T_0$ $T_i$

データが帰無仮説に一致するとは、と断言することです。テストサイズ、ます。 両側を乗算すると減算チャンスそのことを示す任意の数のせいぜい可能性であるの超えない。これは単に、がすべてのテスト統計のソートされたセットの上位内にあることをます。以来（構造上） $F=G$ $\alpha$ $0 \lt \alpha \lt 1$ $N+1$ $1$ $P\le \alpha$ $\alpha$ $(N+1)\alpha - 1$ $T_i$ $T_0$ $T_0$ $(N+1)\alpha$ $N+1$ $T_0$ すべてのから独立していますが連続分布の場合、このチャンスは整数部分表される合計の割合になります。つまり、あり、提供された値は整数です。つまり、です。 $T_i$ $F$ $\lfloor (N+1)\alpha\rfloor$

Pr (P \leq α) = \frac{⌊ (N + 1) α ⌋}{N + 1} \approx α

$\Pr(P\le \alpha)=\frac{\lfloor(N+1)\alpha\rfloor}{N+1} \approx \alpha$

(N + 1) α

$(N+1)\alpha$

k

$k$

α = k / (N + 1)

$\alpha = k/(N+1)$

これは確かに、「p値」と呼ばれるにふさわしい量について私たちが真実にしたいことの1つです。均一な分布を持つ必要があります。提供される任意ように、かなり大きい近い形のある部分にある、この近い均一にする必要があります分布。（p値に必要な追加の条件については、p値の件名について投稿したダイアログをご覧ください。） $[0,1]$ $N+1$ $\alpha$ $k/(N+1) = k/(n_\text{sim}+1)$ $P$

明らかに、引用文は、「」の代わりに「」を使用する必要があります。 $n_\text{sim}+1$ $n_\text{sim}$

— whuber
ソース

観測された統計が参照分布に含まれているため、ここでは両方に1が追加されていると思います。これが当てはまる場合は、p値の定義の「少なくとも同じくらい」の部分が原因です。

テキストが何か違うことを言っているように見えるので、私は確かにわかりませんが、それが私がそれをする理由です。

— Glen_b-モニカの復活
ソース

@whuberどうすれば同意できるかわかりません。すべての検定が尤度比検定であるとは限りません。それらがLRTではない場合、尤度比の観点からそれを解釈することができる関連性は何ですか？

— Glen_b-2015

@whuber確かにできます。しかし、たとえば、Wilcoxon-Mann-Whitneyを検討してください（実際、順列検定はより広く行われています）。Lilliefors検定でも尤度比検定でもない、広く使用されている完全に妥当な検定はいくつもあります。パワーが望ましい明確な代替案がある場合、テスト統計によって与えられるサンプル空間の順序付けが完全に意味をなし、幅広い代替案で妥当な特性を持つ意味のあるテスト統計を構築することがしばしば可能です。

— Glen_b-2015

確かに、（より大きな、より小さな、または両方のより極端な値を取るという意味で）代替の種類に興味があるテスト統計を思いついたとき、「代替の種類に興味がある「しかし、たとえ許容できない（実際には、役に立たないテストであっても）を使用していたとしても、シミュレーション結果に観察されたサンプルを含めるという私の回答で概説した原則は依然として適用されます。順序付けを行うと、たとえそれが最良ではない場合でも、p値を計算するときに、観測されたケースは依然としてカウントに含まれます。

— Glen_b-2015

@whuber今のところそれほど離れていないかもしれません。妥当なテスト統計を選択する場合、私たちは確かに何かにアピールしたいと思うでしょう。しかし、（nullの下でシミュレートしているときまでになければならないように）テスト統計が得られたら、それは既に完了しています。そして、それができたら、観測されたケースをp値の計算に含める理由は、p値が何であるかによるものです。

— Glen_b-2015

違いはないと思います。（私自身の回答は、観察されたサンプルをカウントに含めることが適切であることを明確にしていることに注意してください。）私のコメントは、質問に対するあなたの回答（私が同意して賛成した）ではなく、「少なくとも大きい」このフレーズがこのサイト（および他の場所）の多くの場所で誤って解釈されているのがわかります。そのため、読者が実際に何を意味しなければならないのかについて読者の注意を引きたかったのです。

— whuber