非常に小さなサンプルサイズ（n = 6など）で正規性をテストすることは意味がありますか？

サンプルサイズは6です。このような場合、Kolmogorov-Smirnov検定を使用して正規性を検定するのは理にかなっていますか？SPSSを使用しました。それぞれの取得に時間がかかるため、サンプルサイズは非常に小さくなっています。それが意味をなさない場合、テストするのに意味のある最小数はいくつのサンプルですか？

注： ソースコードに関連するいくつかの実験を行いました。サンプルは、ソフトウェアのバージョン（バージョンA）でのコーディングに費やされた時間です。 実際には、別のバージョンのソフトウェア（バージョンB）でのコーディングに費やされたサンプルサイズ6があります。

コードバージョンAで費やされた時間がコードバージョンBで費やされた時間と異なるかどうかをテストするために、1サンプルt検定を使用して仮説テストを行いたいと思います（これは私のH1です）。1サンプルのt検定の前提条件は、テストするデータを正規分布する必要があることです。そのため、正常性をテストする必要があります。

はい。

すべての仮説検定には、2つの顕著な特性があります。サイズ（または「有意水準」）、信頼度と予想される偽陽性率に直接関係する数、および偽陰性の可能性を表す力です。サンプルサイズが小さく、小さいサイズを主張し続けると（確信度が高い）、検出力が低下します。これは、小規模サンプルテストでは通常、小さな差または中程度の差を検出できないことを意味します。 しかし、それらはまだ意味があります。

KSテストでは、サンプルが正規分布からのものであるかどうかを評価します。このテストに失敗するには、6つの値のサンプルが非常に非正常に見える必要があります。しかし、もしそうなら、より大きなサンプルサイズでそれを解釈するのとまったく同じように、このヌルの拒否を解釈できます。一方、帰無仮説の棄却に失敗した場合、偽陰性率が高いため、ほとんど意味がありません。特に、基礎となる分布が正規分布であるかのように振る舞うことは比較的危険です。

ここでもう1つ注意が必要な点があります。一部のソフトウェアでは、近似を使用して検定統計量からp値を計算します。多くの場合、これらの近似は大きなサンプルサイズではうまく機能しますが、非常に小さなサンプルサイズでは不十分に機能します。この場合、p値が正しく計算されたことを信頼できません。つまり、目的のテストサイズが達成されたことを確認できません。詳細については、ソフトウェアのマニュアルを参照してください。

いくつかのアドバイス： KSテストは、この目的のために特別に構築された他のテストよりも、正常性をテストするのにかなり強力ではありません。それらの中で最高のものはおそらくシャピロ・ウィルク検定ですが、一般的に使用され、ほぼ同じくらい強力なものはシャピロ・フランシアとアンダーソン・ダーリングです。

このプロットは、6つの正規分布の変量の10,000サンプルでのコルモゴロフ-スミルノフ検定統計量の分布を示しています。

$\alpha=5\%$

0.000, 0.001, 0.002, 1.000, 1.001, 1000000

検定統計量は0.5（臨界値よりも小さい）です。このようなサンプルは、正常性の他のテストを使用して拒否されます。

@whuberがコメントで尋ねたように、私のカテゴリNOの検証。編集：1サンプルksテストが実際に誤って使用されているため、shapiroテストを使用します。Whuberは正しい：Kolmogorov-Smirnov検定を正しく使用するには、分布パラメーターを指定する必要があり、データからそれらを抽出しないでください。ただし、これは1サンプルKSテストのSPSSなどの統計パッケージで行われます。

分布について何かを言おうとしますが、t検定を適用できるかどうかを確認します。そのため、このテストは、分析の基礎となる仮定を無効にするほどデータが正常から大きく逸脱しないことを確認するために行われます。したがって、タイプIエラーではなく、タイプIIエラーに関心があります。

ここで、許容できる電力の最小n（0.8など）を計算できるように、「大幅に異なる」を定義する必要があります。ディストリビューションでは、定義するのは簡単ではありません。したがって、私は質問に回答しませんでした。使用する経験則、n> 15およびn <50を除いて賢明な回答をすることはできないからです。基本的には気持ちがいいので、経験以外にその選択を守ることはできません。

しかし、6つの値のみでは、タイプIIエラーがほぼ1にバインドされることを知っています。6回の観測では、シャピロ検定は正規分布、ポアソン分布、均一分布、さらには指数分布を区別できません。タイプIIエラーがほぼ1の場合、テスト結果は無意味です。

shapiro-testによる正規性テストを説明するには：

shapiro.test(rnorm(6)) # test a the normal distribution
shapiro.test(rpois(6,4)) # test a poisson distribution
shapiro.test(runif(6,1,10)) # test a uniform distribution
shapiro.test(rexp(6,2)) # test a exponential distribution
shapiro.test(rlnorm(6)) # test a log-normal distribution

値の約半分が0.05より小さいのは、最後の値のみです。これも最も極端なケースです。

shapiroテストで好きなパワーを与える最小nを調べるには、次のようなシミュレーションを実行できます。

results <- sapply(5:50,function(i){
  p.value <- replicate(100,{
    y <- rexp(i,2)
    shapiro.test(y)$p.value
  })
  pow <- sum(p.value < 0.05)/100
  c(i,pow)
})

これにより、次のような消費電力分析が得られます。

ここから、ケースの80％で指数分布と正規分布を区別するには、おおよそ最低20の値が必要であると結論付けています。

コードプロット：

plot(lowess(results[2,]~results[1,],f=1/6),type="l",col="red",
    main="Power simulation for exponential distribution",
    xlab="n",
    ylab="power"
)

ここで提起された質問には、サンプルサイズ6で正規性チェックが必要であるという誤解があります。ここでの主な目的は、「コードバージョンAで費やされた時間がコードバージョンBで費やされた時間と異なるかどうかをテストすることです（これは私のH1）です」。「異なる」という言葉が使用されている場合、それはワンテールテストですか？ただし、正規性のテストは2番目のステップです。最初のステップは、パワーが非常に悪い場合に、所定のサンプルサイズのテストの所定の（1-β）パワーの妥当性をチェックすることです。正常性条件のチェックは、パラメトリックテストまたは非パラメトリックテストのどちらを行うかを決定するのに役立ちます。サンプルサイズに十分な検出力がない場合、正常性のテストを検討する必要があります。