一貫性のない正規性テスト：Kolmogorov-Smirnov対Shapiro-Wilk

現在、私が書いたMCシミュレーションによって生成されたデータを調べています。値が正規分布していると思います。当然、私はヒストグラムをプロットし、それは妥当に見えます（私は推測しますか？）：

[左上：ヒストグラムdist.pdf()、右上：累積ヒストグラムdist.cdf()、下：QQプロット、data対dist]

次に、いくつかの統計的検定を使用してこれをさらに詳しく調べることにしました。（注意してくださいdist = stats.norm(loc=np.mean(data), scale=np.std(data))。）私がしたことと私が得た出力は次のとおりです：

1. コルモゴロフ-スミルノフ検定：

   scipy.stats.kstest(data, 'norm', args=(data_avg, data_sig))
   KstestResult(statistic=0.050096921447209564, pvalue=0.20206939857573536)
   

2. Shapiro-Wilkテスト：

   scipy.stats.shapiro(dat)
   (0.9810476899147034, 1.3054057490080595e-05)
   # where the first value is the test statistic and the second one is the p-value.
   

3. QQプロット：

   stats.probplot(dat, dist=dist)

これからの私の結論は：

• ヒストグラムと累積ヒストグラムを見ることで、私は間違いなく正規分布を仮定します

• QQプロットを見た後も同じことが言えます（これまでにずっと良くなっていますか？）

• KSテストは言う：「はい、これは正規分布です」

私の混乱は次のとおりです。SW検定では、正規分布ではないことが示されています（p値は有意性よりはるかに小さくalpha=0.05、初期の仮説は正規分布でした）。これは理解できません。誰かより良い解釈がありますか？ある時点で失敗しましたか？

分布が正規分布と異なる可能性のある方法は無数にあります。すべてのテストをキャプチャできるテストはありませんでした。その結果、各テストは、分布が正規分布と一致するかどうかを確認する方法が異なります。たとえば、KSテストは、経験累積分布関数が正規の理論累積分布関数と最大で異なる分位点を調べます。これは多くの場合、配布の途中のどこかにありますが、通常は不一致が問題になる場所ではありません。SWテストは、分布に類似しているかどうかを通常考慮している裾に焦点を当てています。結果として、通常はSWが優先されます。さらに、サンプルから推定された分布パラメーターを使用している場合、KWテストは無効です（以下を参照してください：Shapiro-Wilk正規性検定とKolmogorov-Smirnov検定の違いは何ですか？）。ここではSWを使用する必要があります。

しかし、プロットは一般的に推奨され、テストは推奨されません（参照：正規性テストは「本質的に役に立たない」ですか？）。すべてのプロットから、真の法線と比較して、右尾が太く、左尾が明るいことがわかります。つまり、少し右スキューがあります。

結果に基づいて正規性テストを選択することはできません。この場合、実行したテストで拒否を行うか、まったく使用しないかのどちらかです。KSテストはそれほど強力ではなく、「特殊な」正規性テストではありません。この場合、SWはおそらくもっと信頼できるでしょう。

私にとってあなたのQQプロットには、太い右尾か左への傾斜、またはその両方の兆候があります。Tukeyのツールを使用して尾の太さを調べることをお勧めします。これは、分布が通常またはコーシーのようにどれだけあるかを示します。