大規模なデータセットの正規性のテスト-どのようにして信頼できますか?


12

2つのグループにグループ化された、1から1690の範囲の46840のdouble値を含むデータセットの一部を調べています。これらのグループ間の違いを分析するために、適切な検定を選択するために値の分布を調べることから始めました。

正規性のテストに関するガイドに従って、qqplot、ヒストグラム、ボックスプロットを行いました。

ここに画像の説明を入力してください

ここに画像の説明を入力してください ここに画像の説明を入力してください

これは正規分布ではないようです。ガイドでは、純粋にグラフィカルな検査では不十分であるといくらか正しく述べているため、分布の正規性もテストしたいと思います。

データセットのサイズとRでのshapiro-wilksテストの制限を考慮して、与えられた分布の正規性をどのようにテストし、データセットのサイズを考慮すれば、これも信頼できますか?(この質問に対する承認された回答を参照してください

編集:

私が言及しているShapiro-Wilkテストの制限は、テストされるデータセットが5000ポイントに制限されていることです。このトピックに関する別の良い答えを引用するには:

Shapiro-Wilkのテストのもう1つの問題は、より多くのデータをフィードすると、帰無仮説が拒否される可能性が大きくなることです。したがって、大量のデータの場合、正規性からのごくわずかな逸脱でも検出できるため、実用的な目的では、帰無仮説イベントハフが拒否され、データは通常よりも十分に多くなります。

[...]幸いにも、shapiro.testは、データサイズを5000に制限することにより、上記の影響からユーザーを保護します。

そもそもなぜ正規分布をテストしているのか:

一部の仮説検定は、データの正規分布を前提としています。これらのテストを使用できるかどうかを知りたい。


11
ポイントテストはありません。すべての使用のすべてのテストで、合理的な有意水準は明らかに拒否されます。あなたが読んでいるどんなガイドもあなたを惑わしました。正確に「信頼できる」とはどういう意味ですか。Shapiro-Wilkの「制限」とは何ですか。私はあなたがリンクしている回答の声明に非常に同意します...「通常のテストが正しいことである状況に出会ったことはありません」(私はそれが正しいことですが、人々はほとんどの場合悪い理由でそれを行います)。
Glen_b-モニカを復元する

@Glen_b:ちなみに、私は先日、シャピロウィルクを使用してヌルに対する証拠を定量化していることを発見しました。それは防御可能な使用法だったのだろうか。
Nick Stauner 14

@NickStauner 1つのコメントに対して私の応答が非常に長くなりすぎたので、投稿に関するコメントの文字列でこの質問をハイジャックしたくありません。可能性:私たちはチャットで話したり、あなたがそれについて質問を投稿したり(私はそれに広範な回答を投稿することができます)、または電子メールなどの他の方法でそれについて話し合ったりします。
Glen_b-モニカを復元する14

回答:


14

なぜあなたが気になるのかわかりません。これは明らかに正常ではありません。この場合、グラフィック検査で十分です。きれいなガンマ分布のように見えることから、たくさんの観察があります。とにかく行く。必要な場合はそれを参照分布としてお勧めします。

x=rgamma(46840,2.13,.0085);qqnorm(x);qqline(x,col='red')
ここに画像の説明を入力してください

hist(rgamma(46840,2.13,.0085))

boxplot(rgamma(46840,2.13,.0085))

1.45.92.9

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.