残差が正規分布していることを確認するために、どのテストを使用しますか?


20

残差対時間のグラフをほぼ正常にプロットすることから見えるいくつかのデータがありますが、確認したいです。エラー残差の正規性をテストするにはどうすればよいですか?


3
密接に関連:適切な-正規-テスト-のための小サンプルを。興味のある他のいくつかの質問があります:is-normality-testing-essentially-useless、正規性テストの価値についての議論、およびwhat-if-residuals-are-normal-distributed-but-y-is-正規性が線形モデルの仮定であるという意味の議論/明確化のためではありません
GUNG -復活モニカ

シャピロウィルクテストの要点の非常に一般的な誤解が見られます!H0を支持する正しい意味は、H0を拒否することはできませんが、注意してください!「データが正常に配信される」という意味ではありません!!! 別の結果は、「データは正規分布していません」です。
ジョーハレンベック

回答:


28
  1. 残差が正規分布していることをテストで確認することはできません。実際、そうではないことを確実に賭けることができます。

  2. 仮説検定は、一般的に仮定を確認するための良いアイデアではありません。推論に対する非正規性の影響は、一般にサンプルサイズ*の関数ではありませんが、有意性テストの結果です。サンプルサイズが大きいと、実際の関心のある質問に対する回答(「これが私の推論にどの程度影響したか?」)が「ほとんど」ない場合でも、正規性からのわずかな逸脱が明らかになります。それに対応して、小さなサンプルサイズでの正規性からの大きな偏差は、有意性に近づくことはありません。

    *(編集で追加)-実際にはそれはあまりにも弱い文です。非正規性の影響は、CLTとSlutskyの定理が成り立つときはいつでも、サンプルサイズとともに実際に減少しますが、正規性を拒否する(および通常の理論手順を回避する)能力は、サンプルサイズとともに増加します...非正規性を識別することができるのは、それが問題ではない場合が多い傾向にありますとにかく、小さなサンプルでは、​​テストは実際に重要な場合には役に立ちません。

    まあ、少なくとも有意水準までは。ここでのように大きなサンプルを検討している場合、電力は依然として問題になる可能性がありますが、それも問題ではないかもしれません。

  3. エフェクトサイズの測定に近づくのは、何らかの非正規性の度合いを何らかの方法で測定する診断(表示または統計)です。QQプロットは明らかな表示であり、1つのサンプルサイズと異なるサンプルサイズでの同じ母集団からのQQプロットは、少なくとも両方が同じ曲線のノイズの多い推定値であり、ほぼ同じ「非正規性」を示しています。関心のある質問に対する望ましい答えに少なくともほぼ単調に関連している必要があります。

テストを使用する必要がある場合、Shapiro-Wilkはおそらく他の何よりも優れています(Chen-Shapiroテストは通常​​、一般的な関心のある代替手段では少し優れていますが、実装を見つけるのは困難です)-それはあなたの質問に答えているすでに答えを知っています。あなたが拒否に失敗するたびに、それはあなたが間違いだと確信できる答えを与えています。


4
いくつかの良い点を挙げているので、Glen_bを+1してください。ただし、適合度テストの使用についてはそれほど否定的ではありません。サンプルサイズが小さいか中程度の場合、テストは正規分布からのわずかな逸脱を検出するのに十分なパワーを持ちません。差が非常に大きいと、p値が非常に小さくなる場合があります(例:0.0001以下)。これらは、qqプロットの視覚的観察よりも正式な指標である可能性がありますが、それでも非常に便利です。歪度と尖度の推定値も見ることができます。適合度テストが問題となるのは、非常に大きなサンプルです。
マイケルR.チャーニック

4
これらの場合、小さな逸脱が検出されます。アナリストが実際に人口分布が正確に正規ではないことを認識し、ヌル仮説を拒否することは彼の分布がわずかに非正規であることを彼に告げる限り、彼は迷わないでしょう。調査者は、テストで検出されたわずかな逸脱を考慮して、正常性の仮定が懸念事項であるかどうかを自分で判断する必要があります。Shapiro-Wilkは、実際には、正常性の仮説に対するより強力なテストの1つです。
マイケルR.チャーニック

+1、私は特にポイント#2が好きです。これらの線に沿って、それの価値があってもスキューや尖度は、それは時間あなたですので、/本当に大きなN wは、中心極限定理は、あなたをカバーする、かなり悪いことは注目に少なくとも必要が正常。
GUNG -復活モニカ

3
@gung正規性への適切な近似が重要になる状況がいくつかあります。たとえば、通常の仮定を使用して予測間隔を構築する場合。しかし、私はまだテストよりも(それがどのように非正規1番組)の診断にもっと頼るだろう
Glen_b -Reinstateモニカ

予測間隔についてのあなたのポイントは良いものです。
GUNG -復活モニカ

8

Shapiro-Wilkテストは1つの可能性です。

シャピロウィルクテスト

このテストは、ほぼすべての統計ソフトウェアパッケージに実装されています。帰無仮説は、残差が正規分布しているため、p値が小さい場合は、nullを拒否し、残差は正規分布していないと結論付ける必要があります。

サンプルサイズが大きい場合は、ほとんど常に拒否されるため、残差の視覚化がより重要であることに注意してください。


「Wilks」ではなく「Wilk」です。
マイケルR.チャーニック

1

ウィキペディアから:

単変量正規性のテストには、D'AgostinoのK 2乗検定、Jarque-Bera検定、Anderson-Darling検定、Cramér-vonMises基準、正規性のLilliefors検定(コルモゴロフ-スミルノフ検定の適応)、シャピロ・ウィルク検定、ピアソンのカイ二乗検定、シャピロ・フランシア検定。Journal of Statistical Modeling and Analytics [1]の2011年の論文では、Shapiro-Wilkが与えられた有意性に対して最高の力を持っていると結論付けています。Shapiro-Wilk、Kolmogorov-Smirnov、Lilliefors、およびAnderson-ダーリンテスト。


1
-1:Wikipediaページへのリンクを含め、脚注( "[1]")を削除し、blockquote関数を使用することができます。
ベルントヴァイス

1
これらの適合度テストのいずれかが使用されるときはいつでも、Glen_bが与える警告は重要です。シャピロ・ウィルクについてあなたが引用する結果は、あなたがそれを理解するほど一般的ではないと思います。正常性について世界的に最も強力なテストがあるとは思わない。
マイケルR.チャーニック

2
n1

@GregSnow私はあなたのパッケージを徹底的に調べる時間がないので、Rにすべてを従うのに十分ではないかもしれません。正規性に対してグローバルに最も強力なテストがあると言っているのですか、それともさまざまなテストが最も強力であるためにグローバルテストが存在しないことを示す例を提供していると言っているのですか。存在するのではないかと疑っていますが、シャピロ・ウィルクがそうなるとは思いません。存在すると主張している場合は、数学的な証明または参照を参照してください。
マイケルR.チャーニック

1
@MichaelChernick、私の主張は、私のテストが他の正規性のテストと同じかそれ以上のパワーを持っているということです(正確な正常から来るデータの帰無仮説を拒否する可能性が高い)。Rコードを追跡するのは難しくありません。p値を計算するためのコアコードは「tmp.p <-if(any(is.rational(x))){0」であり、その力の証明は明らかです(私は、それが強力であり、ドキュメントが有用であると主張しただけであり、テスト自体が有用であるとは主張していません。
グレッグスノー
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.