データが指数分布または正規分布に従っているかどうかを確認するための標準的な統計検定は何ですか？

12

distributions hypothesis-testing normal-distribution

— smo
ソース

2

最良のテストはおそらく、正規性/指数性を正確にテストしている理由に依存します（そのため、ある程度のバックグラウンドが役立つでしょう）が、常にKolmogorov Smirnovテストを使用して、特定のデータセットが事前に指定した分布に適合するかどうかをテストできます（en.wikipedia .org / wiki / Kolmogorov％E2％80％93Smirnov_test）。具体的には、正規分布に使用される多くの方法があります：en.wikipedia.org/wiki/Normality_test

— Macro

私が扱っている変数は、正規分布または指数分布に従う可能性があります。また、気にしていない要素があります。しかし、それは私のデータにいくつかの変動を課します。したがって、変数を正規化して、この厄介な要素の影響を抑制したいと思います。そのため、基礎となる分布に基づいて各変数を正規化することをお勧めします。そのため、これら2つのディストリビューションを決定するためのテストが必要です。

— smo

1

この文での正規化とはどういう意味ですか：各変数をその基礎となる分布に基づいて正規化する方が良いと思いましたか？

— マクロ

2

テストではありませんが、QQプロットは、データが分布と一致するかどうかを直感的にすばやく検査するのに最適です。

— naught101 2012

13

正規分布と指数分布のどちらを使用してデータをモデル化するかを決定しようとしているようです。これらのディストリビューションは互いに非常に異なっているため、これは少し奇妙に思えます。

$0$ $0$

$n=100$ $2$ $4$ $2$ $4$

正規対指数：シミュレーションデータ

上の図に示すように、正規分布の対称性と指数関数の歪度は、ヒストグラム、ボックスプロット、および散布図を使用して確認できます。

別の非常に便利なツールはQQプロットです。以下の例では、サンプルが正規分布からのものである場合、ポイントはほぼ線に沿っているはずです。ご覧のとおり、これは通常のデータには当てはまりますが、指数データには当てはまりません。

シミュレーションデータのQQプロット

$+1$

T_{E, N} = \frac{\bar{x} - x_{(1)}}{s}

$T_{E,N}=\frac{\bar{x}-x_{(1)}}{s}$

\bar{x}

$\bar{x}$

x_{(1)}

$x_{(1)}$

s

$s$

T_{E, N}

$T_{E,N}$

このテストは、実際には外れ値に対するGrubbsのテストの片側バージョンです。これはほとんどの統計ソフトウェアに実装されていることがわかります（ただし、正しいバージョンを使用していることを確認してください。外れ値テストにはいくつかの代替テスト統計が使用されています！）。

$T_{E,N}$

— MånsT
ソース

OPは、正規性をテストするかどうかを尋ね、どのテストを使用するかを指数関数的にテストする場合は、別の状況でどのテストを選択しますか。私は彼が同じデータセットで両方のテストを試すことを提案しているという声明を読まなかった。

— Michael R.Chernick

私はそのように解釈しました。質問のフォローアップコメントで、OPは「私が扱っている変数は正規分布または指数分布に従う可能性が高いです。[...]だから、テストする必要があるのはそのためです。これらの2つの分布の間で決定します。」

— MånsT

気づかなかった。その場合、あなたの答えは非常に適切です。私は彼が一度に1つずつテストしているかのように答えていました。

— Michael R. Chernick

@Michael：元の質問も読んだときにそのように解釈しましたが、コメントを読んだ後、回答を書くことにしました。そうでなければ、私はあなたの（+1）の答えに追加することはたくさんあるとは思いません（そこでコメントで書いた小さなコメント以外）。

— MånsT

5

$B_n$ $\overline{Y}$ $\overline{\log Y}$ $Y_i$

B_{n} = b_{n} \times {\log \bar{Y} - \bar{\log Y}} b_{n} = 2 n \times {1 + (n + 1) / (6 n)}^{- 1}

$B_n = b_n \times \left\{\log \bar{Y} - \overline{\log Y} \right\} \qquad b_n = 2n \times \left\{1+ (n+1)/(6n) \right\}^{-1}$

B_{n} \sim χ^{2} (n - 1)

$B_n \sim \chi^2(n-1)$

エンジニアリング設計における KC KapurおよびLR Lambersonの信頼性を参照してください。ワイリー1977。

— イヴ
ソース

2

指数性のテストに関して、最近の広範なリソースを見つけました。1）記事：A Henze、N.とMeintanis、SG（2005）：「最近および古典的な指数性テスト：比較による部分的レビュー」。メトリカ、vol。61、29-45ページ。2）言及された記事のテストを実装する「exptest」という名前のCRAN Rパッケージ。

— イブ

B_nの分布はあまり明確ではありません。それはn-1 dfのカイ二乗ですか、それともn-1 dfにn-1を掛けたカイ二乗ですか？

— Dovini Jayasinghe

書かれたとおりに動作します。Rコードの数行を使用してそれを確認できます。

— イブ

ありがとう。だから私が見ることができるようにそれは乗算でなければなりません。ある意味では、自由度はn-1でなければなりませんか？

— Dovini Jayasinghe

B_{n}

$B_n$

n - 1

$n-1$

4

正規性については、アンダーソンダーリングとシャピロウィルクが最適と見なされています。指数関数的なLillerforsテストのために特別に設計されています。

— マイケル・R・チェニック
ソース

5

この回答は、各テストが他のテストよりも優れている/優れていると見なされる理由について少し詳しく説明することで改善できます。

— naught101 2012

これらのテストは、通常（Anderson-Darling）および指数（Lillefors）からの逸脱に対して最も強力であるという意味で優れています。彼のテストの形式に基づいて、説明的な説明を提供するのは簡単ではないと思います。

— Michael R. Chernick

3

@Michael：Anderson-Darlingの正規性検定（Shapiro-Wilk ditoなど）は、幅広い選択肢に対してかなりの力を持っていますが、確かに（一般的でも平均でも）最も強力ではありません。テストの選択は、手元にある代替手段に依存する必要があります。もしかして-私はLillerforsテストのことを聞いたことがないリリーフォーステスト（実際には正規のためのテストではなくexponentialityためのテストですか）？

— MånsT

もちろん、指数分布の仮定のために提案していたものであるので、指数性についてのリールフォース検定に言及していました。私がShapiro-WilkとAnderson-Darlingを挙げたのは、私の知る限り、正規性のテストの中で最も強力なためです。あなたが言及しているより強力なテストは何ですか？

— Michael R.Chernick

1

それはあなたが持っている選択肢の種類に依存します。たとえば、スキューの代替案に対して、サンプルのスキューネスは多くの場合、SWやADよりも強力です。後者は平均的にかなり良いオムニバステストですが、心配している非正規性の種類がわかっている場合は、有向テスト（サンプルの歪度テストなど、代わりのスキューを対象とする）を使用することをお勧めします。。

— MånsT

4

データの動作を確認するためのグラフィカルな方法を検討しましたか？

確率グラフの手法では、通常、データをランク付けし、逆CDFを適用して、結果をデカルト平面にプロットします。これにより、いくつかの値が仮説の分布から逸脱しているかどうかを確認でき、逸脱の理由を説明できる可能性があります。

— スケネクタディ
ソース