どちらを信じるべきか:コルモゴロフ-スミルノフ検定またはQQプロット?


16

連続データのデータセットがパラメーターshape 1.7およびrate 0.000063のガンマ分布に従うかどうかを判断しようとしています。==

問題は、Rを使用してデータセット QQプロットを作成するxして、理論的な分布ガンマ(1.7、0.000063)に対すると、経験データがガンマ分布とほぼ一致することを示すプロットが得られることです。ECDFプロットでも同じことが起こります。

私はコルモゴロフ-スミルノフ検定を実行するときしかし、それは私に不当に小さな与えの-値< 1 %にp<1%

どちらを信じるべきですか?グラフィック出力またはKSテストからの結果?

QQplotとECDFプロット


取得した密度分布プロットも提供できますか?
スクラッチ14年

13
テストと診断プロットは矛盾していません。QQプロットが示すように、分布は理論上の分布に似ています。サンプルサイズは十分に大きいので、理論上のサイズとのわずかな違いでも拾い上げることができます。
-Glen_b-モニカーの復活2014

回答:


18

QQプロットを「信じて」いないことには意味がありません(適切に作成した場合)。定義の分布と並置された、データの現実の単なるグラフィカルな表現です。明らかに完全に一致しているわけではありませんが、目的に十分合っていれば、物語の終わりに近いかもしれません。この関連する質問をご覧ください。正常性テストは「本質的に役に立たない」ですか

p

データが意図した目的のためにガンマ分布とあまりにも異なるかどうかは別の問題です。KSテストだけでは回答できません(その結果はサンプルサイズなどに依存するため)が、QQプロットが決定に役立つ場合があります。また、実行する予定の他の分析の堅牢な代替手段を検討することもできます。ガンマ分布からの逸脱に対する後続の分析の感度を特に重視する場合は、シミュレーションテストも検討することをお勧めします。 。


15

理論的な分布から複数のサンプルを作成し、それらをQQプロットの背景にプロットすることができます。これにより、サンプリングだけで合理的にどのような変動が期待できるかがわかります。

86〜89ページの例を使用して、その考えを拡張して、理論的な線の周りにエンベロープを作成できます。

Venables、WNおよびRipley、BD2002。S.New Yorkの現代応用統計:Springer。

これは、ポイントワイズエンベロープになります。そのアイデアをさらに拡張して、次の151〜154ページのアイデアを使用して全体的なエンベロープを作成できます。

Davison、ACおよびHinkley、DV1997。ブートストラップメソッドとそのアプリケーション。ケンブリッジ:ケンブリッジ大学出版局。

ただし、基本的な調査については、QQプロットのバックグラウンドでいくつかの参照サンプルをプロットするだけで十分だと思います。


良いアイデア!11時間以内にこれに賛成票を投じることを思い出してください(漫画への投票はすべて使い果たしました)...
ニックスタウナー14年

1
また、ecdfプロットに信頼帯を描く関数ecdf.ksCIを持つCRANパッケージsfsmiscもご覧ください。同じ考えは... QQプロットに信頼バンドを描画するために使用することができ
HalvorsenのはKjetil B

2

KSテストは、ディストリビューションの特定のパラメーターを想定しています。「データはこの特定の分布に従って分布している」という仮説をテストします。どこかにこれらのパラメーターを指定した可能性があります。そうでない場合は、一致しないデフォルトが使用されている可能性があります。推定されたパラメーターが仮説に組み込まれている場合、KSテストは控えめになることに注意してください。

ただし、ほとんどの適合度テストは間違った方法で使用されます。KSテストが有意性を示さなかった場合、これは、証明したいモデルが適切であることを意味しません。@Nick Staunerは、サンプルサイズが小さすぎると言っています。この問題は、ポイント仮説検定および等価検定に似ています。

最後に:QQプロットのみを考慮してください。


-1

QQプロットは探索的データ分析手法であり、そのように扱う必要があります-他のすべてのEDAプロットも同様です。これらは、手元のデータに関する予備的な洞察を提供することのみを目的としています。QQプロットのようなEDAプロットに基づいて分析を決定または停止しないでください。QQプロットのみを考慮するのは間違ったアドバイスです。KS Testのような定量的手法を必ず使用してください。同様のデータセットの別のQQプロットがあるとします。定量ツールを使用せずに2つをどのように比較しますか?EDAおよびKSテストの後の次のステップは、KSテストが低いp値を与える理由を見つけることです(あなたの場合、それは何らかのエラーが原因である可能性もあります)。

EDA手法は、意思決定ツールとして機能することを意図したものではありません。実際、推論統計でさえも探索的であることを意図しています。統計分析をどの方向に進めるかについての指針を示します。たとえば、サンプルのt検定では、サンプルが母集団に属する(または属さない)信頼レベルのみが得られますが、データがどの分布に属し、どのような分布であるかについての洞察に基づいてさらに続行できます実際には、機械学習ライブラリの一部として実装された技術でさえ、本質的に探索的であると述べるとき!!! そういう意味で意味があるといいのですが...!

プロットまたは視覚化技術に基づいて統計的決定を下すことは、統計科学の進歩をadvances笑することです。あなたが私に尋ねるなら、あなたはあなたの定量的統計分析に基づいて最終的な結論を伝えるためのツールとしてこれらのプロットを使用するべきです。


これは、私が頻繁に行い、賢明だと思うことをすることを禁止し、探索的なプロットを与えられて決定を下し、より正式な有意性テストの前に停止します。m笑は伴いません。これは反復的で独断的なコメントであり、既存の優れた、そしてはるかに微妙な回答に有用なものを追加しません。QQプロットを比較するのは非常に簡単です...
Nick Cox

他の回答を読んだことはありませんが、定量的な方法を推奨している場合は大丈夫です。尋ねられた質問に対して、私は答えを出していました。しかし、Rのような現在利用可能なパッケージで正式な定量テスト(KSテストを行うのにほんの数分)を行うのにそれほど時間はかかりません。RのKSテスト結果をブートストラップで検証した直後に、いくつかの場所で、使用するのは好ましくない、などと言われていることに気づきました。これは、私の強いコメントの背後にある理論的根拠です。怒らないように
Murugesan Narayanaswamy

投稿する前に他の回答を読んでください。投稿の意味するところは、言いたいことがある(防御できる)ことです。あなたのコメントは、QQプロットが「定量的方法」ではないことを暗示しています。QQプロットは、原則として、分布適合の評価に関連するすべての定量情報を示します。対照的に、Kolmogorov-Smirnovのようなテストは1次元の削減を提供し、次に何をするかについてほとんど助けになりません。
ニックコックス

QQプロットは、理論分布と特定のテストデータを比較し、視覚的な表現を提供しますが、KSテストは統計的概念を使用してより厳密な方法で同じことを行い、最終的に確率値を提供します。2つのQQプロットを比較することはできませんが、KSテストを使用すると定量的な差が得られます。KSテストのp値が間違っているというのは間違っています。また、経験的データセットを使用して分布パラメーターを抽出できないことも間違っています。私は個人的にブートストラップを行い、両方のテーブルと手動で計算されたコロモグロフ分布でp値で検証しました。
Murugesan Narayanaswamy

コメントには多くのシャドウボクシングがあります。経験的データを使用してパラメーター推定値を取得できないと主張しているのは誰ですか ここで行われていることに同意する必要があります。あなたは議論を追求したくないことを私に許さなければなりません。私はあなたの答えに対する私の反応を待っています。
ニックコックス
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.