コルモゴロフ-スミルノフ検定を使用して分布パラメーターを推定できますか?


14

コルモゴロフ-スミルノフ検定を使用して、サンプルからパラメーターが推定された分布の適合度を検定するべきではないことを読みました。

サンプルを2つに分割し、前半をパラメーター推定に使用し、後半をKSテストに使用するのは理にかなっていますか?

前もって感謝します


1
どのディストリビューションに対してテストしますか?その理由は何ですか?
GUNG -復活モニカ

データは指数分布に従うと思われます。
sortega

回答:


13

より良いアプローチは、シミュレーションによってp値の重要な値を計算することです。問題は、仮説値を使用するのではなく、データからパラメーターを推定する場合、KS統計の分布がヌル分布に従わないことです。

代わりに、KSテストのp値を無視し、代わりに実際のデータと同じサイズの(有意なパラメーターのセットを持つ)候補分布から多数のデータセットをシミュレートできます。次に、各セットに対してパラメーターを推定し、推定されたパラメーターを使用してKSテストを実行します。p値は、元のデータよりも多くのツリーであるシミュレートされたセットのテスト統計の割合になります。


2
(少なくとも私にとって)解決策は少しわかりにくいです。候補分布の「意味のあるパラメーターセット」とはどういう意味ですか?最初は候補分布のパラメーターを知りませんが、「意味のあるパラメーターのセット」が何であるかをどのように知りますか?
ネスター

異なるパラメーターのセットを試して、違いがあるかどうかを確認できます(通常はそうではありませんが、一部の分布はそうである場合があります)。次に、データの背後にある科学について考えるか、その分野の専門家に相談すると、どこから始めれば一般的なアイデアが得られるはずです。たとえば、ナイジェリアの成人男性の平均身長は知っていますが、プラスで3メートル未満であることはかなり確実です。
グレッグスノー

@GregSnow私の現在の仕事に関係があるので、この投稿に出会いました。あなたが提案する方法に理論的な正当性があるかどうか疑問に思っていましたか?つまり、提案された「p値」が実際に0から1まで均一に分布していることをどのようにして知ることができますか?提案されたp値は、null仮説が分布のセットであるため、従来のp値ではないようです。
renrenthehamster14年

@renrenthehamster、あなたは良い点を持っています、それが私が異なる条件下でシミュレートすることを提案した理由です。一部の分布(正規分布を期待します)では、それほど重要ではありませんが、他の分布では、異なる真のパラメーター値に対して異なるカットオフが必要になる場合があります。その場合、ユーザー(ユーザー)は、分布の形状と快適なパラメーターのセットまたは範囲の両方を含む、テストする意味のあるヌルを見つける必要があります。
グレッグスノー14年

1
@LilyLongでは、シミュレーションは以前よりもはるかに困難で時間がかかるため、テストはシミュレーションよりも速く/簡単になるように開発され、初期のテーブルの一部はシミュレーションによって作成されました。現在、多くのテストは簡単にシミュレーションに置き換えることができますが、伝統と単純さのために、おそらくもうしばらく使用するでしょう。
グレッグスノー

7

サンプルの分割は、おそらく統計の分布に関する問題を軽減するかもしれませんが、それを除去しません。

あなたのアイデアは、推定値が同じサンプルに基づいているため、推定値が母集団値に対して「近すぎる」という問題を回避します。

あなたは彼らがまだ推定している問題を避けていません。検定統計量の分布は表形式のものではありません。

この場合、nullの下で拒否率を劇的に低下させる代わりに増加させます。

より良い選択は、Shapiro Wilkなど、パラメーターが既知であると想定されていないテストを使用することです。

コルモゴロフ-スミルノフ型のテストに結婚しているなら、リリーフォースのテストのアプローチを取ることができます。

つまり、KS統計を使用するが、テスト統計の分布にパラメーター推定の効果を反映させるには、パラメーター推定の下でテスト統計の分布をシミュレートします。(もはやディストリビューションフリーではないため、ディストリビューションごとに新しいテーブルが必要です。)

http://en.wikipedia.org/wiki/Lilliefors_test

Lilieforsは正規および指数関数の場合にシミュレーションを使用しましたが、特定の分布に対しては簡単に実行できます。Rのようなものでは、10,000または100,000のサンプルをシミュレートし、nullの下で検定統計量の分布を取得するのはほんの一瞬です。

[代替案は、アンダーソン・ダーリングを検討することかもしれません。アンダーソン・ダーリングは、同じ問題を持っていますが、ダゴスティーノとスティーブンスの本から判断して(適合技術)それほど敏感ではないようです。Lillieforsのアイデアを採用することもできますが、比較的簡単に調整でき、かなりうまくいくようです。]

しかし、まだ他のアプローチがあります。適合度の滑らかなテストのファミリーがあります。たとえば、多くの特定のケースでパラメーター推定を処理できる(たとえば、Rayner and Bestの本を参照)。

*効果はまだかなり大きくなる可能性があります-おそらく通常受け入れられると見なされるよりも大きいです。モモはそれについて懸念を表明する権利があります。より高いタイプIエラー率(およびより平坦な電力曲線)が問題である場合、これは改善されない可能性があります!


1
「サンプルの分割が統計の分布に関する問題をどのように解決するか」を説明できますか?私の意見では、パラメーターはサブサンプルから推定され、2番目のサブサンプルのKSテストに差し込まれますが、パラメーターは依然として、ヌル分布では考慮されないサンプリングエラーに関連付けられます。これは、似たようなアイデアでサンプルを正規分布から分割し、1つのサブサンプルで標準偏差を推定し、2番目のサブサンプルでt-distではなく標準正規と平均比較を実行できるかのように聞こえます。
モモ

1
@Momo 'solve'は強すぎます。「削減」の方が優れています。テストしている同じ観測からパラメーターが推定される場合、その効果を考慮しない限り、分布からのサンプルの偏差は「小さすぎます」-棄却率は低下します。別のサンプルを使用すると、その影響はなくなります。2番目のサンプルから推定した結果のパラメーター値には、依然としてサンプリングエラーがあります。これはテストにある程度の影響を及ぼしますが(タイプIのエラー率を押し上げます)、両方に同じデータを使用するような劇的なバイアス効果はありません。
グレン_b-モニカを復活

@Momo私はコメントを編集して「解決」を削除し、それをいくつかの説明に置き換えました
Glen_b -Reinstate Monica

5

問題が解決しないのではないかと心配しています。問題は、パラメータが同じサンプルからではなく、すべてのサンプルから推定されることだと思います。KSテストの通常のヌル分布の導出では、参照分布のパラメーターの推定誤差は考慮されませんが、与えられたとおりに表示されます。Durbin 1973も参照してください。Durbinは、この問題について詳細に議論し、解決策を提供しています。


1
これらは、実際には2つの別個の問題です。同じデータを使用してパラメーターを推定し、KS-Testを実行すると、通常、データに対してテストする前に分布をデータに適合させるため、p値が膨らむことがわかります。ただし、2つの独立したサンプルセットを使用する場合は、そうではありません。ただし、不正確なパラメーター推定では、この場合に得られるp値が低下する可能性あります。これは、(わずかに)誤った分布に対して本質的にテストしているためです。
fgp
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.