コルモゴロフ–スミルノフ検定対t検定

2つのサンプルKSテストの解釈、および2つのグループ間の通常のtテストとの違いを理解するのに多少の困難があります。

男性と女性に何らかのタスクを実行させ、そのタスクからいくつかのスコアを収集するとします。私の究極の目標は、そのタスクで男性と女性のパフォーマンスが異なるかどうかを判断することです

したがって、私ができることの1つは、2つのグループ間でテストを実行することです。もう1つできることは、男性と女性のECDFを計算してプロットし、2サンプルのKSテストを実施することです。私はこのようなものを手に入れます：

KSテスト

KS検定の帰無仮説は、2セットの連続スコア分布が同じ母集団から得られるというものです

KSテストを実行すると、D = 0.18888、p-value = 0.04742が得られます

最初に、結果の解釈が正しいことを確認します。ここでは、帰無仮説を棄却し、男性と女性のスコア分布は異なる母集団に由来すると言います。または、言い換えれば、男性と女性のスコアの分布は互いに異なります。

より具体的には、男性はこのタスクでより低いスコアを達成する可能性が高い傾向があり、それはプロットから解釈すると2つの性別の違いです

T検定

テストでは、スコア変数で男性と女性の平均値の差をテストします。

このタスクで男性のパフォーマンスが女性より悪い場合を想像してみましょう。その場合、男性のスコアの分布は低い平均に集中し、女性のスコアの分布は高い平均に集中します。男性は低いスコアを達成する確率が高いため、このシナリオは上記のプロットと一致します。

t検定が有意であると判明した場合、私は女性が平均して男性よりも有意に高いスコアを獲得すると結論付けます。または、人口の観点では、女性のスコアは、男性の人口よりも平均が高い人口から引き出されます。これは、異なる人口から得られたKSの結論と非常によく似ています。

違いは何ですか？

したがって、KSとtの両方のテストケースで説明する結論は同じです。男性は女性に比べて成績が低い。それで、あるテストを他のテストよりも使用する利点は何ですか？KSテストを使用して得られる新しい知識はありますか？

私が見ているように、分布が低い平均を中心とする男性と高い平均を中心とする女性が、有意なt検定の原因です。しかし、そのまったく同じ事実により、男性はより低い値をスコアリングする確率が高くなり、プロットが上記のようになり、重要なKSテストが行​​われます。そのため、両方のテストの結果には同じ根本原因がありますが、KSテストでは分布の平均以上のものを考慮し、分布の形状も考慮するが、原因を解析することは可能です。テスト結果からの重要なKSテストの

では、テスト時にKSテストを実行することの価値は何ですか？そして、この質問のt検定の仮定を満たすことができると仮定しましょう

2つのサンプルKolmogorov-Smirnovテストを使用する理由の例として：

母集団の平均は似ていましたが、分散は非常に異なっていたと想像してください。Kolmogorov-Smirnov検定ではこの差を拾うことができますが、t検定ではできません。

または、分布が同様の平均とsdを持っているが、男性は二峰性分布（赤）を持ち、女性（青）はそうではないことを想像してください：

男性と女性のパフォーマンスは異なりますか？はい-男性は7.5-8または12.5-13のどこかで得点する傾向がありますが、女性はより中央（10かそこら）に向かって得点する傾向がありますが、その値については2つの値よりもはるかに少ないです男性は近くに得点する傾向があります。

そのため、コルモゴロフ-スミルノフは、t検定よりもはるかに一般的な分布の違いを見つけることができます。