ノンパラメトリックテストは正確に何を達成し、結果をどうしますか？

私はこれが他の場所で尋ねられたかもしれないと感じていますが、実際に私が必要とする基本的な説明のタイプではありません。ノンパラメトリックは、比較するために平均ではなく中央値に依存していることを知っています...何か。また、標準偏差ではなく「自由度」（？）に依存していると思います。私が間違っている場合は修正してください。

私はかなり良い研究をしてきたので、コンセプト、その背後にある仕組み、テスト結果が本当に意味すること、および/またはテスト結果をどう処理するかを理解しようとして考えました。しかし、誰もその地域に進出することはないようです。

簡単にするために、Mann-WhitneyのU検定に固執しましょう。これは非常に人気があることに気づきました（また、「正方形のモデルを円の穴に入れる」ために誤用され、過度に使用されているようです）。他のテストについても自由に説明したい場合は、一度理解すれば、他のテストもさまざまなt検定などに類似した方法で理解できます。

データでノンパラメトリックテストを実行し、この結果を取得したとしましょう。

2 Sample Mann-Whitney - Customer Type       

Test Information        
H0: Median Difference = 0       
Ha: Median Difference ≠ 0       

Size of Customer    Large   Small
Count                    45    55
Median                    2     2

Mann-Whitney Statistic: 2162.00 
p-value (2-sided, adjusted for ties):   0.4156  

私は他の方法に精通していますが、ここで何が違うのですか？p値を.05より低くする必要がありますか？「マン・ホイットニー統計」とはどういう意味ですか？それに用途はありますか？ここでのこの情報は、私が持っている特定のデータソースを使用する必要があるかどうかを確認するだけですか？

私は回帰と基本の合理的な量の経験を持っていますが、この「特別な」ノンパラメトリックなものに非常に興味があります。

私が5年生だと想像して、あなたがそれを私に説明できるかどうか確かめてください。

ノンパラメトリックは平均ではなく中央値に依存することを知っています

この意味で、ノンパラメトリック検定が実際に中央値に「依存」することはほとんどありません。私はカップルのことしか考えられません...そして、あなたが聞いたことがあるかもしれないと思うのはサインテストだけでしょう。

比較するために...何か。

中央値に依存している場合、おそらく中央値を比較することでしょう。しかし-多くの情報源があなたに伝えようとしていることにもかかわらず-署名されたランクテスト、またはウィルコクソン-マン-ホイットニーまたはクラスカル-ワリスのようなテストは、実際には中央値のテストではありません。いくつかの追加の仮定を行う場合、ウィルコクソン-マン-ホイットニーとクラスカル-ワリスを中央値の検定と見なすことができますが、同じ仮定（分布平均が存在する限り）を平均の検定と見なすことができます。

符号付きランク検定に関連する実際の位置推定は、サンプル内のペアワイズ平均の中央値であり、ウィルコクソン-マン-ホイットニー（およびクラスカル-ワリスの含意による）の値は、サンプル間のペアワイズ差の中央値です。 。

また、「自由度」に依存していると思います。標準偏差の代わりに。私が間違っている場合は修正してください。

ほとんどのノンパラメトリックテストには「自由度」がありませんが、多くの分布はサンプルサイズによって変化し、テーブルがサンプルサイズによって変化するという意味で、ある程度自由度に似ていると考えるかもしれません。サンプルはもちろんその特性を保持し、その意味でnの自由度を持っていますが、検定統計量の分布の自由度は通常、私たちが関心を持っているものではありません。自由度のようなものを持っていることがあります-たとえば、クラスカル・ワリスは基本的にカイ二乗と同じ意味で自由度を持っていると主張することができますが、通常は見ていませんその方法（例えば、誰かがクラスカル・ワリスの自由度について話している場合、それらはほとんど常にdfを意味します

自由度の良い議論はここにあります /

私はかなり良い研究をしてきたので、概念、その背後にある仕組み、テスト結果が本当に意味すること、および/またはテスト結果をどう処理するかを理解しようとして考えました。しかし、誰もその地域に進出することはないようです。

これがどういう意味かわかりません。

ConoverのPractical Nonparametric Statisticsのような本や、Neave and Worthingtonの本（Distribution-Free Tests）を入手できれば提案できますが、他にも多くの本があります-Marascuilo＆McSweeney、Hollander＆Wolfe、またはDanielの本などです。私はあなたに最も話しかけるものを少なくとも3つまたは4つ、できれば物事をできる限り異なる方法で説明するものを読むことをお勧めします（これは少なくとも6または7冊の本を読んで、それに合った3つを見つけることを意味します）。

簡単にするために、Mann Whitney Uテストに固執します。

それは、「誰もその地域に進出したことがないようだ」というあなたの声明について私を困惑させたものです。

-また、一見誤用され、過度に使用されている

ウィルコクソン-マン-ホイットニーを含む）ノンパラメトリックテストは一般に十分に使用されていないと思います-最も特に順列/ランダム化テストですが、それらが頻繁に誤用されていることを必ずしも論争するわけではありません（しかし、パラメトリックテストもそうです）もっとそう）。

データでノンパラメトリックテストを実行し、この結果を取得したとしましょう。

[中略]

私は他の方法に精通していますが、ここで何が違うのですか？

他にどのような方法を意味しますか？これを何と比較してほしいですか？

編集：後で回帰について言及します。その場合、2サンプルのt検定に精通していると仮定します（実際には回帰の特別なケースであるため）。

通常の2標本t検定の仮定の下では、帰無仮説は、2つの母集団が同一であり、分布の1つがシフトしたという対立仮説に反します。以下のWilcoxon-Mann-Whitneyの2つの仮説の最初のセットを見ると、そこでテストされている基本的なことはほとんど同じです。t検定は、サンプルが同一の正規分布（位置シフトの可能性を除く）からのものであると仮定することに基づいているだけです。帰無仮説が真であり、付随する仮定が真である場合、検定統計量にはt分布があります。対立仮説が真である場合、検定統計量は帰無仮説と一致しないように見えますが、対立仮説と一致するように見える値を取る可能性が高くなります。

状況はWilcoxon-Mann-Whitneyと非常に似ていますが、ヌルからの偏差を測定する方法が多少異なります。実際、t検定の仮定がtrue *である場合、それは可能な限り最高の検定（t検定）とほとんど同じです。

*（実際にはそうではありませんが、実際にはそれほど問題ではありません）

実際、Wilcoxon-Mann-Whitneyは、データのランクで実行される「t検定」と効果的に見なすことができます。ただし、t分布はありません。統計は、データのランクで計算された2サンプルのt統計の単調関数であるため、サンプル空間で同じ順序**を導きます（つまり、ランクの「t検定」-適切に実行されます- Wilcoxon-Mann-Whitneyと同じp値を生成するため、まったく同じケースを拒否します。

**（厳密には、部分的な順序付けですが、それはさておきましょう）

[ランクを使用するだけで多くの情報が失われると考えられますが、データが同じ分散を持つ通常の母集団から取得される場合、位置シフトに関するほとんどすべての情報はランクのパターンに含まれます。実際のデータ値（ランクに条件付き）は、追加情報をほとんど追加しません。あなたが通常よりも重い尾になった場合、ウィルコクソン・マン・ホイットニー検定がより良い力を持ち、その名目上の有意水準を保持するのはそう長くはかからないので、ランクの上の「余分な」情報は最終的に単なる有益ではなく、誤解を招く感覚。ただし、ほぼ対称の太い尾はまれな状況です。実際によく見られるのは歪度です。]

基本的な考え方は非常に似ており、p値の解釈は同じです（帰無仮説が真の場合、結果の確率、またはより極端な結果）-位置シフトの解釈まで、必要な仮定（この投稿の終わり近くにある仮説の議論を参照）。

t検定について上記のプロットと同じシミュレーションを行った場合、プロットは非常によく似ています。x軸とy軸のスケールは異なって見えますが、基本的な外観は似ています。

p値を.05より低くする必要がありますか？

あなたはそこに何も「望まない」べきではありません。アイデアは、特定の結果を「希望」するのではなく、サンプルが偶然に説明できるものよりも（場所の意味で）異なるかどうかを調べることです。

私はそれの公平な評価をしたい場合、私はあなたが「男を行くことにしたくない「あなたは色のRajの車がしてくださいますか？何を見に行くことができます」と言った場合、私は本当に、本当にそれは青いですね！それはちょうど持っていること青い"。「何かが必要だ」と言うよりは、状況が何であるかを見るのが最善です。

選択した有意水準が0.05の場合、p値が0.05未満の場合、帰無仮説を棄却します。しかし、関連する効果サイズをほぼ常に検出するのに十分な大きさのサンプルサイズがある場合に拒否しないことは、少なくとも同じくらい興味深いものです。

「マン・ホイットリー」の数字の意味は何ですか？

マン・ホイットニー統計。

これは、帰無仮説が真である場合に取ることができる値の分布と比較してのみ意味があり（上記の図を参照）、それは特定のプログラムが使用するいくつかの特定の定義に依存します。

それに用途はありますか？

通常、正確な値自体は気にしませんが、null分布のどこにあるか（null仮説が真であるときに表示される値の多かれ少なかれ典型的なものか、それともより極端かどうか）

（編集：このようなテストを行うと、以下で説明するロケーションシフトまたはように、いくつかの直接的な情報量を取得または計算できます。統計だけではあまり有益な数値ではありません）$P(X<Y)$

このデータは、特定のデータソースを使用する必要があるかどうかを確認するだけですか、確認しませんか？

このテストでは、「特定のデータソースを使用する必要があるかどうか」については何も言われていません。

以下のWMW仮説を見る2つの方法についての私の議論を参照してください。

私は回帰と基本についてかなりの経験を持っていますが、この「特別な」ノンパラメトリックなものに非常に興味があります

ノンパラメトリックテストについて特別なことは何もありません（「標準」テストは、多くの点で典型的なパラメトリックテストよりも基本的です）-実際に仮説テストを理解している限り。

ただし、これはおそらく別の質問のトピックです。

Wilcoxon-Mann-Whitney仮説検定を見るには、主に2つの方法があります。

i）「位置シフトに興味があります-つまり、帰無仮説では、2つの母集団は同じ（連続的な）分布を持ち、一方に対して「上下」にシフトするという選択肢に対してその他」

Wilcoxon-Mann-Whitneyは、この仮定を行うと非常にうまく機能します（代替手段は単なる位置シフトである）

この場合、Wilcoxon-Mann-Whitneyは実際には中央値の検定です...しかし、同様に平均、または実際に他の位置等価統計（たとえば、90パーセンタイル、またはトリミングされた平均、または任意の数の検定）です。他のもの）、それらはすべて位置シフトによる同じ影響を受けているためです。

これの良いところは、非常に簡単に解釈できることです-そして、この位置シフトの信頼区間を生成するのは簡単です。

ただし、Wilcoxon-Mann-Whitney検定は、位置シフト以外の種類の違いに敏感です。

ii）もう1つは、完全に一般的なアプローチをとることです。これは、母集団1のランダム値が母集団2のランダム値より小さい確率の検定として特徴付けることができます（実際、Wilcoxon-Mann-Whitney統計をその確率の直接推定に変換できます。 「非常に傾向があります.U統計の観点からのMann＆Whitneyの定式化は、サンプル内で一方が他方を超える回数をカウントするため、確率の推定値を達成するためのスケールのみが必要です）; ヌルは、人口確率であることであるが異なること代替に対して、。$\frac{1}{2}$$\frac{1}{2}$

あなたと私がトラックチームを指導しているとします。私たちのアスリートは同じ学校から来ており、年齢も同じで、性別も同じです（つまり、同じ人口から集められています）が、チームメンバーがあなたのもの。それが本当に機能することをどのように納得させることができますか？

レースがあります。

その後、私は座って、私のチームのメンバーの平均時間とあなたのメンバーの平均時間を計算します。私のアスリートの平均時間があなたの平均よりも速いだけでなく、結果の「散布」または標準偏差と比較して差が大きい場合、勝利を主張します。

「しかしマット」、あなたは文句を言います、「これはかなり公平ではありません。私たちのチームはかなり似ていますが、あなたは-純粋なチャンスのために-地区で最速のランナーになりました。彼は誰と同じリーグにいませんそれ以外の場合、彼は自然の変人であり、彼は2番目に速いフィニッシャーの3分前にフィニッシュしたため、平均時間が大幅に短縮されましたが、残りの競合他社はかなり均等に混ざっています。実際に動作するのは、初期のフィニッシャーのほとんどはチームからのものですが、そうでない場合、フィニッシュの順序はかなりランダムでなければなりません。これはスーパースターに過度の重みを与えません！」

$t$

$p$

$t$$t$$t$

間違っている場合は修正するように求めました。@Peter Flomの前向きな提案を補完するために、その見出しの下にいくつかのコメントがあります。

• 「ノンパラメトリックは平均ではなく中央値に依存します」：実際にはよく使用されますが、それは定義ではありません。いくつかのノンパラメトリック検定（カイ二乗など）は、中央値とは関係ありません。

• 標準偏差ではなく自由度に依存します。それは非常に混乱しています。自由度の概念は、標準偏差に代わるものではありません。アイデアが統計全体に適用される自由度。

• 「使用すべきまたは使用すべきでない特定のデータソース」：この質問は、適用した有意性テストとは関係ありません。これは、データのサブセット間の差についてのみであり、中央値間の差に関して表現されています。

ここで、他のテストで必要なものと同じものをp値から「望み」ます。

U統計は、t統計、オッズ比、F統計、またはあなたが持っているものと同様に、計算の結果です。数式は多くの場所で見つけることができます。それはあまり直感的ではありませんが、慣れるまで他のテスト統計値はありません（2の時点では常に見ているため、有意な範囲にあると認識しています）。

ブロックテキストの残りの出力は明確になっているはずです。

ノンパラメトリックテストのより一般的な紹介については、@ NickCoxをエコーし​​ます....良い本を入手します。ノンパラメトリックとは、単に「パラメーターなし」を意味します。さまざまな目的のためのノンパラメトリックテストと統計が多数あります。

最近閉じられた質問への応答として、これは上記にも対処します。以下はブラッドリーの古典的な分布のない統計的検定（1968、p。15–16）からの引用です。これは少し長いですが、かなり明確な説明です。

ノンパラメトリックおよび分布フリーという用語は同義語ではなく、どちらの用語も参照する統計のクラスについて完全に満足のいく説明を提供しません。統計的密度関数では、分布のないテストは、サンプリングされた母集団の正確な形について何も仮定しないテストです。定義は相互に排他的ではなく、テストは無配布とパラメトリックの両方になります。…無配布の意味を完全に明確にするには、3つの配布を区別する必要があります。サンプリングされた母集団; （b）テストで実際に使用される観測特性のそれ。（c）検定統計量のもの。テストが「無料」である分布は、サンプリングされた母集団（a）の分布です。そして、彼らが享受する自由は通常相対的です。しかし、分布が完全に指定されている母集団を暗示するほど仮定は決して精巧ではありません。…理由…非常に単純です。[ノンパラメトリック]検定では、変量のその他の強くリンクされた母集団属性もありません。代わりに 変量のその他の強くリンクされた母集団属性もありません。代わりに 変量のその他の強くリンクされた母集団属性もありません。代わりに得られた観測値のサンプルにリンクされた特性…テスト統計で使用される情報を提供します。…したがって、パラメトリック検定とノンパラメトリック検定の両方で、観測に関連する分布の形式が完全に知られている必要があります。一般に、将来の広告ではないため、必要な大きさの分布は、近似または不完全な情報に基づいて「推定」または推測する必要があります。ノンパラメトリックの場合、他方では、観測特性の分布通常、先験的な考慮事項から正確に知られているため、「想定」する必要はありません。したがって、違いは要件の違いではなく、要件の要件と、要件が満たされる確実性の違いです。