大きなデータセットの有意水準を選択する方法は？

Nが約200,000のデータセットを使用しています。回帰では、r = 0.028などの非常に小さな効果サイズに関連する非常に小さな有意値<< 0.001が見られます。私が知りたいのは、サンプルサイズに関連して適切な有意性閾値を決定する原則的な方法がありますか？このような大きなサンプルを使用してエフェクトサイズを解釈する際に、他に重要な考慮事項はありますか？

— ted.strauss
ソース

これは、実用的と統計的有意性の問題です。傾きが0とはまったく異なる場合、たとえわずかな量（例：.00000000000001）であっても、十分な大きさのサンプルでは、実際的な意味はありませんが、非常に小さな

p

$p$ 値が得られます。サンプルサイズが大きい場合は、

p

$p$ 値よりもポイント推定値をより適切に解釈する必要があります。

— マクロ

@Macro申し訳ありませんが、ここでポイントの推定値の意味を明確にできますか？

— -ted.strauss

上記のマクロのコメントに加えて、この状況では、調査結果の「実用的」または「臨床的」重要性を探します。あなたが何をしているのか、あなたが気にするのに十分な効果はありますか？

— ミシェル

ポイント推定値は、観測された回帰スロープ推定値です。

— マクロ

@Macroと私が言っているのは、臨床効果（ポイント推定、勾配）が重要かどうかを判断する必要があるということです。p値のほとんど（すべて？）が重要であるため、しきい値は「はい、これは重要な臨床効果」ではなく「重要なp値」を決定することに基づいています。

— ミシェル

回答:

で有意性検定の取るに足りない、ジョンソン（1999）あなたがそれらを作ることができるという点で、そのp値は、任意で述べたあなたは十分なデータを集めることにより、望むように小さなとして、帰無仮説と仮定すると、それはほとんど常にある、falseです。現実の世界では、正確にゼロである準部分相関はありそうにありません。これは、回帰係数の有意性をテストする際の帰無仮説です。P値の有意性のカットオフはさらにarbitrary意的です。有意性と非有意性の間のカットオフとしての.05の値は、原則ではなく慣習によって使用されます。したがって、最初の質問に対する答えは「いいえ」です。適切な重要度のしきい値を決定する原則的な方法はありません。

それで、あなたの大きなデータセットを考えると、あなたは何ができますか？回帰係数の統計的有意性を調査する理由によって異なります。複雑な多因子システムをモデル化し、現実に合理的に適合または予測する有用な理論を開発しようとしていますか？その後、Rodgers（2010）、The Epistemology of Mathematical And Statistics Modelingで説明されているように、より精巧なモデルを開発し、モデル化の観点から考えることも考えられます。大量のデータを持つことの1つの利点は、非常に豊富なモデル、複数のレベルと興味深い相互作用を持つモデルを探索できることです（そうするための変数があると仮定します）。

一方、あなたは統計的に有意かどうか、特定の係数を治療するか否かのいくつかの判断を行いたい場合にまとめたように、あなたは良いの（1982）の提案をしたいかもしれませんウーリー（2003）計算：q値をこれは、p値を100のサンプルサイズに標準化します。正確に.001のp値は、0.045のp値に変換されます-統計的に有意です。 $p\cdot\sqrt{(n/100)}$

それでは、任意のしきい値などを使用して重要な場合、それは何ですか？これが観察研究である場合、モデルを誤って指定したために現れる偽の関係だけでなく、あなたが考える方法で実際に意味があることを正当化するために、さらに多くの作業があります。小さな効果は、治療効果ではなく、異なるレベルの治療を選択する人々の間の既存の違いを表す場合、臨床的にそれほど興味深いものではないことに注意してください。

コメント者が述べているように、あなたが見ている関係が実際に重要であるかどうかを考慮する必要があります。引用した数字をから変換する $r$ $r^2$ 説明する分散についてと（は相関であり、分散を説明するためにそれを平方すると）、それぞれ3％と6％の分散だけが説明されます。 $r$

— アン・Z
ソース

@ rolando2編集に感謝します。常に、大きい/小さいp値の間で混乱します！分布の右にある場合は大きいと思いますが、p値は小さいと思います。

— アンZ.

（+1）これは、多くの開業医が慎重に考えていない重要な事実です。「p値は任意であり、帰無仮説が偽であると仮定して十分なデータを収集することで、希望する限り小さくすることができます。ほとんどの場合です。」

— マクロ

ありがとうございました！最後から2番目の段落のポイントは十分に考慮されています。Woolleyの記事を読んでいますが、q-value式がオフになっています。p /ではなくp *である必要があります-ここで変更しようとしましたが、編集は6文字以上でなければなりません。

— -ted.strauss

@ ted.straussお役に立ててうれしいです。時々、p値などのツールの制限に気が進まないことがあります。数式の間違いに注意してくれてありがとう、私はそれを修正しました。

— アンZ.

すばらしい答えをありがとう。しかし、上記のリンクを使用してWoolley 2003の論文にアクセスすることはできません。

— KarthikS

-3

確認する簡単な方法は、1つの分布が2回あることを知っているものから同様に大きな数をランダムにサンプリングし、2つの結果を比較することだと思います。それを数回行い、同様のp値を観察すると、実際の効果がないことが示唆されます。反対にあなたがしなければ、おそらくあります。

— ラース・コトフ
ソース

大きなサンプルサイズで真の差がないという帰無仮説の下でシミュレーションを実行し、

値を調べることをお勧めしていると思います。シミュレーションを行わなくても、結果の

値の

割合は、元のポスターで観察されたものと同じくらい小さいことがわかります。これは、あらゆるサンプルサイズに当てはまります。これは

値の定義です。

p

$p$

< .001

$<.001$

p

$p$

p

$p$

— マクロ

実際には、

あなたが記載された方法で出てくる-値を有するであろう

分布。

p

$p$

U n i f o r m (0, 1)

${\rm Uniform}(0,1)$

— マクロ

@macroによって最後のコメントに関連して、ここで帰無仮説の下で、証拠のスケッチである

、

-値が有する

分布。検定統計量、所与の

我々が観察する場合、

、

-値は次のように定義されている

。

下で

H_{0}

$H_0$

p

$p$

U [0, 1]

$U[0,1]$

T = T (X)

$T=T(X)$

t = t (x)

$t=t(x)$

p

$p$

p (t) = P (T \geq t ∣ H_{0})

$p(t)=\mathbb{P}(T\geq t\mid H_0)$

H_{0}

$H_0$ の分布関数

ある

と、

T

$T$

G_{0}

$G_0$

G_{0}

$G_0$

G_{0}^{- 1}

$G_0^{-1}$

p (t) = 1 - G_{0} (t)

$p(t)=1-G_0(t)$

u \in [0, 1]

$u\in[0,1]$

P (p (T) \leq u) = P (1 - G_{0} (T) \leq u) = P (G_{0} (T) \geq 1 - u) = P (T \geq G_{0}^{- 1} (1 - u)) = 1 - G_{0} (G_{0}^{- 1} (1 - u)) = u .

$\mathbb{P}(p(T)\leq u) = \mathbb{P}(1-G_0(T)\leq u) = \mathbb{P}(G_0(T)\geq 1-u) = \mathbb{P}(T\geq G_0^{-1}(1-u)) = 1-G_0(G_0^{-1}(1-u))=u \, .$ Hence, we conclude that

p (T) ∣ H_{0} \sim U [0, 1]

$p(T)\mid H_0\sim U[0,1]$ .

— whuber