サンプルサイズが十分に大きい場合、実際の効果サイズが正確にゼロでない限り、テストは常に重要な結果を示します。どうして？

21

Wikipediaの効果サイズに関する記事で主張されていることに興味があります。具体的には：

[...] null以外の統計比較では、母集団効果サイズが正確にゼロでない限り、常に統計的に有意な結果が表示されます

これが何を意味/意味するのかはわかりませんが、それを裏付ける議論は言うまでもありません。結局、効果は統計、つまり、サンプルから計算された値であり、独自の分布を持っていると思います。これは、効果が単なるランダムな変動によるものではないことを意味しますか（これは重要ではないことを意味します）？次に、効果が十分に強いかどうか、つまり絶対値が高いかどうかだけを検討しますか？

私が最もよく知っている効果を考えています。ピアソン相関係数rはこれと矛盾するようです。が統計的に有意なのはなぜですか？が小さい場合、回帰直線 $r$ $r$

y = a x + b = r (\frac{s_{y}}{s_{x}}) = ϵ x + b

$y=ax+b = r\left(\frac {s_y}{s_x}\right) = \epsilon x+b$

小さな、0に近いです、F-テストはおそらくスロープを0を含む区間自信が含まれています。これは反例ではありませんか？ $\epsilon$

hypothesis-testing

— ゲイリー
ソース

10

ヒント：引用した部分の前の句は必須です。「サンプルサイズが十分に大きい場合、母集団効果サイズが正確にゼロでない限り、非null統計比較は常に統計的に有意な結果を示します…」

— -Kodiologist

@Kodiologist：しかし、私の例では、これは、サンプルサイズが大きい場合、r自体も大きくなることを意味しますか、または少なくともサンプルサイズが大きい場合、式は大きくなりますか？見えません。

r (s_{y} / s_{x})

$r(s_y/s_x)$

— ゲイリー

5

これが当てはまらない場合、統計的手法の欠陥になります。場合、確かにいくつかのサンプルサイズが違いを検出するために十分な大きさです。

μ > μ_{0}

$\mu > \mu_0$

— ジョンコールマン

26

簡単な例として、統計的なジャンボジャンボを使用してあなたの身長を推定するとします。

あなたはいつも自分が177 cm（約5フィート10インチ）であると他人に言いました。

この仮説（身長が177 cm、等しい）をテストし、測定の誤差を十分に減らすことができれば、実際には177 cmではないことを証明できます。最終的に、私があなたの身長を十分な小数位まで見積もった場合、あなたは確かに述べられた身長177.00000000 cmからほとんど確実に逸脱するでしょう。おそらく、あなたは177.02 cmです。あなたが177 cmではないことを知るために、誤差を.02未満に減らすだけです。 $h = 177$

統計のエラーを減らすにはどうすればよいですか？より大きなサンプルを入手してください。十分な大きさのサンプルを取得すると、誤差が非常に小さくなるため、帰無仮説から最も小さな偏差を検出できます。

— アンダーマイナー
ソース

2

これは非常に明確で簡潔な説明です。おそらく数学的な答えよりも、なぜこれが起こるのかを理解するのに役立つでしょう。よくやった。

— 誰も

1

わかりやすく説明していますが、記載されている値が本当に正確である場合があることを考慮することも重要だと思います。たとえば、弦理論などで発生する奇妙なことを別にすれば、私たちの宇宙の空間次元の数の測定（実行可能）は3になり、その測定をどれだけ正確に行っても、 3から統計的に有意な偏差を一貫して検出することはありません。もちろん、十分な回数テストを続けると、単に分散に起因する偏差が得られますが、それは別の問題です。

— デビッドZ

おそらく素朴な質問ですが、私が177cmだと主張する場合、有効数字の概念は176.5と177.5の間だと言っているだけではありませんか？答えは良い理論的概念を与えているように思えますが、それは誤った前提に基づいていないのでしょうか？私は何が欠けていますか？

— ジムローゼ

この場合、177の指定された高さは、統計の帰無仮説に類似しています。平等についての従来の仮説検定では、平等の声明を作成します（例：

）。ポイントは、あなたが身長を何と言おうとも、帰無仮説が完全に真でない限り、エラーを減らすことでそれを反証できるということです。わかりやすい例として身長を使用しましたが、この概念は他の領域でも同じです（物質xは癌を引き起こさない、このコインは公平です）

μ = 177

$\mu = 177$

— Underminer

13

@Kodiologistが指摘しているように、これは本当に大きなサンプルサイズで何が起こるかについてです。サンプルサイズが小さい場合、偽陽性または偽陰性を検出できない理由はありません。

-testは漸近的なケースを最も明確にすると思います。我々が持っていると仮定、我々はテストしたい対。我々の検定統計量は、 $z$ $X_1, \dots, X_n \stackrel{\text{iid}}\sim \mathcal N(\mu, 1)$ $H_0: \mu = 0$ $H_A: \mu \neq 0$

Z_{n} = \frac{{\bar{X}}_{n} - 0}{1 / \sqrt{n}} = \sqrt{n} {\bar{X}}_{n} .

$Z_n = \frac{\bar X_n - 0}{1 / \sqrt n} = \sqrt n\bar X_n.$

したがって、 $\bar X_n \sim \mathcal N(\mu, \frac 1n)$ 。我々は、に興味がある。 $Z_n = \sqrt n \bar X_n \sim \mathcal N(\mu \sqrt n, 1)$ $P(|Z_n| \geq \alpha)$

P (| Z_{n} | \geq α) = P (Z_{n} \leq - α) + P (Z_{n} \geq α)

$P(|Z_n| \geq \alpha) = P(Z_n \leq -\alpha)+ P(Z_n \geq \alpha)$

してみましょう

当社の参照変数です。下の

、我々は持っているので、

我々が選択できるように

、必要に応じて、当社のタイプIエラー率を制御します。しかし、下

= 1 + Φ (- α - μ \sqrt{n}) - Φ (α - μ \sqrt{n}) .

$= 1 + \Phi(-\alpha - \mu\sqrt n) - \Phi(\alpha - \mu \sqrt n).$

Y \sim N (0, 1)

$Y \sim \mathcal N(0,1)$

H_{0}

$H_0$

μ = 0

$\mu = 0$

P (| Z_{n} | \geq α) = 1 - P (- α \leq Y \leq α)

$P(|Z_n| \geq \alpha) = 1 - P(-\alpha \leq Y \leq \alpha)$

α

$\alpha$

H_{A}

$H_A$

ので、

の確率1と我々が拒否するように

場合

（

の場合であり、

ですが、どちらの場合も無限大の符号は同じです）。

μ \sqrt{n} \neq 0

$\mu \sqrt n \neq 0$

P (| Z_{n} | \geq α) \to 1 + Φ (\pm \infty) - Φ (\pm \infty) = 1

$P(|Z_n| \geq \alpha) \to 1 + \Phi(\pm\infty) - \Phi(\pm\infty) = 1$

H_{0}

$H_0$

μ \neq 0

$\mu \neq 0$

\pm

$\pm$

μ < 0

$\mu < 0$

$\mu$ $0$ $\mu$ $0$ $1$ $n$ $H_A$ $1$ $n \to \infty$

$H_0 : \rho = \rho_0$ $H_A: \rho \neq \rho_0$ $1$

— jld
ソース

1

μ < 0

$μ < 0$

Z_{n}

$Z_n$

- \infty

$-\infty$

\infty

$\infty$

1

μ = 0

$\mu=0$

\bar{X} \to_{p} 0

$\bar{X}\to_p 0$

\sqrt{n} \to \infty

$\sqrt{n}\to \infty$

1

@DeltaIV、そうです、収束率が異なる場合、非縮退ヌル分布を得るには異なるスケーリングが必要です。ただし、現在の例では、root-nが適切なレートです。

— クリストフハンク

1

\sqrt{n} \bar{X}

$\sqrt n \bar X$

0

$0$

7

「これは常に起こる」という使用以外の理由がなければ、彼らが言ったことは間違いです。

これがあなたが抱えている混乱の核心かどうかはわかりませんが、多くの人がこれで混乱していると思うので、それを投稿します。

$X$ $n$ $n > n_0$ $X$

$\lim\limits_{n\to\infty} \Pr (X) = 1$

彼らが文字通り言っていることは、以下に翻訳されます：

最小サイズ超えるサンプルサイズ場合、真の効果サイズが正確にゼロでない場合、null以外のテストの結果は有意であることが保証されます。 $n$ $n_0$

ただし、彼らが言おうとしていたことは次のとおりです。

どの有意水準でも、サンプルサイズが増加すると、真の効果サイズが正確にゼロでない場合、非ヌルテストで有意な結果が得られる確率は1に近づきます。

ここには重大な違いがあります。

保証はありません。あなただけのより多くのある可能性の高い大きなサンプルで有意な結果を得るために。今、彼らはここでの責任の一部をかわすことができます。確率的な文脈では、「nが十分に大きい場合X」 という文は、「nが大きくなるにつれてXがますます真になる可能性がある」ことを意味すると解釈することもできます。しかし、この解釈は、彼らがこの「常に」起こると言うとすぐに私の窓から消えます。ここでの適切な用語は、これが「高い確率で」発生すると言うことでした¹。
これは二次的ですが、その文言は紛らわしいです-サンプルサイズを「十分に大きい」に修正すると、そのステートメントはどの有意水準でも当てはまることを暗示しているようです。ただし、正確な数学的ステートメントが何であるかに関係なく、それは実際には意味がありません。常に最初に有意水準を修正し、次に十分に大きいサンプルサイズを選択します。
しかし、残念ながらそれが何らかの方法で回避される可能性があるという提案は、「十分に大きい」という解釈を強調するため、上記の問題はさらに悪化します。 $n > n_0$

しかし、いったん文学を理解すれば、彼らが言おうとしていることを理解できます。

（補足：ついでに言えば、これは多くの人がウィキペディアで抱えている恒常的な問題の1つです。多くの場合、既に資料を知っている場合にのみ彼らの言っていることを理解できるため、参照またはリマインダーとしてのみ有効です、自己学習教材としてではありません。）

_{¹仲間の仲間（こんにちは！）には、はい、この用語は私がリンクしたものよりも具体的な意味を持っています。ここでおそらく最もゆるい専門用語は、「ほぼ確実に漸近的に」です。こちらをご覧ください。}

— メールダード
ソース

「真の効果サイズが正確にゼロの場合、null以外のテストで有意な結果が得られる確率は0に近くなります」：テストに有意水準がある場合、有意な結果が得られる確率はまたは、すべてのサンプルサイズで

α

$\alpha$

α

$\alpha$

— ヘンリー

@ヘンリー：ああ、シュート、あなたは正しい！私はそれを非常に速く書いたので、考えるのをやめませんでした。トンありがとう！私はそれを修正しました。:)

— Mehrdad

3

私のお気に入りの例は、性別による指の数です。ほとんどの人は10本の指を持っています。事故で指を失った人もいます。いくつかの余分な指があります。

男性が女性よりも指の数が多いかどうかはわかりません（平均）。容易に入手できるすべての証拠は、男性と女性の両方が10本の指を持っていることを示唆しています。

しかし、私がすべての男性とすべての女性の人口調査を行った場合、一方の性別が他方よりも平均的な指を持っていることを知ると確信しています。

— エモリー
ソース

サンプルサイズが十分に大きい場合、実際の効果サイズが正確にゼロでない限り、テストは常に重要な結果を示します。どうして？

XXXnnnn>n0n>n0n > n_0XXX

limn→∞Pr(X)=1limn→∞Pr(X)=1\lim\limits_{n\to\infty} \Pr (X) = 1

$X$ $n$ $n > n_0$ $X$

$\lim\limits_{n\to\infty} \Pr (X) = 1$