大規模なサンプルで無関係なリグレッサが統計的に有意になるのはなぜですか？

統計的有意性、効果の大きさなどをよりよく理解しようとしています。

大規模なサンプルでは、​​無関係なリグレッサでさえ統計的に有意になることがよくあるという認識があります（おそらく間違っています）。無関係な私回帰は、従属変数に関連しなければならない理由は何の主題の説明がないことを意味します。したがって、この投稿の無関係性は純粋な主題概念であり、統計的概念ではありません。

（ここで説明するように）母集団の影響が正確にゼロでない限り、十分に大きなサンプルが与えられれば、リグレッサは統計的に有意であることを知っています。したがって、大きなサンプルで統計的に有意であると思われる無関係なリグレッサは、母集団でゼロ以外の効果サイズを持っています。

質問：

1. 無関係なリグレッサが統計的に有意であることが判明するのはなぜですか？
2. 主題の説明を探す必要がありますか（つまり、関連性を否定しようとします）、これは統計的な現象ですか？

これは、私がこの効果をどのように治すかを明確にしようとしていた投稿の続きです。一方、ここで、なぜそもそもそれが起こるのかを尋ねています。

質問：

無関係なリグレッサが統計的に有意であることが判明するのはなぜですか？

サンプルサイズが母集団自体に近づいたときに何が起こるかについて考えることは役立つと思います。有意性検定は、母集団に影響が存在するかどうかを示すためのものです。これが、国勢調査データ（人口を調査するデータ）を操作する場合、有意性検定が無意味である理由です（なぜなら、何に一般化しようとしているのですか？）。

それを念頭に置いて、「人口への影響」とはどういう意味ですか？それは、たとえその関係が宇宙の偶然性とランダム性によるものであったとしても、それがどれだけ小さくても（1ポイントまたは1人の違いであっても）母集団内の変数間の関係を単に意味します。

あなたのサンプルが母集団の大きさに近づくにつれのでこのように、有意性検定は少なく有意義になる任意の差は「統計学的に有意」となります。そのとき、あなたがもっと興味を持つのは、効果の大きさです。これは、「実質的に重要」に類似しています。

主題の説明（つまり、無関係を否定しようとする）を探すべきですか、それとも統計的な現象ですか？

それは現象です-エフェクトサイズを見てください。

サンプルサイズが母集団に近づいていない場合でも、大きなサンプルでは小さな影響が大きくなります。これは、統計的有意性の意味の結果です。

このサンプルが採取された母集団において、帰無仮説が真であった場合、私たちが持っているサイズのサンプルで少なくともこれほど大きな検定統計量が得られる可能性は（XX％）ですか？

あなたの質問が地球上のすべての人々について何かである場合、1,000,000のサンプルを取得すると（7,000,000,000に近くない）、非常に小さな影響でも重要になります。これは、nullがtrueの場合、大きなサンプルでそのようなテスト統計を見つけることはほとんどないためです。 。

多くの場所で議論されている有意性検定には多くの問題があります。これはその1つです。「治療法」は、効果のサイズと信頼区間を調べることです。

母集団の知識がそのような影響を示唆していない場合でも、母集団の影響の存在の説明を提供するために、@ QxVからいくつかの洞察を借りました。

特徴およびを持つ母集団を生成する母集団生成プロセス（PGP）があるとします。PGPの式は、とがランダムな誤差項まで独立している式です。このランダムなエラー項が原因で、有限の化およびは、正確な無相関性の確率がゼロになります。つまり、です。もしそうなら、確率1で人口効果があります。それが人口にどのように影響を与えるかです。、X 、Y 、X 、Y 、R 、E 、A 、L 、I 、Z 、E 、D、X 、R 、E 、A 、L 、I Z のE D P （Y R E A L I Z E D ⊥ X R E A L I Z のE D）= $y$$x$$y$$x$$y_{realized}$$x_{realized}$$P(y_{realized} \perp x_{realized})=0$

母集団効果が存在する場合、サンプルでそれを検出するとき、および統計的に有意になるときは、サンプルサイズの問題です。

すでに投稿された優れた回答に加えて、別の視点から試みます。すべてのモデルは、ある意味で近似です...いくつかの回帰モデルを見てください。いくつかの無関係な変数が重要です。それを説明できるものは何ですか？

1. 多分それは無関係ではないかもしれません、その問題に関する今日の科学的コンセンサスはちょうど間違っています。それとは別に：

2. これは、関連があり、関連のない変数と相関しているいくつかの省略された変数の代理またはプロキシである可能性があります。

3. モデルに線形に含まれている一部の関連する変数は、非線形に動作する可能性があり、関連しない変数は、関連する変数のその部分の代わりになる可能性があります。

4. 2つの関連する変数間の相互作用は重要ですが、モデルには含まれていません。あなたの無関係な変数は、その省略された相互作用の代わりになるかもしれません。

5. 無関係な変数は、いくつかの重要な変数と非常に高度に相関し、負の相関係数につながる可能性があります。これは、この変数に測定エラーがある場合は特に重要です。

6. 非常に高いレバレッジを持ついくつかの観測があり、奇妙な見積もりにつながる可能性があります。

確かにその他...重要な点は、線形回帰モデルは小さなサンプルでは非常に良い近似であり、大きな効果のみが重要になるということです。ただし、サンプルが大きくなると分散が低くなりますが、近似によるバイアスを減らすことはできません。したがって、サンプルが大きくなると、モデルの不備が明らかになり、最終的に分散よりも優位になります。

いいえ。サンプルサイズが増加しても、無関係なリグレッサは統計的に有意になりません。Rで次のコードを試してください。

y <-rnorm（10000000）

x <-rnorm（10000000）

要約（lm（y〜x））