重回帰の最小サンプルサイズの経験則

72

社会科学の研究提案の文脈の中で、私は次の質問をされました。

重回帰の最小サンプルサイズを決定するときは、常に100 + m（mは予測子の数）になりました。これは適切ですか？

同様の質問が頻繁に出ますが、多くの場合、経験則が異なります。また、さまざまな教科書でそのような経験則をかなり読みました。引用に関するルールの人気は、基準がどれだけ低く設定されているかに基づいているのかと疑問に思うことがあります。ただし、意思決定を簡素化する上での優れたヒューリスティックの価値も認識しています。

質問：

調査研究を設計する応用研究者の文脈の中で、最小サンプルサイズの単純な経験則の有用性は何ですか？
重回帰の最小サンプルサイズの代替経験則を提案しますか？
あるいは、重回帰の最小サンプルサイズを決定するために、どのような代替戦略を提案しますか？特に、非統計学者が戦略を容易に適用できる程度に値が割り当てられるとよいでしょう。

— ジェロミー・アングリム
ソース

36

私は、最小サンプルサイズを生成するための単純な式のファンではありません。少なくとも、どの式でも効果の大きさと関心のある質問を考慮する必要があります。そして、カットオフの両側の違いはごくわずかです。

最適化問題としてのサンプルサイズ

サンプルが大きいほど良い。
多くの場合、サンプルサイズは実際的な考慮事項によって決定されます。
サンプルサイズは、追加の参加者を獲得するための時間、費用、労力などのコストが、追加の参加者の利点と比較検討される最適化問題の1つの考慮事項と見なされる必要があります。

大まかな経験則

能力テスト、態度尺度、人格尺度などのようなものを含む観察心理学的研究の典型的なコンテキスト内の非常に大まかな経験則の観点から、私は時々考える：

n = 100が適切
n = 200良好
n = 400以上

これらの経験則は、これらの各レベルでの相関関係に関連する95％の信頼区間と、関心のある関係を理論的に理解したい精度に基づいています。ただし、これはヒューリスティックです。

G Power 3

私は通常、様々な仮定に基づいて電力を計算するためにG-電源3を使用して私のポストを参照してください。
重回帰に特化したG Power 3サイトのこのチュートリアルを参照してください
パワープライマーはまた、適用される研究者のための便利なツールです。

多重回帰は複数の仮説をテストします

電力分析の質問には、効果の大きさを考慮する必要があります。
多重回帰の検出力分析は、全体的なr 2乗と個々の係数ごとに1つずつを含む複数の効果があるため、より複雑になります。さらに、ほとんどの研究には複数の重回帰が含まれています。私にとって、これは、一般的なヒューリスティックに頼り、検出したい最小効果サイズについて考えるさらなる理由です。
重回帰に関しては、基礎となる相関行列を推定する際の精度の観点から考えることがよくあります。

パラメーター推定の精度

また、Ken Kelleyと同僚によるパラメーター推定の精度に関する議論も気に入っています。

出版物については、Ken KelleyのWebサイトを参照してください。
@Dmitrijが述べたように、Kelley and Maxwell（2003）FREE PDFには役立つ記事があります。
Ken Kelleyは、MBESSサンプルサイズをパラメータ推定の精度に関連付ける分析を実行するために、Rでパッケージを開発しました。

— ジェロミー・アングリム
ソース

17

これを電力の問題と考えるのは好みませんが、「見かけのを信頼できるようにするには、大きさはどうすればよいのか」という質問をします。それにアプローチする一つの方法は、間の比または差を検討することである及び、調整された後者ので与えられるおよび「真の」より公平な推定を形成します。 $n$ $R^2$ $R^2$ $R_{adj}^{2}$ $R^2$ $1 - (1 - R^{2})\frac{n-1}{n-p-1}$ $R^2$

いくつかのRコードは、要因を解くために使用することができあるようでなければならないのみ係数であるよりも小さいまたはによってのみ小さい。 $p$ $n-1$ $R_{adj}^{2}$ $k$ $R^2$ $k$

require(Hmisc)
dop <- function(k, type) {
  z <- list()
  R2 <- seq(.01, .99, by=.01)
  for(a in k) z[[as.character(a)]] <-
    list(R2=R2, pfact=if(type=='relative') ((1/R2) - a) / (1 - a) else
         (1 - R2 + a) /  a)
  labcurve(z, pl=TRUE, ylim=c(0,100), adj=0, offset=3,
           xlab=expression(R^2), ylab=expression(paste('Multiple of ',p)))
}
par(mfrow=c(1,2))
dop(c(.9, .95, .975), 'relative')
dop(c(.075, .05, .04, .025, .02, .01), 'absolute')

ここに画像の説明を入力してください凡例：劣化からの相対的な低下達成するに示される相対因子（左パネル、3つの因子）または絶対差（右パネル、によっての6デクリメント）。 $R^{2}$ $R^{2}$ $R^{2}_{adj}$

誰かがすでにこれを印刷物で見ているなら、私に知らせてください。

— フランク・ハレル
ソース

1

+1。私は、私はむしろ基本＆何かを明らかに欠けている疑いがあるが、なぜ私たちはの能力使用する必要があります推定するための基準としての？が低くても、すでににアクセスできます。これは最小限に十分な考えるための正しい方法である理由を説明する方法がある落札という事実の外のより良い推定？

{\hat{R}}^{2}

$\hat R^2$

R^{2}

$R^2$

R_{a d j}^{2}

$R^2_{adj}$

N

$N$

N

$N$

{\hat{R}}^{2}

$\hat R^2$

R^{2}

$R^2$

— GUNG -モニカ元に戻し

@FrankHarrell：ここを見てください。著者は、上記の投稿のプロットとほぼ同じ方法でプロット260〜263を使用しているようです。

— user603

5

参照いただきありがとうございます。@gungそれはいい質問です。1つの（弱い）答えは、一部のタイプのモデルではがなく、変数の選択が行われた場合に調整されたインデックスもありません。しかし、主な考え方は、がバイアスされていない場合、ランク相関測定などの予測判別の他のインデックスも、サンプルサイズの妥当性と最小オーバーフィッティングのためにバイアスされない可能性が高いということです。

R_{a d j}^{2}

$R^{2}_{adj}$

R^{2}

$R^2$

— フランクハレル

12

（+1）私の意見では、確かに重要な質問です。

マクロ計量経済学では、通常、ミクロ、金融、社会学の実験よりもサンプルサイズがはるかに小さくなります。研究者は、少なくとも実行可能な推定を提供できる場合、非常に気分が良いです。私の最小の経験則は（1つの推定パラメーターで自由度）。他の応用研究分野では、通常、データの方が幸運です（あまり高くない場合は、より多くのデータポイントを収集するだけです）。サンプルの最適なサイズ（そのような最小値だけでなく）を尋ねることができます。後者の問題は、低品質の（ノイズの多い）データは、高品質のデータの小さなサンプルよりも優れていないという事実に由来します。 $4\cdot m$ $4$

サンプルサイズのほとんどは、重回帰モデルを近似した後にテストする仮説のテストの力にリンクされています。

複数の回帰モデルや、背後にある数式に役立つ計算機があります。このような事前計算機は、統計学者以外でも簡単に適用できると思います。

おそらくK.KelleyとSEMaxwellの記事は他の質問に答えるのに役立つかもしれませんが、最初に問題を研究するためにもっと時間が必要です。

— ドミトリー・チェロフ
ソース

11

が非常に大きい場合、経験則は特に適切ではありません。取る：ルールは、観測値で変数に適合することをます。私はそうは思わない！ $m$ $m=500$ $500$ $600$

重回帰の場合、最小サンプルサイズを提案する理論があります。通常の最小二乗法を使用する場合、必要な仮定の1つは、「真の残差」が独立しているということです。これで、最小二乗モデルを変数に当てはめると、経験的残差に（最小二乗または「正規」方程式によって与えられる線形制約を課しています。これは、経験的残差が独立していないことを意味します-nmがわかったら、残りのを推定できます（はサンプルサイズ）。したがって、この仮定に違反しています。依存関係の順序はです。したがって、選択した場合 $m$ $m+1$ $n-m-1$ $m+1$ $n$ $O\left(\frac{m+1}{n}\right)$ $n=k(m+1)$ いくつかの数のために、次いで順序は次式で与えられる。したがって、を選択することにより、許容できる依存性を選択します。「中央極限定理」を適用する場合とほぼ同じ方法でを選択しますが適切であり、「統計カウント」ルール（つまり、統計学者のカウントシステムは）。 $k$ $O\left(\frac{1}{k}\right)$ $k$ $k$ $10-20$ $30\equiv\infty$ $1,2,\dots,26,27,28,29,\infty$

— 確率論
ソース

あなたは10から20が良いと言いますが、これは誤差分散の大きさにも依存しますか？たとえば、予測変数が1つだけだったとします。誤差分散が非常に小さいことがわかっている場合は、3つまたは4つのデータポイントで勾配と切片を確実に推定するのに十分であると思われます。一方、誤差の分散が非常に大きいことがわかっている場合は、50個のデータポイントでさえ不十分である可能性があります。私は何かを誤解していますか？

— mark999

提案された方程式の参照を提供していただけますn=k(m+1)か？

— ソシ

6

心理学では：

緑（1991）は、多重相関のテストには（mは独立変数の数、個々の予測変数のテストにはが必要であることを示しています。 $N > 50 + 8m$ $N > 104 + m$

使用できるその他のルールは...

Harris（1985）は、参加者の数は予測子の数を少なくとも超える必要があると述べています。 $50$

Van Voorhis＆Morgan（2007）（pdf）6人以上の予測変数を使用する場合、参加者の絶対最小値はなければなりません。ただし、変数ごとに参加者を選ぶ方が良いでしょう。 $10$ $30$

— アドリア
ソース

1

最初の「ルール」にはmがありません。

— デイソン14

親指の彼の最初のルールは以下のように書かれているN = 50 + 8 mそれは用語50が実際に必要とされているかどうかを疑問視したが、

— SOSI

サンプルの効果サイズを考慮した、より複雑な新しい経験則を追加しました。これは、Green（1991）によっても提示されました。

— ソシ

2

参考文献Green（1991）およびHarris（1985）の完全な引用は何ですか？

— ハトシェプスト

2

電力計算機は、特にさまざまな要因が電力に与える影響を調べるのに役立ちます。その意味では、より多くの入力情報を含む計算機の方がはるかに優れています。線形回帰の場合、ここでは、Xの誤差、X間の相関などの要因を含む回帰計算機が好きです。

— ガリット・シュムエリ
ソース

0

推定回帰係数と標準誤差の精度（および結果として得られる信頼区間の経験的範囲）に関心がある限り、変数ごとに2回の観測で十分であると評価するこのかなり最近の論文（2015）を見つけました。調整された 使用します。 $R^2$

（pdf）

もちろん、この論文でも認められているように、（相対的な）偏りのないことは、必ずしも十分な統計力があることを意味するわけではありません。ただし、検出力とサンプルサイズの計算は通常、予想される効果を指定して行われます。重回帰の場合、これは、回帰係数の値または回帰変数と結果の間の相関行列に関する仮説を作成する必要があることを意味します。実際には、結果と相関関係にあるリグレッサの相関の強さに依存します（明らかに、結果との相関は強くなるほど良くなりますが、多重共線性により悪化します）。たとえば、2つの完全に共線的な変数の極端な場合、観測値の数に関係なく、2つの共変量でも回帰を実行できません。

— フェデリコ・テデスキ
ソース