縮退

ピアソン相関係数の人口値の2種類の推定量について、私の頭の中にいくつかの混乱がありました。

A. フィッシャー（1915）二変量正規母集団実証するためにあることを示したである負にバイアスの推定量バイアスだけ小さいサンプルサイズ（のために実際にかなりの量であることができるが、）。サンプルは、よりも近いという意味でを過小評価しています。（後者がまたは場合を除き、は不偏です。）ほぼ不偏の推定量がいくつか提案されています。 $r$ $\rho$ $n<30$ $r$ $\rho$ $0$ $\rho$ $0$ $\pm 1$ $r$ $\rho$ オルキンとプラット（1958）は修正しました。 $r$

r_{unbiased} = r [1 + \frac{1 - r^{2}}{2 (n - 3)}]

$r_\text{unbiased} = r \left [1+\frac{1-r^2}{2(n-3)} \right ]$

B.回帰では、は対応する母集団のR平方を過大評価していると言われています。または、単回帰で、それはつまり過大評価は。事実に基づいて、私はそれを言って、多くのテキストを見てきましたされ積極相対バイアスに絶対値を意味する、：遠くからであるより（？その文が真です）。テキストは、サンプル値による標準偏差パラメーターの過大評価と同じ問題であると述べています。観測されたを「調整」するための多くの式が存在します $R^2$ $r^2$ $\rho^2$ $r$ $\rho$ $r$ $0$ $\rho$ $R^2$ 人口パラメータに近いWherryの（1931）は最もよく知られています（ただし、最良ではありません）。そのような調整されたのルートはshrunken と呼ばれます： $R_\text{adj}^2$ $r_\text{adj}^2$ $r$

r_{shrunk} = \pm \sqrt{1 - (1 - r^{2}) \frac{n - 1}{n - 2}}

$r_\text{shrunk} = \pm\sqrt{1-(1-r^2)\frac{n-1}{n-2}}$

2つの異なる推定量が存在します。非常に異なる：最初のものは膨張させ、2番目は収縮させます。それらを調整する方法は？1つをどこで使用/報告し、もう1つを報告しますか？ $\rho$ $r$ $r$

特に、「縮められた」推定量も（ほぼ）偏りのない「偏りのない」推定値であるが、異なるコンテキストでのみ-回帰の非対称コンテキストであるというのは事実でしょうか。というのは、OLS回帰では、片側（予測子）の値を固定値と見なし、サンプルからサンプルへのランダムエラーなしで対応するためですか？（そして、ここに追加するために、回帰は二変量正規性を必要としません。）

— ttnphns
ソース

これはジェンセンの不平等に基づいているだけなのかしら。それと、2変量正規性は、ほとんどの場合、おそらく悪い仮定です。

— シャドウトーカー

また、Bの問題についての私の理解は、回帰

が過大評価であるということです。これは、回帰当てはめを予測子を追加することで任意に改善できるためです。Aと同じ問題のように私には聞こえません。

r^{2}

$r^2$

— shadowtalker15年

いることを、実際に真である

の正にバイアス推定値である

のすべての値に対して

？2変量正規分布の場合、これは

が十分に大きい場合には当てはまらないようです。

r^{2}

$r^2$

ρ^{2}

$\rho^2$

ρ

$\rho$

ρ

$\rho$

— NRH

バイアスは、推定量の二乗に対して反対方向に進むことができますか？例えば、単純な推定と、それことを示すことができる

の一部の範囲に対して

？

場合、これを行うのは難しいと思いますが、おそらくもっと簡単な例を考え出すことができます。

E [\hat{θ} - θ] < 0 < E [{\hat{θ}}^{2} - θ^{2}]

$E[\hat{\theta}-\theta] < 0 < E[\hat{\theta}^2-\theta^2]$

θ

$\theta$

θ = ρ

$\theta = \rho$

— アンソニー

回答:

相関関係の偏りについて：サンプルサイズが偏りが実用的な意味を持つほど小さい場合（たとえば、n <30）、不正確さはひどいため、偏りが心配の最小になる可能性があります。

重回帰におけるR ²のバイアスに関しては、同じサイズの独立したサンプルでの不偏母集団推定と不偏推定に関係する多くの異なる調整があります。Yin、P.＆Fan、X.（2001）を参照してください。重回帰におけるR ²収縮の推定：分析方法の比較。Journal of Experimental Education、 69、203-224。

現代の回帰法は、回帰係数の縮小とその結果としてのR ^2にも対応しています。たとえば、k倍の交差検証を備えたエラスティックネット、http： //web.stanford.edu/~hastie/Papers/を参照してください。 elasticnet.pdf。

— フレッド・オズワルド
ソース

これが本当に質問に答えるかどうかわかりません

— -shadowtalker

その答えは、単純回帰と重回帰のコンテキストにあると思います。1つのIVと1つのDVを使用した単純な回帰では、R sqは正にバイアスされず、rが負にバイアスされると、in-factは負にバイアスされる場合があります。しかし、それ自体が相関する可能性のある複数のIVによる重回帰では、発生する可能性のある「抑制」のために、R sqが正にバイアスされる可能性があります。したがって、私の見解では、観測されたR2は対応する母集団のR平方を過大評価しますが、重回帰でのみです

— ディンガス
ソース

R sq is not positively biased, and in-fact may be negatively biased面白い。見せたり参考にしたりできますか？-二変量正規母集団では、観測されたサンプルRsq統計量は負にバイアスされた推定量になりますか？

— ttnphns

あなたは間違っていると思います。あなたの主張をバックアップするための参照をお願いできますか？

— リチャードハーディ

申し訳ありませんが、これはより多くの思考演習でしたので、私は参照を持っていません。

— ディンガス

上記のコメントAから離れていました。フィッシャーは、2変量の通常の状況で、rはrhoの負にバイアスされた推定量であることを示しました。その場合、R sqにも負のバイアスがかけられないでしょうか？

— ディンガス

おそらくこれは、会話に役立つdigitalcommons.unf.edu/cgi/...

— Dingus