調整済みR二乗は、固定スコアまたはランダムスコアの母集団をR二乗で推定しようとしますか？

母集団の二乗は、固定スコアまたはランダムスコアを想定して定義できます。 $\rho^2$

固定スコア：予測子のサンプルサイズと特定の値は固定されます。したがって、は、予測子の値が一定に保たれているときに、母集団回帰式によって結果で説明される分散の割合です。 $\rho^2_f$
ランダムスコア：予測子の特定の値は、分布から抽出されます。したがって、は、予測子の値が予測子の母集団分布に対応する母集団の結果で説明される分散の割合を指します。 $\rho^2_r$

この区別が推定に大きな違いをもたらすかどうか $\rho^2$ については、以前尋ねました。また、公平な見積もりを計算する方法 $\rho^2$ についても一般的に質問しました。

サンプルサイズが大きくなると、固定スコアとランダムスコアの区別が重要でなくなることがわかります。ただし、調整済み $R^2$ が固定スコアまたはランダムスコアを推定するように設計されているかどうかを確認しようとしています $\rho^2$ 。

ご質問

調整済み $R^2$ は、固定スコアまたはランダムスコアを推定するように設計されてい $\rho^2$ ますか？
調整済みr二乗の式が 1つまたは他の形式にどのように関係するかについての原理的な説明はあり $\rho^2$ ますか？

私の混乱の背景

Yin and Fan（2001、p.206）を読んだとき、彼らはこう書いている：

重回帰モデルの基本的な前提の1つは、独立変数の値が既知の定数であり、実験前に研究者によって固定されることです。従属変数のみがサンプルごとに自由に変化します。その回帰モデルは、固定線形回帰モデルと呼ばれます。

ただし、社会科学および行動科学では、独立変数の値が研究者によって固定されることはほとんどなく、ランダムなエラーの影響も受けます。したがって、アプリケーションの2番目の回帰モデルが提案されており、従属変数と独立変数の両方を変化させることができます（Binder、1959; Park＆Dudycha、1974）。そのモデルは、ランダムモデル（または修正モデル）と呼ばれます。ランダムモデルと固定モデルから取得した回帰係数の最尤推定値は正規性の仮定の下では同じですが、それらの分布は大きく異なります。ランダムモデルは非常に複雑であるため、一般的に使用される固定線形回帰モデルの代わりに、それを受け入れる前にさらに調査が必要です。したがって、通常は固定モデルが適用され、仮定が完全に満たされていなくても（Claudy、1978）。仮定に違反した固定回帰モデルをこのように適用すると、「オーバーフィッティング」が発生します。これは、不完全なサンプルデータから導入されたランダムエラーがプロセスで大文字にされる傾向があるためです。その結果、そのようにして得られたサンプルの多重相関係数は、真の母集団多重相関を過大評価する傾向があります（Claudy、1978; Cohen＆Cohen、1983; Cummings、1982）。

したがって、上記のステートメントが、調整されたがランダムモデルによって導入されたエラーを補償することを言っているのか、またはこれがランダムモデルの存在を示すペーパーの単なる警告であったのかは不明でしたが、固定モデルに焦点を当てます。 $R^2$

参考文献

Yin、P.＆＆Fan、X.（2001）。重回帰における収縮の推定：さまざまな分析方法の比較。Journal of Experimental Education、69（2）、203-224。PDF $R^2$

regression estimation r-squared

— ジェロミー・アングリム
ソース

Raju et al（1997）は、

Pedhazur（1982）とMitchell＆Klimoski（1986）は
、Nが少なくとも中程度のサイズ（約50）の場合に選択されたモデル[fixed-xまたはrandom-x]の影響は比較的小さいと主張しています。

それにもかかわらず、Raju et al（1997）はを推定するためのいくつかの調整済み式を「固定X式」と「ランダムX式」に分類しています。 $R^2$ $\rho^2$

固定X式： ほとんどの統計ソフトウェアで標準となっているEzekiel（1930）によって提案された式を含む、いくつかの式が言及されています。

{\hat{ρ}}_{(E)}^{2} = 1 - \frac{N - 1}{N - p - 1} (1 - R^{2})

$\hat{\rho}_{(E)}^2 = 1 - \frac{N-1}{N-p-1}(1-R^2)$

したがって、この質問に対する簡単な答えは、通常報告され、標準の統計ソフトウェアに組み込まれている標準の調整済み式は、fixed-x推定です。 $R^2$ $\rho^2$

ランダムX式：

オルキンとプラット（1958）は公式を提案した

{\hat{ρ}}_{(O P)}^{2} = 1 - [\frac{N - 3}{N - p - 1}] (1 - R^{2}) F [1, 1; \frac{N - p + 1}{2}; (1 - R^{2})]

$\hat{ \rho}^2 _{(OP)} = 1 - \left[ {\frac{{N - 3}}{{N - p - 1}}} \right](1 - {R^2})F\left[ {1,1;\frac{{N - p + 1}}{2};(1 - {R^2})} \right]$ ここで、Fは超幾何関数です。

Raju et al（1997）は、PrattやHerzbergのような他のさまざまな式が「期待される超幾何関数の近似」であることを説明しています。たとえば、プラットの式は

{\hat{ρ}}_{(P)}^{2} = 1 - \frac{(N - 3) (1 - R^{2})}{N - p - 1} [1 + \frac{2 (1 - R^{2})}{N - p - 2.3}]

${\hat \rho}^2_{(P)} = 1 - \frac{{(N - 3)(1 - {R^2})}}{{N - p - 1}}\left[ {1 + \frac{{2(1 - {R^2})}}{{N - p - 2.3}}} \right]$

見積もりはどのように異なりますか？ リーチとハンセン（2003）のレポートは、心理学で公開されているさまざまなデータセットのサンプルに対するさまざまな数式の影響を示す優れた表を示しています（表3を参照）。平均エゼキエルは.2864で、オルキンとプラットは.2917、プラットは.2910でした。固定サンプルとランダムxの式の違いが小さなサンプルサイズに最も関連しているというRajuらの最初の引用に従って、リーチとハンセンの表は、エゼキエルの固定xの式とオルキンおよびプラットのランダムxの式の違いが最も顕著であることを示しています小さなサンプルサイズ、特に50未満のサンプル。 $R^2_{adj}$ $R^2_{adj}$ $R^2_{adj}$

参考文献

リーチ、LF、ヘンソン、RK（2003）。公開された回帰研究における調整されたR2効果の使用と影響。サウスウエスト教育研究協会の年次総会、テキサス州サンアントニオ。PDF
ミッチェル、TW、およびクリモスキー、RJ（1986）。相互有効性推定の有効性の推定。Journal of Applied Psychology、71、311-317。
Pedhazur、EJ（1982）。行動研究における多重回帰（第2版）ニューヨーク：ホルト、ラインハート、ウィンストン。
Raju、NS、Bilgic、R.、Edwards、JE、＆Fleer、PF（1997）。方法論のレビュー：母集団の有効性と相互有効性の推定、および予測における等しい重みの使用。応用心理測定、21（4）、291-305。

— ジェロミー・アングリム
ソース