母集団のr二乗変化の信頼区間を取得する方法

簡単な例のために、2つの線形回帰モデルがあると仮定します

• モデル1は、3つの予測因子を持っているx1a、x2bと、x2c
• モデル2には、モデル1からの3つの予測子と2つの追加の予測子がx2aあり、x2b

母集団の分散が説明人口回帰式がある モデル1及びρ 2 （2 ）増分分散がある集団におけるモデル2によって説明するモデル2についてΔは、ρ 2 = ρ 2 （2 ） - ρ 2 （1 $\rho^2_{(1)}$$\rho^2_{(2)}$$\Delta\rho^2 = \rho^2_{(2)} - \rho^2_{(1)}$

私は、の推定のための標準誤差と信頼区間を得ることに興味を持ってい。例にはそれぞれ3および2の予測子が含まれていますが、私の研究対象は、さまざまな数の予測子（たとえば、5および30）に関係しています。私が最初に考えたのは使用していた Δ R 2 、A D J = R 2 のD J （2 ） - R 2 次元J （1 ）推定量として、それをブートストラップが、私は確かに、これは適切であるかどうかではなかったです。$\Delta\rho^2$$\Delta r^2_{adj} = r^2_{adj(2)} - r^2_{adj(1)}$

ご質問

• されたの合理的な推定量Δは、ρ 2を？$\Delta r^2_{adj}$$\Delta \rho^2$
• どのように自信が（すなわち、人口R-平方変更のために取得することができ間隔）？$\Delta\rho^2$
• うブートストラップ信頼区間の計算のためのBE適切なの？$\Delta\rho^2$

シミュレーションや出版された文献への言及も大歓迎です。

コード例

それが役立つ場合、私は答えを示すために使用できる小さなシミュレーションデータセットをRで作成しました。

n <- 100
x <- data.frame(matrix(rnorm(n *5), ncol=5))
names(x) <- c('x1a', 'x1b', 'x1c', 'x2a', 'x2b')
beta <- c(1,2,3,1,2)
model2_rho_square <- .7
error_rho_square <- 1 - model2_rho_square
error_sd <- sqrt(error_rho_square / model2_rho_square* sum(beta^2))
model1_rho_square <- sum(beta[1:3]^2) / (sum(beta^2) + error_sd^2)
delta_rho_square <- model2_rho_square - model1_rho_square

x$y <- rnorm(n, beta[1] * x$x1a + beta[2] * x$x1b + beta[3] * x$x1c +
               beta[4] * x$x2a + beta[5] * x$x2b, error_sd)

c(delta_rho_square, model1_rho_square, model2_rho_square)
summary(lm(y~., data=x))$adj.r.square - 
        summary(lm(y~x1a + x1b + x1c, data=x))$adj.r.square

ブートストラップに関する懸念の理由

私は、約300ケースのいくつかのデータでブートストラップを実行し、シンプルモデルでは5つの予測子、フルモデルでは30の予測子を実行しました。調整されたr二乗差を使用したサンプル推定はでしたが0.116、ブーストラップされた信頼区間は、主にCI95％（0.095〜0.214）大きく、ブートストラップの平均はサンプル推定の近くにありませんでした。むしろ、ブーストラップされたサンプルの平均は、サンプル内のr二乗間の差のサンプル推定値に中心があるように見えました。これは、差を推定するためにサンプル調整済みr二乗を使用していたという事実にもかかわらずです。

$\Delta\rho^2$

1. サンプルのr二乗変化を計算する
2. 標準の調整済みr二乗式を使用して、サンプルのr二乗変化を調整する

$\Delta \rho^2$.082

概して、ブートストラップはサンプルが母集団であることを前提としているため、オーバーフィットの削減が適切に機能しない可能性があると推定しています。

$R^2$

まず、R二乗人口の定義を理解しようとしています。

あなたのコメントを引用する：

または、サンプルサイズが無限に近づくにつれて、サンプルで説明される分散の割合として漸近的に定義することもできます。

$R^2$

$R^²$$\boxed{Y=\mu+\sigma G}$
$R^2$$\boxed{popR^2:=\dfrac{\lambda}{n+\lambda}}$$Y=\mu+\sigma G$

例として：

> ## design of the simple regression model lm(y~x0)
> n0 <- 10
> sigma <- 1
> x0 <- rnorm(n0, 1:n0, sigma)
> a <- 1; b <- 2 # intercept and slope
> params <- c(a,b)
> X <- model.matrix(~x0)
> Mu <- (X%*%params)[,1]
> 
> ## replicate this experiment k times 
> k <- 200
> y <- rep(Mu,k) + rnorm(k*n0)
> # the R-squared is:
> summary(lm(y~rep(x0,k)))$r.squared 
[1] 0.971057
> 
> # theoretical asymptotic R-squared:
> lambda0 <- crossprod(Mu-mean(Mu))/sigma^2
> lambda0/(lambda0+n0)
          [,1]
[1,] 0.9722689
> 
> # other approximation of the asymptotic R-squared for simple linear regression:
> 1-sigma^2/var(y)
[1] 0.9721834

$R^2$

$\boxed{Y=\mu+\sigma G}$$H_1\colon\mu \in W_1$$H_0\colon \mu \in W_0$

$R^2$$H_1$$\boxed{popR^2_1:=\dfrac{\lambda_1}{n+\lambda_1}}$$\boxed{\lambda_1=\frac{{\Vert P_{Z_1} \mu\Vert}^2}{\sigma^2}}$$Z_1=[1]^\perp \cap W_1$${\Vert P_{Z_1} \mu\Vert}^2=\sum(\mu_i - \bar \mu)^2$

$R^2$ $H_0$$R^2$$H_0$$H_1$

あなたが尋ねた質問に答えるのではなく、なぜあなたがその質問をするのかを尋ねます。どうか知りたいと思う

mod.small <- lm(y ~ x1a + x1b + x1c, data=x)

少なくともと同じくらい良いです

mod.large <- lm(y ~ ., data=x)

説明するときy。これらのモデルは入れ子になっているので、この質問に答える明白な方法は、2つのGLMの逸脱の分析を実行するのと同じ方法で、モデルを比較する分散分析を実行することです。

anova(mod.small, mod.large)

次に、母集団のR二乗の意味を理解できると常に仮定して、母集団におけるフィットの改善が何であるかを推測するために、モデル間のサンプルR二乗の改善を使用できます。個人的にはどうだかわかりませんが、これならどちらでもかまいません。

より一般的には、母集団の数量に関心がある場合は、おそらく一般化に関心があるため、サンプルフィットメジャーは希望どおりではありませんが、「修正」されます。たとえば、MSEのように、サンプルから発生することが予想される実際のエラーの種類と量を推定するいくつかの量の相互検証は、希望どおりの結果になると思われます。

しかし、ここで何かが欠けている可能性は十分にあります...

$\rho^2$

ダブルアジャストr-squareブートストラップ

現時点での私の答えは、2倍に調整されたr-squareブートストラップを実行することです。テクニックを実装しました。以下が含まれます。

• 現在のデータからブートストラップサンプルのセットを生成します。
• 各ブートストラップサンプルについて：
  • 2つのモデルの最初の調整済みr二乗を計算する
  • 前のステップからの調整済みr二乗値に基づいて2番目の調整済みr二乗を計算する
  • $\Delta \rho^2$

理論的根拠は、最初に調整されたr二乗がブートストラップによって導入されたバイアスを取り除くことです（つまり、ブートストラップはサンプルr二乗が母集団r二乗であると仮定します）。2番目の調整済みr二乗は、母集団のr二乗を推定するために通常のサンプルに適用される標準の補正を実行します。

この時点で、このアルゴリズムを適用すると、ほぼ正しいと思われる推定値が生成されることがわかります（つまり、ブートストラップの平均theta_hatがサンプルtheta_hatに非常に近い）。標準エラーは私の直感と一致しています。データ生成プロセスが既知である適切な頻度のカバレッジを提供するかどうかはまだテストしていません。また、この時点では、第一原理からどのように議論を正当化できるかについても完全にはわかりません

このアプローチが問題になる理由を誰かが見た場合、私はそれについて聞いていただければ幸いです。

アルジナ他によるシミュレーション

$\Delta \rho^2$

非心度パラメーターの使用に関するSmithson（2001）

$R^2$$f^2$$R^2$

参考文献

• Algina、J.、Keselman、HJ、およびPenfield、RD二乗された複数の準部分相関係数の信頼区間。PDF
• Smithson、M.（2001）。さまざまな回帰効果のサイズとパラメーターの正しい信頼区間：区間の計算における非中心分布の重要性。教育的および心理学的測定、61（4）、605-632。