単純な線形モデルを考えます：

y y = X^{'} β β + ϵ

$\pmb{y}=X'\pmb{\beta}+\epsilon$

ここで、および、およびには列が含まれます定数の。 $\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2)$ $X\in\mathbb{R}^{n\times p}$ $p\geq2$ $X$

私の質問は、、および与えられた場合、 *の非自明な上限の式はありますか？（モデルがOLSによって推定されたと仮定）。 $\mathrm{E}(X'X)$ $\beta$ $\sigma$ $\mathrm{E}(R^2)$

*これを書いて、を取得すると仮定した $E(R^2)$ 自体ことは不可能だと。

EDIT1

StéphaneLaurentによって導出された解（下記参照）を使用して、 $E(R^2)$ 。いくつかの数値シミュレーション（下記）は、この限界が実際にはかなり厳しいことを示しています。

ステファンローランは、次の派生：非中心性パラメーターを有する非中心ベータ分布であると $R^2\sim\mathrm{B}(p-1,n-p,\lambda)$ $\mathrm{B}(p-1,n-p,\lambda)$ $\lambda$ とし

λ = \frac{| | X^{'} β - E (X)^{'} β 1_{n} | |^{2}}{σ^{2}}

$\lambda=\frac{||X'\beta-\mathrm{E}(X)'\beta1_n||^2}{\sigma^2}$

そう

E (R^{2}) = E (\frac{χ_{p - 1}^{2} (λ)}{χ_{p - 1}^{2} (λ) + χ_{n - p}^{2}}) \geq \frac{E (χ_{p - 1}^{2} (λ))}{E (χ_{p - 1}^{2} (λ)) + E (χ_{n - p}^{2})}

$\mathrm{E}(R^2)=\mathrm{E}\left(\frac{\chi^2_{p-1}(\lambda)}{\chi^2_{p-1}(\lambda)+\chi^2_{n-p}}\right)\geq\frac{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)}{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)+\mathrm{E}\left(\chi^2_{n-p}\right)}$

ここで、 $\chi^2_{k}(\lambda)$ 非中心である $\chi^2$ パラメーターと $\lambda$ と $k$ 自由度。したがって、非自明な上限 $\mathrm{E}(R^2)$ は

\frac{λ + p - 1}{λ + n - 1}

$\frac{\lambda+p-1}{\lambda+n-1}$

それは非常にタイトです（予想していたよりもずっとタイトです）：

たとえば、次を使用します。

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

1000回のシミュレーションでの平均 $R^2$ は0.960819です。上記の理論上の上限はを与え0.9609081ます。境界は、多くの値にわたって等しく正確であるようですです。本当に驚いた！ $R^2$

EDIT2：

さらなる研究の後に、表示さに上限近似の品質ことをとして良くなる増加（および他のすべて等しく、と共に増加する）。 $E(R^2)$ $\lambda+p$ $\lambda$ $n$

linear-model expected-value

— user603
ソース

は、

と

のみに依存するパラメーターを持つベータ分布があります。番号？

R^{2}

$R^2$

n

$n$

p

$p$

— ステファンローラン

申し訳ありませんが、私の以前の主張は、「nullモデル」（切片のみ）の仮説の下でのみ真実です。それ以外の場合、

の分布は、未知のパラメーターを含む非心度パラメーターを持つ非心ベータ分布のようなものでなければなりません。

R^{2}

$R^2$

— ステファンローラン

@StéphaneLaurent：ありがとう。未知のパラメーターとベータのパラメーターとの関係についてもっと知りたいですか？私が立ち往生しているので、任意のポインターを歓迎します

— ...-user603

絶対に対処する必要がありますか？おそらく、

単純で正確な公式があります。

E [R^{2}]

$E[R^2]$

E [R^{2} / (1 - R^{2})]

$E[R^2/(1-R^2)]$

— ステファンローラン

私の答えの表記法では、いくつかのスカラー

および非心

分布の最初のモーメントは単純です。

R^{2} / (1 - R^{2}) = k F

$R^2/(1-R^2) = k F$

k

$k$

F

$F$

— ステファンローラン

任意の線形モデルを書くことができる上に標準正規分布持つと線形部分空間に属していると仮定されるの。あなたの場合、 $\boxed{Y=\mu+\sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W$ $\mathbb{R}^n$ $W=\text{Im}(X)$ です。

ましょうベクターによって生成一次元の線形部分空間である。服用以下、非常に古典的なフィッシャー統計に関連している $[1] \subset W$ $(1,1,\ldots,1)$ $U=[1]$ $R^2$ の仮説検定のための線形部分空間であり、そしてにより表すの直交補でと表すと

F = \frac{{‖ P_{Z} Y ‖}^{2} / (m - ℓ)}{{‖ P_{W}^{⊥} Y ‖}^{2} / (n - m)},

$F = \frac{{\Vert P_Z Y\Vert}^2/(m-\ell)}{{\Vert P_W^\perp Y\Vert}^2/(n-m)},$

H_{0} : {μ \in U}

$H_0\colon\{\mu \in U\}$

U \subset W

$U\subset W$

Z = U^{⊥} \cap W

$Z=U^\perp \cap W$

U

$U$

W

$W$

m = \dim (W)

$m=\dim(W)$

ℓ = \dim (U)

$\ell=\dim(U)$ （次いで

と

あなたの状況で）。

m = p

$m=p$

ℓ = 1

$\ell=1$

実際、の定義ので、であり

\frac{{‖ P_{Z} Y ‖}^{2}}{{‖ P_{W}^{⊥} Y ‖}^{2}} = \frac{R^{2}}{1 - R^{2}}

$\dfrac{{\Vert P_Z Y\Vert}^2}{{\Vert P_W^\perp Y\Vert}^2} = \frac{R^2}{1-R^2}$

R^{2}

$R^2$

R^{2} = \frac{{‖ P_{Z} Y ‖}^{2}}{{‖ P_{U}^{⊥} Y ‖}^{2}} = 1 - \frac{{‖ P_{W}^{⊥} Y ‖}^{2}}{{‖ P_{U}^{⊥} Y ‖}^{2}} .

$R^2 = \frac{{\Vert P_Z Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}=1 - \frac{{\Vert P^\perp_W Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}.$

明らかおよび。 $\boxed{P_Z Y = P_Z \mu + \sigma P_Z G}$ $\boxed{P_W^\perp Y = \sigma P_W^\perp G}$

場合真 $H_0\colon\{\mu \in U\}$ 次いで、したがって、 $P_Z \mu = 0$ フィッシャー有する分布。従って、フィッシャー分布とベータ分布の間の古典的な関係から、

F = \frac{{‖ P_{Z} G ‖}^{2} / (m - ℓ)}{{‖ P_{W}^{⊥} G ‖}^{2} / (n - m)} \sim F_{m - ℓ, n - m}

$F = \frac{{\Vert P_Z G\Vert}^2/(m-\ell)}{{\Vert P_W^\perp G\Vert}^2/(n-m)} \sim F_{m-\ell,n-m}$

F_{m - ℓ, n - m}

$F_{m-\ell,n-m}$

R^{2} \sim B (m - ℓ, n - m)

$R^2 \sim {\cal B}(m-\ell, n-m)$ 。

一般的な状況では、我々は対処しなければならない際。この一般的な場合のいずれかで有する、非心を有する分布自由度と非心パラメータ $P_Z Y = P_Z \mu + \sigma P_Z G$ $P_Z\mu \neq 0$ ${\Vert P_Z Y\Vert}^2 \sim \sigma^2\chi^2_{m-\ell}(\lambda)$ $\chi^2$ $m-\ell$ 、次いで（非心フィッシャー分布）。これは、検定の検出力の計算に使用される古典的な結果です。 $\boxed{\lambda=\frac{{\Vert P_Z \mu\Vert}^2}{\sigma^2}}$ $\boxed{F \sim F_{m-\ell,n-m}(\lambda)}$ $F$

フィッシャー分布とベータ分布の古典的な関係は、非中心的な状況でも成り立ちます。最後に「形状パラメータ」と非心ベータ分布持つとと非心パラメータ。瞬間は文献で入手できると思いますが、おそらく非常に複雑です。 $R^2$ $m-\ell$ $n-m$ $\lambda$

最後に、私たちがダウンして書いてみましょう。ことに注意してください。一つは有するたとき、および。従ってここで未知のパラメータベクトルの。 $P_Z\mu$ $P_Z = P_W - P_U$ $P_U \mu = \bar\mu 1$ $U=[1]$ $P_W \mu = \mu$ $P_Z \mu =\mu - \bar\mu 1$ $\mu=X\beta$ $\beta$

— ステファン・ローラン
ソース

P_{Z} x

$P_Z x$

x

$x$

Z

$Z$

P^{⊥}

$P^\perp$

P x \neq ‖ P x ‖^{2}

$Px \neq \Vert P x \Vert^2$

Done - do you see any simplification ?

— Stéphane Laurent

\bar{μ} = \frac{1}{n} \sum μ_{i}

$\bar \mu = \frac{1}{n} \sum \mu_i$

— Stéphane Laurent

Type I, obviously: type II are distributed on

(0, \infty)

$(0, \infty)$ . Actually

R^{2} / (1 - R^{2})

$R^2/(1-R^2)$ has the type II distribution. I have done the last corrections for today.

— Stéphane Laurent

R 2乗の条件付き期待値

EDIT1

EDIT2：