線形回帰のt検定について

17

私は線形回帰でいくつかの仮説検定を実行する方法を考えています（null仮説は相関関係なし）。私が遭遇した主題に関するすべてのガイドとページは、t検定を使用しているようです。しかし、線形回帰のt検定が実際に何を意味するのか理解できません。t検定は、2つの母集団を比較するために、完全に間違った理解または精神モデルがない限り使用されます。しかし、リグレッサーとリグレッサンドは類似した母集団のサンプルではなく、同じユニットでさえないかもしれないので、それらを比較することは意味がありません。

それでは、線形回帰でt検定を使用する場合、実際に何をしているのでしょうか？

regression t-test

— jaymmer-モニカの復職
ソース

37

おそらく、2つのサンプルの $t$ 検定を考えているのは、それが $t$ 分布が最初に現れる場所であることが多いからです。しかし、実際には、すべての $t$ 検定は、検定統計量の参照分布が $t$ 分布であることです。もし $Z \sim \mathcal N(0,1)$ と $S^2 \sim \chi^2_d$ と $Z$ と $S^2$ の独立した、次いで

\frac{Z}{\sqrt{S^{2} / d}} \sim t_{d}

$\frac{Z}{\sqrt{S^2 / d}} \sim t_d$ の定義によります。私はことを強調するために、このアウトを書いている

t

$t$ それは多くのことをアップしますので、分布は、この比率の分布に与えられた名前だけであり、この形式のものがあります

t

$t$ 分布を。2つのサンプルt検定のために、この比は、帰無仮説の下では平均の差はゼロ平均ガウスであり、独立したガウス分布の分散推定値が独立しているため、表示され

χ^{2}

$\chi^2$ （独立性を介して示すことができるBasuさんの定理これは、ガウス標本の標準分散推定値が母平均に付随するという事実を使用しますが、標本平均はその同じ量に対して完全で十分です。

線形回帰では、基本的に同じものが得られます。ベクトル形式で。ましょと予測子と仮定非ランダムであるが。私たちは知っていた場合は、私たちは持っていると思い $\hat \beta \sim \mathcal N(\beta, \sigma^2 (X^T X)^{-1})$ $S^2_j = (X^T X)^{-1}_{jj}$ $X$ $\sigma^2$ ヌルの下で、我々は実際にZテストを持っていると思いますので。しかし、我々は推定たら我々はで終わる、当社の正規性の仮定の下で、私たちの統計とは独立であることが判明、という確率変数

\frac{{\hat{β}}_{j} - 0}{σ S_{j}} \sim N (0, 1)

$\frac{\hat \beta_j - 0}{\sigma S_j} \sim \mathcal N(0, 1)$

H_{0} : β_{j} = 0

$H_0 : \beta_j = 0$

σ^{2}

$\sigma^2$

χ^{2}

$\chi^2$

{\hat{β}}_{j}

$\hat \beta_j$ とし、我々が得る

分布を。

t

$t$

ここではその詳細です：仮定。まかせハット行列で我々ははi等であるため、本当に素晴らしい結果が得られます。 $y \sim \mathcal N(X\beta, \sigma^2 I)$ $H = X(X^TX)^{-1}X^T$

‖ e ‖^{2} = ‖ (I - H) y ‖^{2} = y^{T} (I - H) y .

$\|e\|^2 = \|(I-H)y\|^2 = y^T(I-H)y.$

H

$H$

を有する非中心性パラメーター

、そう実際に、これは中心である

と

y^{T} (I - H) y / σ^{2} \sim χ_{n - p}^{2} (δ)

$y^T(I-H)y / \sigma^2 \sim \mathcal \chi_{n-p}^2(\delta)$

δ = β^{T} X^{T} (I - H) X β = β^{T} (X^{T} X - X^{T} X) β = 0

$\delta = \beta^TX^T(I-H)X\beta = \beta^T(X^TX - X^T X)\beta = 0$

χ^{2}

$\chi^2$

n - p

$n-p$ 自由度（これはコクランの定理の特殊なケースです）。私が使用している

列の数を示すために

1列の場合はそう、

インターセプトを与え、その後、我々は持っているだろうと

非インターセプト予測因子を。一部の著者は、インターセプトではない予測子の数として

を使用しているため、そこの自由度で

ようなものが表示されることがありますが、それはすべて同じです。

p

$p$

X

$X$

X

$X$

p - 1

$p-1$

p

$p$

n - p - 1

$n-p-1$

この結果は、そのので、 $E(e^Te / \sigma^2) = n-p$ の推定として素晴らしい作品。 $\hat \sigma^2 := \frac{1}{n-p} e^T e$ $\sigma^2$

この手段そのカイ標準ガウスの比は自由その度で割った二乗されます。これを完了するには、独立性を示す必要があり、次の結果を使用できます。

\frac{{\hat{β}}_{j}}{\hat{σ} S_{j}} = \frac{{\hat{β}}_{j}}{S_{j} \sqrt{e^{T} e / (n - p)}} = \frac{{\hat{β}}_{j}}{σ S_{j} \sqrt{\frac{e^{T} e}{σ^{2} (n - p)}}}

$\frac{\hat \beta_j}{\hat \sigma S_j}= \frac{\hat \beta_j}{S_j\sqrt{e^Te / (n-p)}} = \frac{\hat \beta_j}{\sigma S_j\sqrt{\frac{e^Te}{\sigma^2(n-p)}}}$

結果：のためのと行列とで及びそれぞれ、およびである場合にのみ独立（これは運動であります58（b）Jun ShaoのMathematical Statisticsの第1章にあります）。 $Z \sim \mathcal N_k(\mu, \Sigma)$ $A$ $B$ $\mathbb R^{l\times k}$ $\mathbb R^{m\times k}$ $AZ$ $BZ$ $A\Sigma B^T = 0$

我々はと。この手段 $\hat \beta = (X^TX)^{-1}X^T y$ $e = (I-H)y$ $y \sim \mathcal N(X\beta, \sigma^2 I)$

(X^{T} X)^{- 1} X^{T} \cdot σ^{2} I \cdot (I - H)^{T} = σ^{2} ((X^{T} X)^{- 1} X^{T} - (X^{T} X)^{- 1} X^{T} X (X^{T} X)^{- 1} X^{T}) = 0

$(X^TX)^{-1}X^T \cdot \sigma^2 I \cdot (I-H)^T = \sigma^2 \left((X^TX)^{-1}X^T - (X^TX)^{-1}X^TX(X^TX)^{-1}X^T\right) = 0$

\hat{β} ⊥ e

$\hat \beta \perp e$

\hat{β} ⊥ e^{T} e

$\hat \beta \perp e^T e$

\frac{{\hat{β}}_{j}}{\hat{σ} S_{j}} \sim t_{n - p}

$\frac{\hat \beta_j}{\hat \sigma S_j} \sim t_{n-p}$ as desired (under all of the above assumptions).

Here's the proof of that result. Let $C = {A \choose B}$ be the $(l+m)\times k$ matrix formed by stacking $A$ on top of $B$ . Then

C Z = (\binom{A Z}{B Z}) \sim N ((\binom{A μ}{B μ}), C Σ C^{T})

$CZ = {AZ \choose BZ} \sim \mathcal N \left({A\mu \choose B\mu}, C\Sigma C^T \right)$ where

C Σ C^{T} = (\binom{A}{B}) Σ (\begin{array}{cc} A^{T} & B^{T} \end{array}) = (\begin{array}{cc} A Σ A^{T} & A Σ B^{T} \\ B Σ A^{T} & B Σ B^{T} \end{array}) .

$C\Sigma C^T = {A \choose B} \Sigma \left(\begin{array}{cc} A^T & B^T \end{array}\right) = \left(\begin{array}{cc}A\Sigma A^T & A\Sigma B^T \\ B\Sigma A^T & B\Sigma B^T\end{array}\right).$

C Z

$CZ$ is a multivariate Gaussian and it is a well-known result that two components of a multivariate Gaussian are independent if and only if they are uncorrelated, so the condition

A Σ B^{T} = 0

$A\Sigma B^T = 0$ turns out to be exactly equivalent to the components

A Z

$AZ$ and

B Z

$BZ$ in

C Z

$CZ$ being uncorrelated.

$\square$

— jld
ソース

3

+1 always enjoy reading your answer.

— Haitao Du

9

@Chaconne's answer is great. But here is a much shorter nonmathematical version!

Since the goal is to compute a P value, you first need to define a null hypothesis. Almost always, that is that the slope is actually horizontal so the numerical value for the slope (beta) is 0.0.

The slope fit from your data is not 0.0. Is that discrepancy due to random chance or due to the null hypothesis being wrong? You can't ever answer that for sure, but a P value is one way to sort-of-kind-of get at an answer.

The regression program reports a standard error of the slope. Compute the t ratio as the slope divided by its standard error. Actually, it is (slope minus null hypothesis slope) divided by the standard error, but the null hypothesis slope is nearly always zero.

Now you have a t ratio. The number of degrees of freedom (df) equals the number of data points minus the number of parameters fit by the regression (two for linear regression).

With those values (t and df) you can determine the P value with an online calculator or table.

It is essentially a one-sample t-test, comparing an observed computed value (the slope) with a hypothetical value (the null hypothesis).

— Harvey Motulsky
ソース

3

The real question is why this is "essentially a one-sample t-test", and I don't see how it can become clear from your answer...

— amoeba says Reinstate Monica