多重線形回帰の最小二乗推定量を導き出す方法は？

30

単純な線形回帰のケースでは、最小二乗推定量、あなたが知っている必要はないように推定するために、 $y=\beta_0+\beta_1x$ $\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$ $\hat\beta_0$ $\hat\beta_1$

私がしたとし、どのように私は導出ん推定することなく？またはこれは不可能ですか？ $y=\beta_1x_1+\beta_2x_2$ $\hat\beta_1$ $\hat\beta_2$

— セイバーCN
ソース

1

変数の1つを省略しても、変数が独立している場合は、他の変数の不偏推定値を取得できます。

— david25272 14年

51

マトリックス表記の導出

から始まります。これは実際には次と同じです。 $y= Xb +\epsilon$

$\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{N} \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K} \\ x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \ddots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NK} \end{bmatrix} * \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{K} \end{bmatrix} + \begin{bmatrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{N} \end{bmatrix}$

それはすべてe'eをすることになり。 $e'e$

$\epsilon'\epsilon = \begin{bmatrix} e_{1} & e_{2} & \cdots & e_{N} \\ \end{bmatrix} \begin{bmatrix} e_{1} \\ e_{2} \\ \vdots \\ e_{N} \end{bmatrix} = \sum_{i=1}^{N}e_{i}^{2}$

したがって、を最小化するとます。 $e'e'$

$min_{b}$ $e'e = (y-Xb)'(y-Xb)$

$min_{b}$ $e'e = y'y - 2b'X'y + b'X'Xb$

$\frac{\partial(e'e)}{\partial b} = -2X'y + 2X'Xb \stackrel{!}{=} 0$

$X'Xb=X'y$

$b=(X'X)^{-1}X'y$

最後の数学的なことの1つである、最小値の2次条件では、行列が正定値であることが必要です。がフルランクの場合、この要件は満たされます。 $X'X$ $X$

より詳細な手順のすべてを通るより正確な導出は、http： //economictheoryblog.com/2015/02/19/ols_estimator/で見つけることができます。

— アンドレアス・ディビアシ
ソース

3

この派生はまさに私が探していたものです。スキップされた手順はありません。同じものを見つけるのがどれほど難しいかは驚いた。

— javadba

1

行列方程式では、2番目*はa であってはなりません+か？また、すべきではない代わりの寸法が一致するように取得するには？

b_{K}

$b_K$

b_{N}

$b_N$

— アレクシスオルソン

アレクシス・オルソン、あなたは正しいです！回答を編集しました。

— アンドレアスディビアシ

13

重回帰では、他の係数を推定せずに1つの係数のみを推定することができます。

推定値の影響を除去することにより得られる他の変数から、その後の残差回帰の残差に対して。これについて説明し、図解しますそしてどのように（）の回帰係数を正規化するには？。このアプローチの利点は、微積分や線形代数を必要とせず、2次元ジオメトリのみを使用して視覚化でき、数値的に安定であり、多重回帰の1つの基本概念を活用することです。）単一の変数の効果。 $\beta_1$ $x_2$ $y$ $x_1$

この場合、重回帰は、3つの通常の回帰ステップを使用して実行できます。

を回帰します（定数項なし！）。近似をます。推定値はしたがって、残差は幾何学的に、は、への投影が差し引かれた後の残りです。 $y$ $x_2$ $y = \alpha_{y,2}x_2 + \delta$
$α_{y, 2} = \frac{\sum_{i} y_{i} x_{2 i}}{\sum_{i} x_{2 i}^{2}} .$ $\alpha_{y,2} = \frac{\sum_i y_i x_{2i}}{\sum_i x_{2i}^2}.$ $δ = y - α_{y, 2} x_{2} .$ $\delta = y - \alpha_{y,2}x_2.$ $\delta$ $y$ $x_2$
を回帰（定数項なし）。近似をます。推定値は残差は幾何学的に、はへの投影が差し引かれた後の残りです。 $x_1$ $x_2$ $x_1 = \alpha_{1,2}x_2 + \gamma$
$α_{1, 2} = \frac{\sum_{i} x_{1 i} x_{2 i}}{\sum_{i} x_{2 i}^{2}} .$ $\alpha_{1,2} = \frac{\sum_i x_{1i} x_{2i}}{\sum_i x_{2i}^2}.$ $γ = x_{1} - α_{1, 2} x_{2} .$ $\gamma = x_1 - \alpha_{1,2}x_2.$ $\gamma$ $x_1$ $x_2$
退行上の（定数項なし）。推定値は近似はます。幾何学的に、の成分である（表し有するで取り出す）（表し方向と取り出し）を。 $\delta$ $\gamma$
${\hat{β}}_{1} = \frac{\sum_{i} δ_{i} γ_{i}}{\sum_{i} γ_{i}^{2}} .$ $\hat\beta_1 = \frac{\sum_i \delta_i \gamma_i}{\sum_i \gamma_i^2}.$ $\delta = \hat\beta_1 \gamma + \varepsilon$ $\hat\beta_1$ $\delta$ $y$ $x_2$ $\gamma$ $x_1$ $x_2$

が推定されていないことに注意してください。 $\beta_2$ これは、簡単に（同じように、これまでに得られているものから回収することができる通常の回帰場合は、簡単に傾き推定値から得られる）。の二変量回帰の残差です上と。 $\hat\beta_0$ $\hat\beta_1$ $\varepsilon$ $y$ $x_1$ $x_2$

通常の回帰との類似点は強力です。ステップ（1）および（2）は、通常の式の平均を減算する類似物です。あなたが聞かせている場合もののベクトルで、あなたは実際には通常の式を回復します。 $x_2$

これは、3つ以上の変数を使用した回帰の明白な方法で一般化されます。を推定し、および他のすべての変数に対して個別に回帰し、次にそれらの残差を互いに回帰します。その時点で何の重回帰における他の係数のまだ推定されていません。 $\hat\beta_1$ $y$ $x_1$ $y$

— ウーバー
ソース

1

偉大な答えは、ここでは一般的な定理であるen.wikipedia.org/wiki/...

— JohnK

4

の通常の最小二乗推定は、応答変数の線形関数です $\beta$ 。簡単に言えば、係数のOLS推定値であるは、従属変数（）および独立変数（）のみを使用して記述できます。 $\beta$ $Y_i$ $X_{ki}$

一般的な回帰モデルのこの事実を説明するには、少し線形代数を理解する必要があります。重回帰モデルの係数を推定するとします。 $(\beta_0, \beta_1, ...,\beta_k)$

Y_{私} = β_{0} + β_{1} {バツ}_{1 私} + 。 。 。 + β_{k} {バツ}_{k 私} + ϵ_{私}

$Y_i = \beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+\epsilon_i$

ここでです。設計行列は行列で、各列には従属変数の観測値が含まれます。ここでは、推定係数の計算に使用される式の多くの説明と導出を見つけることができます、 $\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)$ $i=1,...,n$ $\mathbf{X}$ $n\times k$ $n$ $k^{th}$ $X_k$ $\boldsymbol{\hat{\beta}}=(\hat{\beta}_0, \hat{\beta}_1, ..., \hat{\beta}_k)$

\hat{β} = （ {バツ}^{'} バツ ）^{- 1} {バツ}^{'} Y

$\boldsymbol{\hat{\beta}}=(\mathbf{X}^\prime \mathbf{X})^{-1}\mathbf{X}^\prime \mathbf{Y}$

逆が存在すると仮定します。推定係数は、他の推定係数ではなく、データの関数です。 $(\mathbf{X}^\prime \mathbf{X})^{-1}$

— カブルケ
ソース

私はフォローアップの質問があります、単純な回帰の場合、、は行列になりおよび、その後ます。私の場合、方程式をどのように書き換えるべきですか？

y_{i} = β_{0} + β_{1} \bar{x} + β_{1} (x_{i} - \bar{x}) + e_{i}

$y_i=\beta_0+\beta_1\bar x+\beta_1(x_i-\bar x)+e_i$

X

$X$

(1, . . ., 1)

$(1,...,1)$

(x_{1} - \bar{x}, . . ., x_{n} - \bar{x})

$(x_1-\bar x,...,x_n-\bar x)$

\hat{β} = (X^{'} X)^{(} - 1) X^{'} Y

$\hat\beta=(X'X)^(-1)X'Y$

— セイバーCN

さらにもう1つ質問がありますが、これはとが線形ではないが、モデルが線形である場合に適用されますか？たとえば、減衰曲線場合、指数関数をおよびに置き換えて元の質問にできますか？

x_{1}

$x_1$

x_{2}

$x_2$

y = β_{1} e^{x_{1} t} + β_{2} e^{x_{2} t}

$y=\beta_1 e^{x_1t}+\beta_2 e^{x_2t}$

x_{1}^{'}

$x_1'$

x_{2}^{'}

$x_2'$

— セイバーCN

最初のコメントでは、変数を中央に配置し（平均値を減算）、それを独立変数として使用できます。「標準化された回帰」を検索します。マトリックスに関して記述した式は正しくありません。2番目の質問では、そうすることができます。線形モデルはで線形であるため、はの線形結合に等しい限り問題ありません。

β

$\beta$

y

$y$

β

$\beta$

— caburke

2

（+1）。しかし、代わりに" matrix"であってはいけませんか？

n \times k

$n \times k$

k \times n

$k \times n$

— ミウラ

3

理論と実践に関する小さなマイナーノート。数学的には次の式で推定できます。 $\beta_0, \beta_1, \beta_2 ... \beta_n$

\hat{β} = （ {バツ}^{'} バツ ）^{- 1} {バツ}^{'} Y

$\hat{\beta} = (X'X)^{-1} X'Y$

ここで、は元の入力データ、は推定する変数です。これは、エラーを最小化することから始まります。少し実用的な点を述べる前に、これを証明します。 $X$ $Y$

してみましょう線形回帰がポイントになりますエラーである。次に： $e_i$ $i$

e_{私} = y_{私} - \hat{y_{私}}

$e_i = y_i - \hat{y_i}$

合計2乗誤差は次のとおりです。

\sum_{私 = 1}^{n} e_{私}^{2} = \sum_{私 = 1}^{n} （ y_{私} - \hat{y_{私}} ）^{2}

$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y_i})^2$

線形モデルがあるため、次のことがわかります。

\hat{y_{私}} = β_{0} + β_{1} {バツ}_{1 、 私} + β_{2} {バツ}_{2 、 私} + 。 。 。 + β_{n} {バツ}_{n 、 私}

$\hat{y_i} = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_n x_{n,i}$

次のようにマトリックス表記で書き直すことができます：

\hat{Y} = バツ β

$\hat{Y} = X\beta$

私達はことを知っています

\sum_{私 = 1}^{n} e_{私}^{2} = E^{'} E

$\sum_{i=1}^n e_i^2 = E'E$

次の式が可能な限り小さくなるように、総二乗誤差を最小化したい

E^{'} E = （ Y - \hat{Y} ）^{'} （ Y - \hat{Y} ）

$E'E = (Y-\hat{Y})' (Y-\hat{Y})$

これは次と等しい：

E^{'} E = （ Y - バツ β ）^{'} （ Y - バツ β ）

$E'E = (Y-X\beta)' (Y-X\beta)$

書き換えはわかりにくいかもしれませんが、線形代数に基づいています。行列は、いくつかの点でそれらを乗算するときに変数と同様に動作することに注意してください。

この式が可能な限り小さくなるようにの値を見つけたいです。微分をゼロに設定して微分する必要があります。ここではチェーンルールを使用します。 $\beta$

\frac{d E^{'} E}{d β} = - 2 {バツ}^{'} Y + 2 {バツ}^{'} バツ β = 0

$\frac{dE'E}{d\beta} = - 2 X'Y + 2 X'X\beta = 0$

これは与える：

{バツ}^{'} バツ β = {バツ}^{'} Y

$X'X\beta = X'Y$

最終的に：

β = （ {バツ}^{'} バツ ）^{- 1} {バツ}^{'} Y

$\beta = (X'X)^{-1} X'Y$

数学的には解決策を見つけたようです。ただし、1つの問題があります。それは、行列が非常に大きい場合、を計算するのが非常に難しいということです。これにより、数値の精度に問題が生じる可能性があります。この状況で最適値を見つける別の方法は、勾配降下法を使用することです。最適化する関数は無制限で凸であるため、必要に応じて実際には勾配法も使用します。 $(X'X)^{-1}$ $X$ $\beta$

— ヴィンセント・ウォーマーダム
ソース

あなたが実際に計算する必要がないことを除いて ...

(X^{'} X)^{- 1}

$(X'X)^{-1}$

— user603

有効なポイント。グラムシュミットプロセスを使用することもできますが、ベクトルの最適値を見つけることは、凸性のために数値的にも実行できることに注意したいだけです。

β

$\beta$

— ビンセントウォーマーダム

2

単純な導出は、LRの幾何学的解釈を使用するだけで実行できます。

線形回帰は、列空間へのの投影として解釈できます。したがって、エラーは列空間に直交します。 $Y$ $X$ $\hat{\epsilon}$ $X$

したがって、とエラーの内積は0でなければなりません。 $X'$

$<X', y-X\hat{\beta}> = 0$

$X'y - X'X\hat{\beta} = 0$

$X'y = X'X\hat{\beta}$

これは、

$(X'X)^{-1}X'y = \hat{\beta}$ 。

これで同じことができます：

（1）を投影（エラー）、、 $Y$ $X_2$ $\delta = Y-X_2 \hat{D}$ $\hat{D} = (X_2'X_2)^{-1}X_2'y$

（2）を投影（エラー）、、 $X_1$ $X_2$ $\gamma = X_1 - X_2 \hat{G}$ $\hat{G} = (X_1'X_1)^{-1}X_1X_2$

そして最後に、

（3）を、投影する $\delta$ $\gamma$ $\hat{\beta}_1$

— ドナイエル
ソース