11

スケールの等分散性の正式な定義はありませんが、統計学習の概要でこれについてp。217：

標準的な最小二乗係数...であるスケールequivariant：乗算 $X_j$ 定数 $c$ 倍最小二乗係数推定値のスケーリングに単にリード $1/c$ 。

簡略化のため、の一般線形モデル仮定する $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ 、ここで、 $\mathbf{y} \in \mathbb{R}^N$ 、 $\mathbf{X}$ である $N \times (p+1)$ 行列（ $p+1 < N$ のすべてのエントリを持つ） $\mathbb{R}$ 、 $\boldsymbol\beta \in \mathbb{R}^{p+1}$ 、及び $\boldsymbol\epsilon$ ある $N$ と実数値の確率変数の次元ベクトル $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$ 。

OLS推定から、我々は知っているならば $\mathbf{X}$ フル（列）ランク持っている

{\hat{β}}_{X} = (X^{T} X)^{- 1} X^{T} y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$ 我々はの列乗算仮定

X

$\mathbf{X}$ 、言う

x_{k}

$\mathbf{x}_k$ いくつかについて

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$ 定数によって、

c \neq 0

$c \neq 0$ 。これは、行列

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ 行列の他のすべてのエントリは、ここで

S

$\mathbf{S}$ 上であり

0

$0$ 、及び

c

$c$ である

k

$k$ の対角のエントリ番目

S

$\mathbf{S}$ 。次に、

\tilde{X}

$\tilde{\mathbf X}$ 同様に、完全な（列）のランクを有する、得られたOLSを用いて推定器

\tilde{X}

$\tilde{\mathbf X}$ 新しいデザインマトリックスとしては

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$ いくつかの仕事の後、一方が表示できるよう

{\tilde{X}}^{T} \tilde{X} = [\begin{matrix} x_{1}^{T} x_{1} & x_{1}^{T} x_{2} & \dots & c x_{1}^{T} x_{k} & \dots & x_{1}^{T} x_{p + 1} \\ x_{2}^{T} x_{1} & x_{2}^{T} x_{2} & \dots & c x_{2}^{T} x_{k} & \dots & x_{2}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ c x_{k}^{T} x_{1} & c x_{k}^{T} x_{2} & \dots & c^{2} x_{k}^{T} x_{k} & \dots & c x_{k}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ x_{p + 1}^{T} x_{1} & x_{p + 1}^{T} x_{2} & \dots & c x_{p + 1}^{T} x_{p + 1} & \dots & x_{p + 1}^{T} x_{p + 1} \end{matrix}]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ と

{\tilde{X}}^{T} y = [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ どのように私は（すなわち、その上に引用された請求示すために、ここから行くん

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$ ）？どのように計算するか私にははっきりしていない

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$ 。

least-squares linear-model

— クラリネット奏者
ソース

私はあなたの考える

右、それが欠けているされていない

行全体で乗数を。

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— Firebug

1

また、クマは心の中で主張がある

、必ずしもすべての

。

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— Firebug 2017年

@Firebugうん、私はそれを理解した。回答を投稿しています。

— クラリネット奏者、

2

あなたは置き換えることができ、すべての乗算ので、はるかに簡単ユニット解析することによって、この代数を

により

単に測定の単位を変更するため、その係数に関連付けられたユニットの対応する変化

によってそれを分割することである

。それは証明されません

で割っしなければならない

残念ながら、。しかし、思考のこのチェーンは、複数の回帰は、あることは明らかである時、に一つの説明変数に対する回帰の連続によって行うことができるということを思い出させてくれるかもしれない

で割って

、およびその証明が完了しています。

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— whuber

@whuber、結果の直観は明らかですが、証明を提供する際に少し代数が必要なだけのようです。結局のところ、スケーリング係数

は逆にする必要があります。

c

$c$

— user795305 2017年

11

引用のアサーションはの列の再スケーリングに関するステートメントのコレクションであるため、一度にすべてを証明することもできます。実際、アサーションの一般化を証明するためにこれ以上の作業は必要ありません。 $X$

場合正則行列の右乗算される、新しい係数推定値に等しいにより左乗算 $X$ $A$ $\hat\beta_A$ $\hat \beta$ $A^{-1}$ 。

必要な唯一の代数的事実は、（容易に証明され、よく知られている）であり、任意の行列に対しておよび可逆行列に対してと。（一般化された逆行列を使用する場合は、後者の微妙なバージョンが必要です：可逆とおよび任意の場合 $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ ） $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

代数によって証明：

{\hat{β}}_{A} = ((X A)^{'} ((X A))^{-} (X A)^{'} y = A^{- 1} (X^{'} X)^{-} (A^{'})^{- 1} A^{'} y = A^{- 1} \hat{β},

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

QED。 （この証明は十分一般的であるためには、上付き文字は、一般逆のことをいいます。） $^-$

ジオメトリによる証明：

および基底およびがそれぞれ与えられた場合、はからへの線形変換を表します。と右乗算は、この変換を固定したまま、を（つまり、の列に）変更ことと見なすことができます。基礎のその変化の表現の下で任意のベクトル $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ は、、QEDによる左乗算を介して変更する必要があります。 $\hat\beta\in\mathbb{R}^p$ $A^{-1}$

（この証明作品は、変更されていない、場合でも、可逆ではありません。） $X^\prime X$

引用は、具体的に対角行列の場合を指すとためのと。 $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

最小二乗法による接続

ここでの目的は、結果を取得するための最初の原則を使用することです。原則は最小二乗の原則です。残差の二乗の合計を最小化する係数を推定します。

ϕ : V^{p} \to W^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

Q (ϕ (v))

$Q(\phi(v))$

$U$ $Q$ $\phi$ $E_p$ $V^p$

証明： QED。

証明するものは何もありません！

$F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— whuber
ソース

6

$\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

この新しいスケーリングされた推定器を定義します。つまり、すべてのに対してとなります。定義すると、上記の表示された不等式をとしてすべての。したがって、であり、最小二乗推定量スケーリング行列可逆性のため $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ y - X S \tilde{α} ‖_{2}^{2} < ‖ y - X S α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$

‖ y - X \tilde{β} ‖_{2}^{2} < ‖ y - X β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

\begin{aligned} \hat{β} = \tilde{β} = S \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$ 、つまります。我々の場合において、こののみ異なるによってによってスケーリングされるエントリ。

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

\frac{1}{c}

$\frac{1}{c}$

— user795305
ソース

1

や同様の関数を扱うことに慣れていません。2行目から3行目の方程式への遷移を説明できますか？

arg min

$\text{arg min}$

— クラリネット奏者、

手順をより明確にするために、少し異なる方法で記述しました。

— user795305 2017年

これは本当に賢いです。（+1）

— クラリネット奏者、

4

質問を投稿した後、私はこれを理解しました。しかし、私の仕事が正しければ、主張を誤って解釈しました。のみスケーリングの一の成分で発生の列に対応によって乗算される $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$ 。

上記の表記法のは、対角の対称行列であり、逆（対角であるため）であることに注意してくださいなお、は行列です。と仮定しましょう $\mathbf{S}$ $(p+1) \times (p+1)$

S^{- 1} = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ \frac{1}{c} \\ 1 \\ ⋱ \\ 1 \end{matrix}] .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$

(X^{T} X)^{- 1} = [\begin{matrix} z_{1} & z_{2} & \dots & z_{k} & \dots & z_{p + 1} \end{matrix}] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1} = [(X S)^{T} X S]^{- 1} = (S^{T} X^{T} X S)^{- 1} = (S X^{T} X S)^{- 1} = S^{- 1} (X^{T} X)^{- 1} S^{- 1} .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$ したがって、とこれにを乗算は、に乗算した場合と同様の効果があり、同じままです。が乗算されることを除いて

S^{- 1} (X^{T} X)^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S^{- 1}

$\mathbf{S}^{-1}$

X

$\mathbf{X}$

S

$\mathbf{S}$

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$

\frac{1}{c}

$\frac{1}{c}$ ：したがって、

S^{- 1} (X^{T} X)^{- 1} S^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

\begin{aligned} {\hat{β}}_{\tilde{X}} & = S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S)^{T} y \\ = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}] \\ = [\begin{matrix} z_{1} x_{1}^{T} y \\ z_{2} x_{2}^{T} y \\ ⋮ \\ \frac{1}{c} z_{k} x_{k}^{T} y \\ ⋮ \\ z_{p + 1} x_{p + 1}^{T} y \end{matrix}] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$ 必要に応じて。

— クラリネット奏者
ソース

タイプミスがあります。を転置する必要があります。

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(X S)

$(\mathbf{X}\mathbf{S})$

— JohnK、2017年

3

これまでで最も些細な証明

次の線形方程式から始めますここで、リグレッサのスケールを変更します。おそらく、メートル法からインペリアルに変換します。キログラムからポンド、メートルからヤードなどです。したがって、変換行列ここで、各は、計画行列変数（列）変換係数です。

Y = X β + ε

$Y=X\beta+\varepsilon$

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$

s_{i}

$s_i$

i

$i$

X

$X$

方程式を書き直してみましょう：

Y = (X S) (S^{- 1} β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

これで、スケーリングが方程式の線形性のプロパティであり、係数のOLS推定方法ではないことが明確になりました。線形方程式を使用した推定方法に関係なく、リグレッサがとしてスケーリングされる場合、新しい係数はとしてスケーリングされる必要があります。 $XS$ $S^{-1}\beta$

代数によるOLSのみの証明

スケーリングは次のとおりですここで、各変数（列）のスケールファクター、はスケールバージョンです。対角スケール行列呼び出しましょう。あなたのOLS推定量はです代わりにスケーリングされた行列接続し、いくつかの行列代数を使用しましょう：これで、新しい係数が期待どおりに単純に古い係数に縮小されたことがわかります。

Z = X * d i a g (s_{1}, s_{2}, . . ., s_{n})

$Z=X*diag(s_1,s_2,...,s_n)$

s_{i}

$s_i$

Z

$Z$

X

$X$

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\hat\beta=(X^TX)^{-1}X^TY$

Z

$Z$

X

$X$

(Z^{T} Z)^{- 1} Z^{T} Y = (S^{T} X^{T} X S)^{- 1} S^{T} X^{T} Y = S^{- 1} (X^{T} X)^{- 1} S^{- 1} S X^{T} Y = S^{- 1} (X^{T} X)^{- 1} X^{T} Y = S^{- 1} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— アクサカル
ソース

2

私はあなたのアプローチが好きですが、「これまでで最も些細な証明」には納得できません。暗黙的に、書き換えたモデルは元のモデルと同じフィットでなければならないことを想定し、さらに示す必要があります。より厳密に言うと、フィット手順を関数として表示する場合、ここではすべての可能なデータのセット（順序付きペアとして書き込むことができます）であり、はすべての可能な係数推定値のセットです。すべての反転可能な、すべての、およびすべての。（これは常に正しいとは限りません！）

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$

M

$M$

(X, Y)

$(X,Y)$

R^{p}

$\mathbb{R}^p$

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$

S

$S$

X

$X$

Y

$Y$

— whuber

@whuber、実際にはそれは別の方法です：適切なフィッティング手順はこの条件を満たす必要があります。そうでない場合、測定単位を単純に変更すると、異なる予測/推定値が生成されます。私は私の答えを更新します、それについて少し考えます

— Aksakal

私は同意します-しかし、がフルランクでない場合の例外は想像できます。それは私に示唆されたものであり、状況はそれがそうであるように見えるかもしれないほど簡単ではありません。

X

$X$

— whuber

3

帝国メイトではなく、高貴な ...：D（ニースの答えは、1）

— usεr11852

@usεr11852、私は今日何かを学びました:)

— Aksakal

2

この結果を得る簡単な方法は、がの列空間でのの射影であることを覚えておくことですは、が線形として表現される場合の係数のベクトルですの列の組み合わせ。一部の列が係数でスケーリングされている場合、線形結合の対応する係数をスケーリングする必要があることは明らかです。 $\hat{y}$ $y$ $X.$ $\hat{\beta}$ $\hat{y}$ $X$ $c$ $1/c$

ましょうの値で及び一つの列をによってスケーリングされるときOLS溶液の値である $b_i$ $\hat{\beta}$ $a_i$ $c.$

b_{1} x_{1} + . . . + b_{i} x_{i} + . . . + b_{m} x_{m} = a_{1} x_{1} + . . . a_{i} (c x_{i}) + . . . + a_{n} x_{n}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

の列が線形独立であると仮定すると、およびである意味します。 $b_j = a_j$ $j \neq i$ $b_i = a_ic$ $X$

— ジョニー・ローモンド
ソース

OLS推定器がスケール同変であることを示していますか？

最小二乗法による接続

これまでで最も些細な証明

代数によるOLSのみの証明