変数のベクトルはどのように超平面を表すことができますか？

Elements of Statistical Learningを読んでいます。12ページ（セクション2.3）では、線形モデルは次のように表記されています。

\hat{Y} = X^{T} \hat{β}

$\widehat{Y} = X^{T} \widehat{\beta}$

...ここで、は、予測子/独立変数/入力の列ベクトルの転置です。（これは、そうではない、このするであろう「全てのベクトルは列ベクトルであると仮定される」以前の状態行ベクトルと列ベクトル？） $X^{T}$ $X^{T}$ $\widehat{\beta}$

は「」が含まれており、対応する係数と乗算されて（定数）切片が与えられます。 $X$ $1$

それは続けて言う：

次元の入出力空間、超平面を表します。定数がに含まれている場合、超平面は原点を含み、部分空間です。ない場合には、切断アフィン集合である点でγ軸。 $(p + 1)$ $(X,\ \widehat{Y})$ $X$ $Y$ $(0,\ \widehat{\beta_0})$

「」、インターセプトの「予測因子の連結によって形成されるベクトル記述」と？そして、なぜ「を含めないにおける」「確かにいることを、原点を通過するように超平面を強制」を掛けたことがある？ $(X,\ \widehat{Y})$ $1$ $\widehat{Y}$ $1$ $X$ $1$ $\widehat{\beta_0}$

その本を理解できていない。リソースへのヘルプ/アドバイス/リンクは非常に高く評価されます。

regression references statistical-learning

— スコット
ソース

最初に

を検討すると役立つ場合があります。その場合には

と

インターセプト。これは、通過する直線の方程式である

。高次元への拡張は即座に行われます。

p = 1

$p = 1$

\hat{y} = {\hat{β}}_{0} + x \hat{β}

$\hat{y} = \hat{\beta}_0 + x \hat{\beta}$

β_{0}

$\beta_0$

(0, {\hat{β}}_{0})

$(0, \hat{\beta}_0)$

— ocram 2013年

@ocramのヘルプだけでは不十分な場合は、ベクトルを書き出して乗算を試してください。

— ピーターフロム-モニカの回復

これは素晴らしいグラフィカルなプレゼンテーションです：blog.stata.com/2011/03/03/…。表記は、あなたのXとxがあり、A異なっています

。

\hat{β}

$\hat \beta$

— Dimitriy V.Masterov 2013年

本は間違っているか、少なくともそれは矛盾しています。明らかに、定数を含まない

個の変数があります。このように設定

確かに超平面であるが、定数がされていることを言って間違っています「に含ま

。」代わりに、定数が回帰に含まれていることを意味する本が、

一部と見なされるべきではないと思います。したがって、このモデルは、実際に書かれるべき

p

$p$

{(X, \hat{Y}) | X \in R^{p}}

$\{(X,\hat{Y})|X\in\mathbb{R}^p\}$

X

$X$

X

$X$

。

に設定すると、切片に関するアサーションがすぐに表示されます。

\hat{Y} = {\hat{β}}_{0} + X^{'} \hat{β}

$\hat{Y}=\hat\beta_0 + X'\hat\beta$

β = (β_{1}, β_{2}, \dots, β_{p})^{'}

$\beta=(\beta_1,\beta_2,\ldots,\beta_p)'$

X = 0

$X=0$

— whuber

我々は代わりに定数が含まれている場合（

、我々はさせないことができ

自由に上全ての変化

：これは内部に位置するように拘束され

。次元部分空間をグラフ

その後、余次元を有しています少なくとも

ので、実際には「超平面」ではありません。）

X

$X$

X

$X$

R^{p}

$\mathbb{R}^p$

p - 1

$p-1$

{(X, \hat{Y})}

$\{(X,\hat Y)\}$

2

$2$

— whuber

回答:

してみましょう観測の数である説明変数の数。 $N$ $K$

は実際には $X$ 行列。単一の観測を見る場合にのみ、通常、各観測を -1つの特定の観測スカラーの説明変数の行ベクトルに掛けたものとして表します $N\!\times\!K$ $x_i^T$ 列のベクトル。さらに、は $K\!\times\!1$ $\beta$ $Y$ すべての観測値保持する列のベクトル。 $N\!\times\!1$ $Y_n$

これで、2次元の超平面は、ベクトルと one（！）列ベクトルの間にます。はことを覚えておいてください $Y$ $X$ $X$ 行列。各説明変数は、行列正確に1つの列ベクトルで表されます。説明変数が1つしかなく、切片とがない場合、すべてのデータポイントはと張る2次元平面に沿って配置されます。 $N\!\times\!K$ $X$ $Y$ $Y$ $X$

重回帰の場合、と行列間の超平面には合計でいくつの次元がありますか？回答：は説明変数の列ベクトルがあるため、必要です。 $Y$ $X$ $K$ $X$ 次元超平面。 $K\!+\!1$

通常、マトリックス設定では、勾配係数を適切に分析するために、回帰では不変である一定の切片が必要です。このトリックに対応するために、行列 1つの列が「秒」のみで構成されるように強制します。この場合、推定単独でスタンド代わりにランダム説明変数の各観察のための定数を掛け。係数の、したがって期待値を表しとすれば値1で固定し、他の全ての変数はゼロで保持されます。したがって、 $X$ $1$ $\beta_1$ $\beta_1$ $Y$ $x_{1i}$ 次元超平面は、1つの次元だけ減少する次元の部分空間、及びつの「切片」に対応する次元平面。 $K\!+\!1$ $K$ $\beta_1$ $K$

y_{i} = β_{1} x_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_1x_{1i} + \beta_2x_{2i} +u_i$

Y = X β + u

$Y=X\beta +u$

X

$X$

N \times 2

$N\!\times\!2$

$<Y,X>$

$x_1$ $1$

y_{i} = β_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_{1i} + \beta_2x_{2i} + u_i$

X, Y

$X,\ Y$

< Y, X >

$<Y,X>$

β_{1}

$\beta_1$

x_{2 i} = 0

$x_{2i}=0$

$<0,\beta_1>$ $<0,0>$ $\beta$

(X^{'} X) β = X^{'} y ⟹ (X^{'} X) β - X^{'} y = 0 ⟹ X^{'} (y - X β) = 0.

$(X'X)\beta=X'y \implies (X'X)\beta-X'y=0 \implies X'(y-X\beta)=0.$

X

$X$

y - X β = 0

$y-X\beta=0$

（編集：2つ目の質問では、これは定数の再包含または除外を記述したのとまったく反対であることを認識しました。ただし、ここで解決策をすでに考案しており、その解決策が間違っている場合は修正します。）

回帰の行列表現は最初はかなり混乱する可能性があることを知っていますが、最終的には、より複雑な代数を導出するときに大幅に簡略化されます。これが少し役に立てば幸いです。

— マイテ
ソース

私はそれを考える方法はその方程式を整理することだと思います：

\hat{Y} - X^{T} \hat{β} = 0

$\widehat{Y} - X^{T} \widehat{\beta} = 0$

\hat{Y}

$\widehat{Y}$

— DWin
ソース