なぜのトレース

モデルでは${y} = X \beta + \epsilon$、我々は推定できた$\beta$正規方程式を使用して：

$$\hat{\beta} = (X'X)^{-1}X'y,$$ 我々は得ることができ、Y =X βを。 $$\hat{y} = X \hat{\beta}.$$

残差のベクトルは、

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$$

ここで、

$$Q = I - X (X'X)^{-1} X'.$$

私の質問は、tr（Q ）= n − pの結論を得る方法です。

$$\textrm{tr}(Q) = n - p.$$

結論はベクトル空間の次元を数えるだけです。ただし、一般的にそうではありません。

線形変換は、行列で表される行列乗算ショーの最も基本的な特性を満たします$\mathbb{H}=X(X^\prime X)^{-}X^\prime$

$$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$$

投影演算子としてそれを展示します。したがって、その補完

$$\mathbb{Q} = 1 - \mathbb{H}$$

（質問で与えられているように）も射影演算子です。のトレースはそのランクh（以下を参照）であり、Qのトレースはn − hに等しくなります。$\mathbb{H}$$h$$\mathbb{Q}$$n-h$

その式から、は2つの線形変換J = （X ′ X ）− X ′とX自体の合成に関連する行列であることが明らかです。（最初のJは）変換N -ベクトルYにP -ベクトルβを。第二の（Xは）からの変換であるRの Pに対してR Nによって与えられ、Y = $\mathbb{H}$

$$\mathbb{J}=(X^\prime X)^{-}X^\prime$$ $X$$\mathbb{J}$$n$$y$$p$$\hat\beta$$X$$\mathbb{R}^p$$\mathbb{R}^n$$\hat y = X\hat \beta$。そのランクは、最小二乗に設定それらの二次元の小さい方が常に超えることができない（未満とすることができるPたびに、Jがフルランクではありません）。したがって、合成のランクH = X JはXのランクを超えることはできません。 正しい結論は、$p$$p$$\mathbb{J}$$\mathbb{H}=X\mathbb{J}$$X$

Jがフルランクの場合にのみ、そして一般的に N ≥ TR （Q）≥ N - P。前者の場合、モデルは「識別可能」であると言われます（ βの係数に対して）。$\text{tr} (\mathbb{Q}) = n-p$$\mathbb{J}$$n \ge \text{tr} (\mathbb{Q}) \ge n-p$$\beta$

X ′ Xが可逆である場合にのみ、 Jはフルランクになります。$\mathbb{J}$$X^\prime X$

---

幾何学的解釈

は、 n個のベクトル y（「応答」または「従属変数」を表す）から X（「独立変数」または「共変量」を表す）の列がまたがる空間への正射影を表します。差分 Q = 1 - Hの方法の任意の分解方法を示し、N -ベクトル yとベクトルの和に、Yが= H（Y ）+ Q（Y ）、最初から「予測」することができる X及び第二それに対して垂直であるが。とき$\mathbb{H}$$n$$y$$X$$\mathbb{Q}=1-\mathbb{H}$$n$$y$

$$y = \mathbb{H}(y) + \mathbb{Q}(y),$$ $X$$p$列を生成P（、である同一直線上ではない）次元空間を、ランクHであり、PとのランクQがであるN - 、P、反射nは- P示されていない応答の変化の追加のディメンション独立変数内。トレースは、これらの次元の代数公式を提供します。$X$$p$$\mathbb{H}$$p$$\mathbb{Q}$$n-p$$n-p$

---

線形代数の背景

ベクトル空間（R nなど）の射影演算子は、P 2 = Pのような線形変換P：V → V（つまり、Vの準同型）です。これは、その相補作るQ = 1 $V$$\mathbb{R}^n$$\mathbb{P}:V\to V$$V$$\mathbb{P}^2=\mathbb{P}$も射影演算子になります。$\mathbb{Q}=1-\mathbb{P}$

$$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$$

すべての突起は、それらの画像のすべての要素を修正するたびにするためにに書くことができるV = P（Wを）いくつかのためのw ∈ V、そこW = P（V ）= P 2（V ）= P（P（v ））= P$v\in \text{Im}(\mathbb{P})$$v = \mathbb{P}(w)$$w\in V$

$$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$$

任意の自己準同形の関連付けられたのV、その2つの部分空間であるカーネルKER （P）= { V ∈ $\mathbb{P}$$V$ およびその画像 Im （P）=

$$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$$ すべてのベクトル V ∈ Vは、フォームに書き込むことができ、V = W + Uここで、W ∈ イム（P）とのu ∈ ケル（P）。そこで基礎構築することができる E ∪ Fのための V用 E ⊂ ケル（P）及び F ⊂ $$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$$ $v\in V$ $$v = w+u$$ $w\in \text{Im}(\mathbb{P})$$u\in \text{Ker}(\mathbb{P})$$E \cup F$$V$$E \subset \text{Ker}(\mathbb{P})$$F \subset \text{Im}(\mathbb{P})$。場合有限次元である、の行列Pこの基準では、したがって、一つのブロック（の動作に対応して、ブロック対角の形であろうP上のE）全てゼロと他（のアクションに対応するP上のF）に等しいFによってFの寸法単位行列、Fであり、F。Pのトレースは、対角線上の値の合計であるため、f × 1 = f等しくなければなりません。$V$$\mathbb{P}$$\mathbb{P}$$E$$\mathbb{P}$$F$$f$$f$$F$$f$$\mathbb{P}$$f\times 1 = f$。この数は、ランクの：画像の寸法。$\mathbb{P}$

微量の微量の等しい1（に等しいNの寸法V）マイナスのトレースP。$1-\mathbb{P}$$1$$n$$V$$\mathbb{P}$

これらの結果は、投影のトレースがそのランクに等しいという主張で要約できます。

@Dougalはすでに答えを出していますが、もう1つ、もう少し簡単なものを示します。

まず、という事実を使用しましょう。したがって、次のようになります：t r（Q ）= t r（I ）− t r（X （X ′ X ）− 1 X ′）。今、私はn × nの単位行列なので、$\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$

$$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$$ $I$$n \times n$。ここで、 t r（A B ）= t r（B A ）であるという事実を使用してみましょう。つまり、トレースは循環順列では不変です。したがって、 t r（Q ）= n − t r（（X ′ X ）− 1（X ′ X ））。乗算するとき（X ′ X $\tr(I) = n$$\tr(AB) = \tr(BA)$ $$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$$ $(X'X)^{-1}$$(X'X)$$p \times p$$p$ $$\tr(Q) = n - p.$$

$\newcommand\R{\mathbb R}$$n \le p$$X$フルランクです。

$X = U \Sigma V^T$$\Sigma \in \R^{p \times p}$$U \in \R^{n \times p}, V \in \R^{p \times p}$$U^T U = V^T V = V V^T = I_p$$U U^T$$p$$I_n$）。それから

$$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$$

Now, there exists a matrix $U_2 \in \R^{n \times n-p}$ such that $U_n = \begin{bmatrix}U & U_2\end{bmatrix}$ is unitary. We can write

$$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$$ This form shows that $Q$ is positive semidefinite, and since it is a valid svd and the singular values are the square of the eigenvalues for a square symmetric matrix, also tells us that $Q$ has eigenvalues 1 (of multiplicity $n-p$) and 0 (of multiplicity $p$). Thus the trace of $Q$ is $n-p$.