正規方程式証明に関する質問

正規方程式は、Xが可逆であるという仮定なしに1つ以上の解を持つことをどのように証明できますか？ $(X^TX)\beta = X^TY$

私の唯一の推測は、それが一般化された逆と関係があるということですが、私は完全に失われています。

regression proof

— リアティ
ソース

あなたは驚くべき答えを引き起こす質問をすることによってポイントを獲得します。

— Nikana Reklawyks

1つはglibになりたがり、二次形式が

β \to (Y - X β)^{'} (Y - X β)

$\beta \to (Y - X\beta)'(Y - X\beta)$

が正の半定値である場合、それが最小であるが存在し、その最小値が（に関する勾配をゼロに設定することにより）正規方程式で求められます。 $\beta$ $\beta$

X^{'} X (Y - X β) = 0,

$X'X(Y - X\beta) = 0,$

そこに関わらずランクの少なくとも一つの解が存在しなければならない $X'X$ 。しかし、この議論は、純粋に代数的な発言であるように見える質問の精神にあるようには見えません。おそらく、そのような方程式に解が必要な理由を理解し、正確にどのような条件下で理解するのが興味深いでしょう。では、最初からやり直して、最小二乗との関係がわからないふりをしてみましょう。

それはすべて転置であるの意味に帰着します。これは、単純な定義、適切な表記、および非縮退セスキリニア形式の概念の問題であることが判明します。は、行（観測ごとに1つ）と列（変数ごとに1つ、ある場合は定数を含む）の「設計行列」であることを思い出してください。したがって、ベクトル空間からへの線形変換を表します。 $X'$ $X$ $X$ $n$ $p$ $\mathbb V = \mathbb{R}^p$ $\mathbb W = \mathbb{R}^n$

線形変換と見なされるの転置は、双対空間線形変換です。ような構成を理解するには、を識別する必要があります。これは、の通常の内積（平方和）が行うことです。 $X$ $X': \mathbb{W}^* \to \mathbb{V}^*$ $X'X$ $\mathbb{W}^*$ $\mathbb{W}$ $\mathbb{W}$

実際には、とそれぞれ定義された2つの内積とあります。これらは、非縮退である実数値の双一次対称関数です。後者は、 $g_V$ $g_W$ $\mathbb V$ $\mathbb W$

g_{W} (u, v) = 0 \forall u \in W ⟹ v = 0,

$g_W(u, v) = 0\ \forall u\in \mathbb W \implies v = 0,$

$g_V$ $g(u,v)=0$ $u$ $v$ $g_W$ $g_V$ $X':\mathbb W\to\mathbb V^*$

$X: \mathbb V \to \mathbb W$ $X': \mathbb W \to \mathbb V$

g_{V} (X^{'} (w), v) = g_{W} (w, X (v))

$g_V(X'(w), v) = g_W(w, X(v))$

$w\in \mathbb W$ $v\in \mathbb V$ $X'(w) \in \mathbb V$ $\mathbb V$ $\mathbb W$ $v_1$ $v_2$ $g_V(v_1,v)=g_V(v_2,v)$ $v\in\mathbb V$ $g_V(v_1-v_2,v)=0$ $v$ $v_1-v_2=0$

$\mathbb U \subset \mathbb W,$ $\mathbb{U}^\perp$ $\mathbb U$ $X(\mathbb V)$ $X$ $\{X(v) | v \in \mathbb V\} \subset \mathbb W$ $X$ $X'$

X^{'} (w) = 0 ⟺ w \in X (V)^{⊥} .

$X'(w) = 0 \iff w \in X(\mathbb V)^\perp.$

$w$ $X'$ $w$ $X$

$X'(w) = 0$ $g_W(w, X(v)) = g_V(X'(w),v) = g_V(0,v)=0$ $v\in\mathbb V$ $w$ $X(V)$
$w$ $X(\mathbb V)$ $g_W(w, X(v)) = 0$ $v\in\mathbb V$ $g_V(X'(w), v) = 0$ $g_V$ $X'(w)=0$

$\mathbb W$ $\mathbb W = X(\mathbb V) \oplus X(\mathbb V)^\perp$ $y \in \mathbb W$ $y = y_0 + y^\perp$ $y_0\in X(\mathbb V)$ $y^\perp \in X(\mathbb V)^\perp$ $y_0$ $X(\beta)$ $\beta\in\mathbb V$

y - X β = (y_{0} + y^{⊥}) - y_{0} = y^{⊥} \in X (V)^{⊥}

$y - X\beta = (y_0 + y^\perp) - y_0 = y^\perp \in X(\mathbb V)^\perp$

$X'$

X^{'} (y - X β) = 0,

$X'(y - X\beta) = 0,$

$\beta$ $X'X\beta = X'y.$

$n$ $y\in\mathbb W$ $y_0$ $X$ $y^\perp$ $y_0$ $y_0$ $p$ $\beta\in\mathbb V$ $X(\mathbb V)$ $X$ $X$ $\mathbb V$ $\mathbb W$

$\mathbb V$ $\mathbb U = X(\mathbb V)\subset\mathbb W$ $X$ $\mathbb U$

この抽象的な代数的デモンストレーションの興味深い結果の1つは、任意のベクトル空間で正規方程式を解くことができることです。 結果は、たとえば、複雑な空間、有限体上の平方（平方和の最小化はほとんど意味がない）、さらには適切な等線形形式をサポートする無限次元の空間にも当てはまります。

— whuber
ソース

ずっと後でないと、私はこの回答を受け入れる担当者がいなかった。私はこれにつまずいただけで、もう一度感謝したいと思いました！

— ryati

β \mapsto (Y - X β)^{'} (Y - X β)

$\beta \mapsto (Y - X\beta)'(Y - X\beta)$

β \to (Y - X β)^{'} (Y - X β),

$\beta \to (Y - X\beta)'(Y - X\beta),$

f : A \to B .

$f:A\to B. \qquad$

— マイケルハーディ

@Michaelコメントに誤植があるはずです。意味を明確にしていただけませんか？

— whuber

“ \mapsto''

$\text{“}\mapsto\text{''}$

“ \to''

$\text{“}\to\text{''}$

$\qquad$

— マイケルハーディ

@Michael多くの読書にもかかわらず、その区別を見なかったことを許してください。いずれにせよ、私にとって、最初の矢印は単射関数を指しますが、2番目の矢印は任意の関数を指しますが、それはあなたが意図したものではないようです。表記を説明していただけませんか？

— whuber

$n$ $X^T X$ $x$ $x_i=x$ $y$ $\overline{y}$

— ルコザード
ソース

X = [1 x_{1}; 1 x_{2}; \dots; 1 x_{n}]

$X=[1 ~x_1; 1 ~x_2; \ldots; 1 ~x_n]$

X = [1 x_{11} \dots x_{m 1}; \dots; 1 x_{1 n} \dots x_{m n}]

$X=[1 ~x_{11} \ldots x_{m1}; \ldots; 1 ~x_{1n} \ldots x_{mn}]$

X^{'} X

$X'X$

典型的な回帰では、Xは細いため、確かに可逆ではありません（ただし、可逆のままにしておくこともできます）。Xが細く、可逆のままである場合、X ^ T * Xは可逆であることを証明するのは簡単です（助けが必要か尋ねてください）。この場合、解決策は1つだけです。また、Xに完全な列ランクがない場合、X ^ T * Xは完全なランクにならないため、システムが不確定になります。

— user542833
ソース

X^{'} X

$X'X$

X

$X$

0 β = 0

$0\beta=0$

β

$\beta$

whuber：もちろん、彼らは質問に対処します：Xがフルカラムランクの場合は1つのソルン（前述のとおり）、それが未定システムの場合は無限解

— user542833

システムが「過小評価」されているという事実は、それがソリューションをまったく持っていることを意味するものではありません。問題は解決策の存在についてです。

— whuber