NumPyは、未決定システムの最小二乗法をどのように解決しますか？

Xの形状（
2、5 ）とyの形状（2、）があるとしましょう

これは動作します： np.linalg.lstsq(X, y)

Xが形状（N、5）で、N> = 5である場合にのみ、これが機能すると期待しますが、なぜ、どのように？

予想どおり5つのウェイトが返されますが、この問題はどのように解決されますか？

2つの方程式と5つの未知数があるのではないでしょうか？
numpyはこれをどのように解決できますか？
より人工的な方程式を作成するには、補間のようなことをする必要がありますか？..

私の理解では、numpy.linalg.lstsqはLAPACKルーチンdgelsdに依存しています。

問題は解決することです：

$$\text{minimize} (\text{over} \; \mathbf{x}) \quad \| A\mathbf{x} - \mathbf{b} \|_2$$

もちろん、これには、ランクがベクトルbの長さより短い行列Aに対する一意の解はありません。未決定のシステムの場合、次のようなソリューションzを提供します。$\mathbf{b}$dgelsd$\mathbf{z}$

• $A\mathbf{z} = \mathbf{b}$
• $\| \mathbf{z} \|_2 \leq \|\mathbf{x} \|_2$すべてについてを満たすことが。（つまり、は未決定システムの最小ノルム解です。$\mathbf{x}$$A\mathbf{x} = \mathbf{b}$$\mathbf{z}$

たとえば、システムが場合、numpy.linalg.lstsqはを返します。$x + y = 1$$x = .5, y = .5$

dgelsdはどのように機能しますか？

このルーチンは、Aの特異値分解（SVD）をdgelsd計算します。

SVDを使用して線形システムを解く背後にあるアイデアをスケッチします。特異値分解は、因数分解ここで、とは直交行列で、は対角要素が特異値として知られる対角行列です。$U \Sigma V' = A$$U$$V$$\Sigma$

行列の有効ランクは、事実上ゼロでない特異値の数になります（つまり、機械の精度などに対してゼロとは十分に異なります）。してみましょうゼロでない特異値の対角行列とします。したがって、SVDは次のとおりです。$A$$S$

$$A = U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V'$$

擬似逆の次式で与えられます。$A$

$$A^\dagger = V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U'$$

解考えます。次に：$\mathbf{x} = A^\dagger \mathbf{b}$

$$\begin{align*} A\mathbf{x} - \mathbf{b} &= U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V' V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b} \\ &= U \begin{bmatrix} I & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b}\\ \end{align*}$$

ここには基本的に2つのケースがあります。

1. 非ゼロの特異値の数（つまり、行列のサイズ）は、長さよりも小さくなります。ここでの解決策は正確ではありません。最小二乗の意味で線形システムを解きます。$I$$\mathbf{b}$
2. $A\mathbf{x} - \mathbf{b} = \mathbf{0}$

この最後の部分は少し注意が必要です。行列の次元を追跡し、が直交行列であることを使用する必要があります。$U$

擬似逆関数の等価性

とき線形独立の行を、持っている（例えば、我々は、脂肪マトリックスを持っている。）、そして： $A$

$$A^\dagger = A'\left(AA' \right)^{-1}$$

未決定のシステムの場合、擬似逆関数が最小ノルム解を与えることを示すことができます。

とき線形独立の列を、持っている（例えば、我々はスキニー行列を持っている。）、そして： $A$

$$A^\dagger = \left(A'A \right)^{-1}A'$$