加重二乗和を行列形式に変換する手順は何ですか？

数式をマトリックス形式に変換するのは初めてです。しかし、これは効率的な機械学習コードに必要です。だから私は「正しい」方法を理解したいのですが、私がするカウボーイのものではありません。

さて、これで、重み付き二乗和を以下の形式から行列形式に変換しようとしています。私はよくマトリックス形式を以下のものと同等であると見なし、それがどのように導出されるかについての説明はありません。

J (w) = \sum_{i = 1}^{m} u_{i} (w^{T} x_{i} - y_{i})^{2}

$J(w)=\sum_{i=1}^m u_i (w^T x_i - y_i)^2$

ここで、は各サンプル誤差重みです。また、、、、、。は、重みベクトルに特徴ベクトルを乗算した結果である予測値です。 $u_i$ $_i$ $x_i \in \mathbb{R^n}$ $w \in \mathbb{R^n}$ $y \in \mathbb{R}$ $u_i \in \mathbb{R}$ $i=1,...,m$ $w^T x_i$

これが私の考えです、そして私は創造的になります。接線で行く場合は、最後までスキップしてください。

してみましょう非二乗誤差を表し関数の列ベクトルで。をとして表すことができ $r$ $(w^T x_i - y_i)^2$ $i=1,...,m$

\begin{matrix} (1) & r^{2} = [\begin{matrix} r_{1} & r_{2} & \dots & r_{m} \end{matrix}] [\begin{matrix} r_{1} \\ r_{2} \\ ⋮ \\ r_{m} \end{matrix}] \end{matrix}

$r^2 = \begin{bmatrix}r_1 & r_2 & \cdots & r_m\end{bmatrix} \begin{bmatrix} r_1 \\ r_2 \\ \vdots \\ r_m \\ \end{bmatrix} \tag{1}\label{1}$

ベクトルにベクトルを掛けた結果は、行列（スカラー）です。 $1 \times m$ $m \times 1$ $1 \times 1$

してみましょう、各サンプルのエラーの重重みのベクトルです。二乗誤差を比較する必要があるため、スカラーを取得する前に、式にを組み込む必要があります。最初のをベクトルとして残したいので、をからの対角項を持つ対角行列として定義します。私たちは今持っています： $u$ $u$ $\ref{1}$ $r$ $1 \times m$ $U$ $u$

\begin{matrix} (2) & J (w) = [\begin{matrix} r_{1} & r_{2} & \dots & r_{m} \end{matrix}] [\begin{matrix} u_{1} & 0 & \dots & 0 \\ 0 & u_{2} & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & u_{m} \end{matrix}] [\begin{matrix} r_{1} \\ r_{2} \\ ⋮ \\ r_{m} \end{matrix}] \end{matrix}

$J(w) = \begin{bmatrix}r_1 & r_2 & \cdots & r_m\end{bmatrix} \begin{bmatrix} u_1 & 0 & \cdots & 0\\ 0 & u_2 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots\\ 0 & 0 & \cdots & u_m\\ \end{bmatrix} \begin{bmatrix} r_1 \\ r_2 \\ \vdots \\ r_m \\ \end{bmatrix} \tag{2}\label{2}$

これを簡略化できます

\begin{matrix} (3) & J (w) = r^{T} U r \end{matrix}

$J(w) = r^T U r \tag{3}\label{3}$

次に、を展開します。我々が持っていたを乗じ米国与える Xは今マトリックス及びある列ベクトル。y を、ラベル表す列のベクトル。ここで、です。これを数式に代入すると、最終的な重み付き二乗和が行列形式で得られます $r$ $x_i \in \mathbb{R^n}$ $w \in \mathbb{R^n}$ $Xw$ $m \times n$ $w$ $n \times 1$ $m \times 1$ $y = 1,...,m$ $r = (Xw - y)$ $\ref{3}$

\begin{matrix} (4) & J (w) = (X w - y)^{T} U (X w - y) \end{matrix}

$J(w) = (Xw - y)^T U(Xw-y) \tag{4}\label{4}$

まず、これは理にかなっていますか？第二に、そして最も重要なことは、これは実際にあなたがそれを行うことになっている方法ですか？

ありがとう

regression machine-learning linear-algebra

— ベガ
ソース

これ： math.stackexchange.com/questions/198257/… が役立つかもしれません！

— kjetil b halvorsen 2016

+1：「カウボーイのもの」をやっているとおもしろい。これはまさにそれを行う方法ですが、これを包括的に書き留めることは決してしません（とても良い仕事です！）。これは私の計量経済学の研究中に私の計量経済学1コースの本の章です。120ページは、（簡単な）関数を行列表記に書き換える方法を説明しています。121ページは、重みなしの例です（ただし、表記は少し異なります）。私の記憶が正しければ、別の章でもWLS見積もりを扱います（これは基本的にあなたの表現です）。

— Marcel10 2016

は、私にはよく見えますよ。

— Matthew Gunn 2016

私はこの質問への答えに挑戦します：あなたが提示したすべてが正しいです。

基本的に導き出したのはガウス・マルコフの定理です。加重最小二乗推定量は、加重データの最良の線形不偏推定量です。この推定量は、加重二乗和（最初の表示）を最小化し、次の式で与えられます：。ここで、は、最初の列がのベクトル（これは切片の項です）に設定された計画行列です。 $\hat{\beta}_{WLS} = \left( \mathbf{X}^T\mathbf{W}\mathbf{X} \right) \left( \mathbf{X}^T \mathbf{W} Y \right)$ $\mathbf{X}$ $\mathbf{1}$ $n \times 1$

この結果は、任意の共分散行列に適用されます。ただし、重み付けされた独立データは、重み行列の対角線に沿った重みのベクトルで表されます。（表記では、回帰係数として、重みとしてを使用しているため、混乱を避けるために、設計行列はおよび。 $w$ $u$ $\mathbf{X} = [x], \mathbf{W} = \text{diag}(u),$ $\beta=[w]$

ガウスマルコフの定理の証明は矛盾しています。こちらをご覧ください。つまり、損失関数から直接このような推定量を導出することはありません。線形およびロジスティック回帰推定式の導出で使用されるこのようなアプローチを見たことがあるかもしれません。

— アダモ
ソース