プライマル、デュアル、カーネルリッジ回帰の違い

Primal、Dual、およびKernel Ridge回帰の違いは何ですか？人々は3つすべてを使用していますが、異なるソースで誰もが使用する表記法が異なるため、私が従うことは困難です。

だから誰かが簡単な言葉でこれら3つの違いを教えてもらえますか？さらに、それぞれの長所または短所は何ですか？また、その複雑さは何ですか？

簡単な答え：PrimalとDualの間に違いはありません-それは解決策にたどり着く方法についてのみです。カーネルリッジ回帰は基本的に通常のリッジ回帰と同じですが、カーネルトリックを使用して非線形になります。

線形回帰

まず、通常の最小二乗線形回帰は、二乗誤差の合計が最小になるようにデータポイントのセットに直線を当てはめようとします。

を使用して最適なラインをパラメーター化し、各データポイントに対してです。してみましょう誤りである-予測と真の値との間の距離です。したがって、目標は二乗誤差の合計を最小化することですここで、 -各が行であり、すべてののベクトルを持つデータ行列。$\mathbb w$$(\mathbf x_i, y_i)$$\mathbf w^T \mathbf x_i \approx y_i$$e_i = y_i - \mathbf w^T \mathbf x_i$$\sum e_i^2 = \| \mathbf e \|^2 = \| X \mathbf w - \mathbf y \|^2$$X = \begin{bmatrix} — \mathbf x_1 \,— \\ — \mathbf x_2 \,— \\ \vdots \\ — \mathbf x_n \,— \end{bmatrix}$$\mathbf x_i$$\mathbf y = (y_1 , \ ... \ , y_n)$$y_i$

したがって、目的は、解は（「正規方程式」として知られる）です。$\min\limits_{\mathbf w} \| X \mathbf w - \mathbf y \|^2$$\mathbf w = (X^T X)^{-1} X^T \mathbf y$

新しい未表示のデータポイント場合、ターゲット値をとして予測します。$\mathbf x$$\hat y$$\hat y = \mathbf w^T \mathbf x$

リッジ回帰

線形回帰モデルに多くの相関変数がある場合、係数決定が不十分になり、多くの分散が生じる可能性があります。この問題の解決策の1つは、重みを制限して、予算超えないようにすることです。これは、「重量減衰」とも呼ばれる正則化を使用するのと同等です。正しい結果が得られない場合があります（つまり、バイアスを導入することにより）。$\mathbf w$$\mathbf w$$C$$L_2$

目標は、は正則化パラメーターです。数学を通して、次の解を得ます：。通常の線形回帰に非常に似ていますが、ここでは各対角要素にを追加します。$\min\limits_{\mathbf w} \| X \mathbf w - y \|^2 + \lambda \, \| \mathbf w \|^2$$\lambda$$\mathbf w = (X^T X + \lambda \, I )^{-1} X^T \mathbf y$$\lambda$$X^T X$

をとしてことができることに注意してください（詳細はこちらを参照）。新しい未表示のデータポイントについて、ターゲット値をとして予測します。ましょう。それから。$\mathbf w$$\mathbf w = X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$$\mathbf x$$\hat y$$\hat y = \mathbf x^T \mathbf w = \mathbf x^T X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$$\boldsymbol \alpha = (X X^T + \lambda \, I)^{-1} \mathbf y$$\hat y = \mathbf x^T X^T \boldsymbol \alpha = \sum\limits_{i=1}^{n} \alpha_i \cdot \mathbf x^T \mathbf x_i$

リッジ回帰デュアルフォーム

目的を別の方法で見ることができます-そして、次の二次計画問題を定義します：

$\min\limits_{\mathbf e, \mathbf w} \sum\limits_{i = 1}^n e_i^2$ st forおよび。$e_i = y_i - \mathbf w^T \mathbf x_i$$i = 1 \, .. \, n$$\| \mathbf w \|^2 \leqslant C$

これは同じ目的ですが、表現方法が多少異なります。ここでは、サイズの制約が明示的です。それを解決するために、ラグランジュを定義します-これは、主変数およびを含む原型です。それからと最適化します。二重定式化を得るために、見つかったとを戻します。$\mathbf w$$\mathcal L_p(\mathbf w, \mathbf e ; C)$$\mathbf w$$\mathbf e$$\mathbf e$$\mathbf w$$\mathbf e$$\mathbf w$$\mathcal L_p(\mathbf w, \mathbf e ; C)$

したがって、。と 微分をとることにより、と。せることによって、及びパッティングとへ戻る、我々 GETを二重ラグランジアン$\mathcal L_p(\mathbf w, \mathbf e ; C) = \| \mathbf e \|^2 + \boldsymbol \beta^T (\mathbf y - X \mathbf w - \mathbf e) - \lambda \, (\| \mathbf w \|^2 - C)$$\mathbf w$$\mathbf e$$\mathbf e = \cfrac{1}{2} \boldsymbol \beta$$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta$$\boldsymbol \alpha = \cfrac{1}{2 \lambda} \boldsymbol \beta$$\mathbf e$$\mathbf w$$\mathcal L_p(\mathbf w, \mathbf e ; C)$$\mathcal L_d(\boldsymbol \alpha, \lambda; C) = -\lambda^2 \| \boldsymbol \alpha \|^2 + 2 \lambda \, \boldsymbol \alpha^T y - \lambda \| X^T \boldsymbol \alpha \| - \lambda C$。微分wrtを取得すると、通常のカーネルリッジ回帰と同じ答えが得られます。派生物をとる必要はありません-これはに依存します。これは正則化パラメーターであり、正則化パラメーターも作成します。$\boldsymbol \alpha$$\boldsymbol \alpha = (XX^T - \lambda I)^{-1} \mathbf y$$\lambda$$C$$\lambda$

次に、原型解にを置き、を取得します。したがって、双対形式は、通常のリッジ回帰と同じ解決策を提供し、同じ解決策を得るための異なる方法にすぎません。$\boldsymbol \alpha$$\mathbf w$$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta = X^T \boldsymbol \alpha$

カーネルリッジ回帰

カーネルは、特定の機能空間で2つのベクトルの内積を計算するために使用されます。カーネルをとして見ることができますが、が何であるかはわかりません-私たちはそれが存在することだけを知っています。RBF、Polynonialなど、多くのカーネルがあります。$k$$k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$$\phi(\cdot)$

カーネルを使用して、リッジ回帰を非線形にすることができます。カーネルます。ましょう各行がある行列である、すなわち$k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$$\Phi(X)$$\phi(\mathbf x_i)$$\Phi(X) = \begin{bmatrix} — \phi(\mathbf x_1) \,— \\ — \phi(\mathbf x_2) \,— \\ \vdots \\ — \phi(\mathbf x_n) \,— \end{bmatrix}$

これで、リッジ回帰のソリューションを取得し、すべてのを置き換えることができます：。新しい未表示のデータポイント場合、ターゲット値をとして予測します。$X$$\Phi(X)$$\mathbf w = \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$$\mathbf x$$\hat y$$\hat y= \mathbf \phi(\mathbf x)^T \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$

まず、をとして計算される行列で置き換えることができます。そして、は。そこで、ここで問題のすべてのドット積をカーネルの観点から表現することができました。$\Phi(X) \Phi(X)^T$$K$$(K)_{ij} = k(\mathbf x_i, \mathbf x_j)$$\phi(\mathbf x)^T \Phi(X)^T$$\sum\limits_{i = 1}^n \phi(\mathbf x)^T \phi(\mathbf x_i) = \sum\limits_{i = 1}^n k(\mathbf x, \mathbf x_j)$

最後に、（前述のように）させることにより、を取得します。$\boldsymbol \alpha = (K + \lambda \, I)^{-1} \mathbf y$$\hat y= \sum\limits_{i = 1}^n \alpha_i k(\mathbf x, \mathbf x_j)$

参照資料

• TUベルリンの機械学習Iクラス
• 統計学習の要素、http：//statweb.stanford.edu/~tibs/ElemStatLearn/
• http://0agr.ru/wiki/index.php/Normal_Equation
• http://stat.wikia.com/wiki/Kernel_Ridge_Regression
• http://stat.rutgers.edu/home/tzhang/papers/ml02_dual.pdf
• http://www.ics.uci.edu/~welling/classnotes/papers_class/Kernel-Ridge.pdf
• http://www.cs.nyu.edu/~mohri/mls/lecture_8.pdf