カーネルリッジ回帰の効率

リッジ回帰はとして表すことができますここで、は予測ラベルです、、行列を識別我々はのためのラベルを見つけようとしているオブジェクト、そしての行列オブジェクトように：

\hat{y} = (X^{'} X + a I_{d})^{- 1} X x

$\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x$

\hat{y}

$\hat{y}$

I_{d}

$\mathbf{I}_d$

d \times d

$d \times d$

x

$\mathbf{x}$

X

$\mathbf{X}$

n \times d

$n \times d$

n

$n$

x_{i} = (x_{i, 1}, . . ., x_{i, d}) \in R^{d}

$\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d$

X = (\begin{matrix} x_{1, 1} & x_{1, 2} & \dots & x_{1, d} \\ x_{2, 1} & x_{2, 2} & \dots & x_{2, d} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{n, 1} & x_{1, 2} & \dots & x_{n, d} \end{matrix})

$\mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} & \ldots & x_{2,d}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n,1} & x_{1,2} &\ldots & x_{n,d} \end{pmatrix}$

これを次のようにカーネル化できます：

\hat{y} = (K + a I_{d})^{- 1} k

$\hat{y} = (\mathbf{\mathcal{K}} + a\mathbf{I}_d)^{-1} \mathbf{k}$

ここで、はカーネル関数行列です $\mathbf{\mathcal{K}}$ $n \times n$ $K$

K = (\begin{matrix} K (x_{1}, x_{1}) & K (x_{1}, x_{2}) & \dots & K (x_{1}, x_{n}) \\ K (x_{2}, x_{1}) & K (x_{2}, x_{2}) & \dots & K (x_{2}, x_{n}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ K (x_{n}, x_{1}) & K (x_{n}, x_{2}) & \dots & K (x_{n}, x_{n}) \end{matrix})

$\mathcal{K} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x}_1) & K(\mathbf{x}_1,\mathbf{x}_2) & \ldots & K(\mathbf{x}_1,\mathbf{x}_n)\\ K(\mathbf{x}_2,\mathbf{x}_1) & K(\mathbf{x}_2,\mathbf{x}_2) & \ldots & K(\mathbf{x}_2,\mathbf{x}_n)\\ \vdots & \vdots & \ddots & \vdots\\ K(\mathbf{x}_n,\mathbf{x}_1) & K(\mathbf{x}_n,\mathbf{x}_2) &\ldots & K(\mathbf{x}_n,\mathbf{x}_n) \end{pmatrix}$

そしてカーネル関数の列ベクトル $\mathbf{k}$ $n \times 1$ $K$

k = (\begin{matrix} K (x_{1}, x) \\ K (x_{2}, x) \\ ⋮ \\ K (x_{n}, x) \end{matrix})

$\mathbf{k} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x})\\ K(\mathbf{x}_2,\mathbf{x}) \\ \vdots \\ K(\mathbf{x}_n,\mathbf{x}) \end{pmatrix}$

質問：

（a）ディメンションよりも多くのオブジェクトがある場合、カーネルを使用しないことは理にかなっていますか？例えばせである行列次いでであろう、我々は反転してしまうの代わりに、マトリックスカーネルを使用するには、行列を反転する必要があります。これは、場合、カーネルを使用しないことを意味しますか？ $\mathbf{x}_i$ $\mathbf{X}$ $50 \times 3$ $\mathbf{X}'\mathbf{X}$ $3 \times 3$ $3 \times 3$ $50 \times 50$ $d \leq n$

（b）可能な限り単純なカーネルを使用する必要がありますか？リッジ回帰のカーネルは、次元数の影響を打ち消すため、および（サポートベクターマシンとは異なり）特徴空間の特定のプロパティを利用しないために使用されているようです。ただし、カーネルはオブジェクト間の距離を変更できるため、リッジ回帰でよく使用されるカーネルはありますか？

（c）リッジ回帰および/またはカーネルリッジ回帰の時間の複雑さは何ですか？ $O$

regression ridge-regression kernel-trick

— ヘリックス
ソース

「効率」は統計学では異なる意味を持っています。「計算の複雑さ」という意味ですか？（タイトル内）

— 2013

「アルゴリズム効率」を意味しました。私の質問は、これを本質的に「計算の複雑さ」に減らすことは事実ですが。

— Helix

（a）カーネルを使用する目的は、この場合の非線形回帰問題を解くことです。優れたカーネルを使用すると、おそらく無限次元の特徴空間で問題を解決できます。ただし、線形カーネルを使用し、双対空間でカーネルリッジ回帰を行うことは、主空間で問題を解決することと同じです。つまり、それは何の利点ももたらしません（観察したサンプル数が増えるにつれて、それははるかに遅くなります）。 $K(\mathbf{x,y}) = \mathbf{x}^\top \mathbf{y}$

（b）最も一般的な選択肢の1つは、二乗指数カーネルこれは普遍的です（以下の参考文献を参照）。多くのカーネルがあり、それぞれが特徴空間に異なる内積（したがってメトリック）を誘導します。 $K(x,y) = \exp(-\frac{\tau}{2} ||\mathbf{x}-\mathbf{y}||^2)$

（c）の直接の実装は、サイズの一次方程式を解く必要それのように、。Nyström近似など、より高速な近似方法は多数あります。これは活発な研究の領域です。 $n$ $O(n^3)$

参照：

Bharath Sriperumbudur、Fukumizu Kenji、Gert Lanckriet。普遍性、特徴的な核、RKHSの測定値の埋め込みの関係について。Journal of Machine Learning Research、9：773–780、2010年。
Bernhard Schlkopf、Alexander J. Smola。カーネルを使用した学習：サポートベクターマシン、正則化、最適化、および 2002年以降

— メミング
ソース