ガウスRBFとガウスカーネル

Gaussian Radial Basis Function（RBF）で線形回帰を行うこととGaussianカーネルで線形回帰を行うことの違いは何ですか？

regression normal-distribution kernel-trick

— user35965
ソース

サイト@ user35965へようこそ。頭字語を綴ってください。「RBF」とは、動径基底関数を意味しますか？

— GUNG -復活モニカ

はい、それは私が意味するものです。将来の参照のために正式に注記されています。

— user35965

唯一の本当の違いは、適用される正則化です。通常、正規化されたRBFネットワークでは、重みの2乗ノルムに基づくペナルティが使用されます。カーネルバージョンの場合、ペナルティは通常、カーネルによって誘導された特徴空間で暗黙的に構築された線形モデルの重みの2乗ノルムです。これがもたらす実際的な主な違いは、RBFネットワークのペナルティはRBFネットワークの中心（したがって使用されるデータのサンプル）に依存するのに対して、RBFカーネルの場合、誘導される特徴空間は、そのため、ペナルティは、パラメータ化ではなくモデルの機能に対するペナルティです。

言い換えれば、両方のモデルについて

$f(\vec{x}') = \sum_{i=1}^\ell \alpha_i \mathcal{K}(\vec{x}_i, \vec{x}')$

RBFネットワークアプローチの場合、トレーニング基準は

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \|\alpha\|^2$

RBFカーネル法のために、我々は、その、および。この手段その誘起特徴空間におけるモデルの重み、上の二乗ノルムペナルティデュアルパラメータに関して記述することができ、として $\mathcal{K}(\vec{x},\vec{x}') = \phi(\vec{x})\cdot\phi(\vec{x}')$ $\vec{w} = \sum_{i=1}^\ell \alpha_i\phi(\vec{x}_i)$ $\vec{w}$ $\vec{\alpha}$

$\|\vec{w}\|^2 = \vec{\alpha}^T\matrix{K}\vec{\alpha},$

ここで、はすべてのトレーニングパターンに対するカーネルのペアごとの評価のマトリックスです。訓練基準は $\matrix{K}$

。 $L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \vec{\alpha}^T\matrix{K}\vec{\alpha}$

2つのモデルの唯一の違いは、正則化項のです。 $\matrix{K}$

カーネルアプローチの主要な理論的利点は、データのサンプルに依存しない固定非線形変換に従う線形モデルとして、非線形モデルを解釈できることです。したがって、線形モデルに存在する統計学習理論は、自動的に非線形バージョンに移行します。ただし、これはすべて、カーネルパラメーターを調整しようとするとすぐに壊れます。この時点で、RBF（およびMLP）ニューラルネットワークの場合と理論的にはほぼ同じポイントに戻ります。したがって、理論上の利点は、おそらく私たちが望むほど大きくありません。

パフォーマンスの面で実際に違いが生じる可能性はありますか？おそらくあまりない。「無料昼食なし」の定理は、他のすべてのアルゴリズムに対するアプリオリの優位性はないことを示唆しており、正則化の違いはかなり微妙です。

— ディクラン・マースピアル
ソース

@CagdasOzgencはい、RBFためregulariserである

なく

カーネル機用。

が

近づくにつれて、基底関数の幅がゼロに近づくにつれて、それらはより類似します。これは基本的に、

が基底関数間の相関を考慮しているためだと思います。

‖ \vec{α} ‖^{2} = {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\|\vec{\alpha}\|^2 = \vec{\alpha}^T\matrix{I}\vec{\alpha}$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha}$

K

$K$

I

$I$

K

$K$

— ディクランMarsupial

K

$K$

ϕ (x)

$\phi(x)$

K

$K$

‖ {\vec{α}}^{'} ‖^{2}

$\|\vec{\alpha}'\|^2$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α} = μ {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha} = \mu\vec{\alpha}^T\matrix{I}\vec{\alpha}$ , which is not generally true (especially not for the RBF kernel).

— Dikran Marsupial

Thank you. I will reflect on this will get back to you. At the moment it seems I am not at your level of understanding. I need to do more thinking :).

— Cagdas Ozgenc

@CagdasOzgenc no problem, most of the standard texts explain it through eigenfunctions of the kernel function, which makes my brain hurt as well! ;o)

— Dikran Marsupial