SVMでラプラシアングラフを使用した多様体正則化

Matlabのサポートベクターマシン（SVM）に多様体正則化を実装しようとしています。Belkin et al。（2006）の論文の指示に従っていますが、その中に方程式があります。

$f^{*} = \text{argmin}_{f \in H_k}\sum_{i=1}^{l}V\left(x_i,y_i,f\right)+\gamma_{A}\left\| f \right\|_{A}^{2}+\gamma_{I}\left\| f \right\|_{I}^{2}$

ここで、Vはある損失関数であり、 $\gamma_A$ はの関数のノルム（または周囲のノルム）の重みであり、は可能な解に平滑性条件を適用し、 $\gamma_I$ は関数のノルムの重みです。低次元多様体（または固有ノルム）。これは、サンプリングされたMに沿って滑らかに実行されます。アンビエントレギュラライザーは問題を適切な状態にします。その存在は、多様体の仮定が低い程度に当てはまる場合、実用的な観点から本当に役立ちます。。

それはBelkin等で示されました。（2006）、その $f^*$ の点で拡張を認め $n$ Sの点、 $f^*(x)=\sum_{i=1}^{n}\alpha_i^*k(x_i,x)$ その決定関数クラス+1と-1を区別するのは $y(x)=sign(f^*(x))$ です。

ここでの問題は、MATLABでLIBSVMを使用してSVMをトレーニングしようとしているが、元のコードを変更したくないため、入力データを取得する代わりに、事前に計算されたバージョンのLIBSVMを見つけ、出力グループをパラメーターとして取得したことです。、計算されたカーネル行列と出力グループを取得し、SVMモデルをトレーニングします。私は、正規化されたカーネルマトリックス（グラムマトリックス）を使用してフィードを試行し、残りを実行させます。

カーネルを正規化する式を見つけようとしましたが、次のようになりました。カーネル行列と同じ次元を持つ恒等行列としての定義、 $I$ $K$

$G=\frac{2\gamma_AI + 2\gamma_ILK}{I}$

$Gram = KG$

ここで、はラプラシアングラフ行列、はカーネル行列、は単位行列です。そして、は2つの行列と内積を使用して計算されます。 $L$ $K$ $I$ $Gram$ $K$ $G$

これがどのように計算されるかを理解するのを手伝ってくれる人はいますか？

machine-learning svm regularization

— モー
ソース

どうしたの？

— 2014

@Sveltely Nothing

— Moh

~~私はテストしませんでしたが~~、記事を読むと、SVMとLapSVMの両方の最適化問題が次のように示されます。

β^{*} = max_{β \in R^{l}} \sum_{i = 1}^{l} β_{i} - \frac{1}{2} β^{T} Q β

$\beta^*=\max_{\beta\in\mathbb R^l} \sum_{i = 1}^{l}\beta_i - {1\over 2}\beta^TQ\beta$ 対象：

\sum_{i = 1}^{l} β_{i} y_{i} = 0 0 \leq β_{i} \leq \frac{1}{l}, with i = 1, \dots, l

$\sum_{i = 1}^{l}\beta_iy_i = 0\\ 0 \le \beta_i \le {1\over l}\text{, with }i=1,\dots,l$

以下のためのSVM：

Q_{SVM} = Y (\frac{K}{2 γ}) Y α_{SVM}^{*} = \frac{Y β^{*}}{2 γ}

$Q_{\text{SVM}} = Y\left(K \over 2\gamma\right)Y\\ \alpha^*_{\text{SVM}}={Y\beta^* \over 2\gamma}$

用しながらLapSVM我々は（追加括弧は関係をより明確にするために）次ています

Q_{LapSVM} = Y (J K {(2 γ_{A} I + 2 \frac{γ_{I}}{(l + u)^{2}} L K)}^{- 1} J^{T}) Y α_{LapSVM}^{*} = {(2 γ_{A} I + 2 \frac{γ_{I}}{(l + u)^{2}} L K)}^{- 1} J^{T} Y β^{*}

$Q_{\text{LapSVM}} = Y\left( JK \left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK\right)^{-1} J^T\right)Y\\ \alpha^*_{\text{LapSVM}}= \left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK\right)^{-1}J^TY\beta^*$

次の場合、を定義できます。

Q_{SVM*} \equiv Q_{LapSVM}

$Q_{\text{SVM*}} \equiv Q_{\text{LapSVM}}$

{\begin{matrix} γ_{SVM*} = 1 / 2 \\ K_{SVM*} = J K_{LapSVM} {(2 γ_{A} I + 2 \frac{γ_{I}}{(l + u)^{2}} L K_{LapSVM})}^{- 1} J^{T} \end{matrix}

$\left\{\begin{matrix} \gamma_{\text{SVM*}} = 1/2 \\ K_{\text{SVM*}}=JK_{\text{LapSVM}}\left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK_{\text{LapSVM}}\right)^{-1}J^T \end{matrix}\right.$

最終：

α_{LapSVM}^{*} = K_{LapSVM} {(2 γ_{A} I + 2 \frac{γ_{I}}{(l + u)^{2}} L K_{LapSVM})}^{- 1} J^{T} α_{SVM*}^{*}

$\alpha^*_{\text{LapSVM}}= K_{\text{LapSVM}}\left(2\gamma_AI+2\frac{\gamma_I}{(l+u)^2}LK_{\text{LapSVM}}\right)^{-1}J^T \alpha^*_{\text{SVM*}}$

動作することを確認できました。ガウスカーネルを使用したこの例と、標準のSVMであると比較してvirginica場合に、クラスがラベルのないデータに始める方法を参照してください。 $\gamma_I = 2500$ $\gamma_I = 0$

— ファイアバグ
ソース