アルゴリズムをカーネル化するとき、切片項を考慮する必要がありますか?


7

学習アルゴリズム(分類、回帰、クラスタリング、次元削減など)がデータポイント間のドット積のみを使用する場合カーネルトリックを介して、より高い次元のマッピングを暗黙的に使用できます。ドット積は、カーネルによって生じるすべてのインスタンス交換。xxTϕ(x)K=ϕ(x)ϕ(x)T

SVMなどの線形モデルでは、データポイントに定数列を追加する切片を考慮することができます。線形カーネルを使用する場合、その列を一定に保つことは私にとって非常に理にかなっています。カーネル係数からまでの 列係数取得できます。と解は、カーネルを使用するかどうかにかかわらず、同一でなければなりません。K=xxTwuw=xTu

しかし、カーネルが線形でない場合、列係数がで表すことができないように無限次元でマッピングする場合はどうなりますか?インターセプト用語?w=ϕ(x)Tu


2
カーネルが静止している場合、切片は定義により違いを生じません。
Sycoraxは、モニカを復活させると2016

回答:


3

部分的な答え:

しばらくの間SVMに焦点を合わせて、このリファレンスにたどり着きました(サポートベクターマシンのバイアス用語の @DikranMarsupialによってポイントされました):

Poggio、T.、Mukherjee、S.、Rifkin、R.&Rakhlin、A.(2001)。ヴェッリ、Aを B幾何学計算における不確実性に関する会議の議事録

抜粋:

このペーパーは、次の質問に答えることを目的としています。bはいつ使用すべきですか?bを使用するかしないかを選択できますか?選択とはどういう意味ですか?RN(Regularization Networks)とSVMでは答えが異なりますか?[...]

彼らの結論では、バイアス用語の使用はSVMの分類しきい値の特定の値を特権化しないことに関連していると述べています。また:

  • 無限条件付き正定値カーネルの場合、オプティマイザの自然な解釈を可能にするために、b項は事実上必要です。

  • 正定値カーネルの場合、b項がないのは自然な選択ですが、実際にそれを使用することは可能であり、実際にはそれがない場合とは異なる別のカーネル解釈につながります。

最適化する明示的なパラメーターbを含めて、最小化プログラムが記述されていることを確認してください。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.