複数カーネル学習(MKL)メソッドの利点は何ですか?


8

複数のカーネル学習メソッドは、カーネルが固定ベースカーネルの線形結合であるカーネルモデルの構築を目的としています。カーネルの学習は、単一のカーネルのカーネルパラメータを最適化するのではなく、各基本カーネルの重み付け係数を学習することで構成されます。

複数のカーネル学習の欠点は、解釈が難しく、計算コストが高いことです(モデルの出力を評価するには、すべての基本カーネルを評価する必要があります)。では、単一のカーネルを最適化するだけで同様のパフォーマンスを達成できるとしたら、MKLの利点は何でしょうか。


「単一カーネルのパラメーターの最適化」とはどういう意味ですか?k(x、y)のグラム行列をパラメーター化しますか?または機能マッピングPhi(x)の?これを行う体系的な方法さえありますか?それとも、一連のカーネルで相互検証を実行してから、最適なものを選択するのですか?
リビアのジェラルト2017

@GeraltofRivia基本的なカーネル関数のハイパーパラメーター(たとえば、RBFカーネルのスケールパラメーター)を調整することを意味します。RBFカーネルは、一般化のパフォーマンスの点で驚くほど難しく、カーネルの重み付けされた合計(RBFを含む場合があります)は、少なくとも私には解釈が難しいようです。
Dikran Marsupial 2017

回答:


14

2つの利点(または2つのユースケース)があります。

  1. SVMのすべてのアプリケーションで、ユーザーは使用するカーネルを選択する必要があり、場合によっては独自のカーネルマトリックスを設計する必要があります。カーネルや特殊なカーネル設計の選択を軽減することは可能ですか?MKLはその一歩でした。

  2. 2番目のケースIMHOは、はるかに説得力のあるケースです。データ入力がビデオデータ+ ccであることを考慮してください。各ビデオの機能表現は、ビデオ機能、オーディオ機能、テキスト機能で構成されています。このようなデータは、マルチモーダルデータと呼ばれます。これらの機能の各セットには、類似性の異なる概念(異なるカーネル)が必要な場合があります。そのようなアプリケーションに特化したカーネルを構築する代わりに、これらの各モードのカーネルを定義し、それらを線形に結合することは可能ですか?


1
+1ただし、[1]がMKLを使用する方が、カーネルの線形結合を使用して、たとえば相互検証によって重み付け係数を選択するよりも簡単であるとは確信していません。また、推定するパラメーターが増えるため、過剰適合の可能性も高くなります。あなたが言うように、[2]ははるかに説得力があります。
Dikran Marsupial 2013

2
皆さんは、JMLR 2011でのMcFeeとLanckrietによるこの論文に興味を持つでしょう-jmlr.csail.mit.edu/papers/v12/mcfee11a.html
TenaliRaman
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.