どのカーネルメソッドが最も確率の高い出力を提供しますか?


10

最近、SVM出力のPlattのスケーリングを使用して、デフォルトイベントの確率を推定しました。より直接的な代替手段は、「カーネルロジスティック回帰(KLR)」および関連する「インポートベクトルマシン」のようです。

確率出力を提供するどのカーネルメソッドが現在最先端であるか、誰かが知ることができますか?KLRのR実装は存在しますか?

ご助力ありがとうございます!


(+1)非常に興味深い質問...
steffen、

回答:


7

ガウスプロセス分類(期待値伝播を使用)は、おそらく機械学習の最先端技術です。RasmussenとWilliamsによる優れた(無料でダウンロード可能)があり、このWebサイトの MATLAB実装は非常に優れています。その他のソフトウェア、書籍、論文などはこちら。ただし、実際には、KLRはほとんどの問題でおそらく同じように機能します。カーネルと正則化パラメーターを選択するのは大きな困難です。これは、相互検証によって行うのが最善ですが、1対1の相互検証は近似できます。非常に効率的に、Cawley and Talbot(2008)を参照してください


(+1)モデル選択問題に関するリンクとアドバイスをありがとう。
10

追加する必要があります。ラプラス近似に基づく実装は使用しないでください。事後は非常にゆがんでおり、モードを中心とする対称近似は一般にあまり機能しません。
Dikran Marsupial 2010

ディクランありがとう!KLRとカーネルスムージングの関係を説明してもらえますか?KLRモデルはsvm [loss + penalty] -formulationと同様に構築され、勾配降下法によって解決されます。しかし、KLRに関する同じ時間の参照(たとえば、「カーネルロジスティック回帰とインポートベクトルマシン」、ZhuおよびHastie 2005)は、スムージング文学(たとえば、「一般化された加法モデル」、HastieおよびTibshirani 1990)に行きます。
RichardN 2010

私は平滑化の文献にはそれほど詳しくありませんが、カーネルモデルはスプライン平滑化と密接に関連しています。探すのに最適な場所は、平滑化とカーネルメソッドの両方にまたがるGrace Wahba(stat.wisc.edu/~wahba)による出版物でしょう。
Dikran Marsupial 2010

ありがとう、ワバの出版物を詳しく見ていきます。最高でRで、KLRの実装を推奨できますか?
RichardN 2010

1

ロジスティック回帰のカーネルは非パラメトリックなものであることを知っていると思いますので、まず最初にその制限があります。

Rパッケージに関して私が知っていてかなりうまく機能するのはnpです:混合データ型のノンパラメトリックカーネル平滑化メソッド

このパッケージは、連続した、順序付けられていない、順序付けされた因子デー​​タタイプの混合をシームレスに処理する、さまざまなノンパラメトリック(およびセミパラメトリック)カーネルメソッドを提供します。

最先端のカーネルについては、このペーパーで説明されているものを2009年から試すことをお勧めします。よく読んで、実際に最も適したものを選択してください。


マリアナ、回答ありがとうございます。誤解がありました。「カーネルメソッド」とは、カーネルスムージングメソッドではなく、「カーネルトリック」を使用するサポートベクターマシンなどのメソッドを意味します。
RichardN
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.