「構造的リスク最小化」に基づく機械学習アルゴリズム?


9

(SVMのほかに)どの機械学習アルゴリズムが構造的リスク最小化の原理を使用していますか?


2
アルゴとは何ですか?
Dave Clarke

algo =アルゴリズム;)
Classifire

完全な単語を使用してください。
Kaveh

わかりました。タイトルを長くしすぎたくありませんでした
Classifire、

私の知る限り、SRMは古き良き正則化に他なりません。これは絶対にどこでも使用されています。
Emre

回答:


8

多くの場合、過剰適合が考慮されるため、構造的リスク最小化の原則は、すべての機械学習方法で少なくとも部分的に「使用」される原則です。モデルの複雑さを減らすことは、(おそらく実際には)制限するための良い方法です過適合。

  • SVMには、複雑度(特徴空間の次元、またはカーネル関数)のパラメーターが明示的にあり、複雑度の増加は学習アルゴリズムの一部であるため、これは必要です。

  • 神経回路網はまた、それらの複雑さ(「細胞」の数)の簡単な指標を持ち、関連する学習アルゴリズムの一部です。

  • この原則がなければ、文法推論は愚かであり、完全な文法はすべての可能な単語のリストであるため、すべての重要なアルゴリズムは少なくともこの原則を認めます。

  • 決定木には、独自のエントロピーの概念があります。

  • クラスタは単に数えたりすることができます種類「使用」の原理を本質的にまたはクラスタ数が固定されていますし、その場合には、あなたがより高いレベルでの原則を適用します。

完全に正直に言うと、私は遺伝的プログラミングで何が起こるかについて本当に知りませんが、それらには本質的に複雑さの概念はありません。

私は帰納論理プログラミングをよく知りませんが、この原理にうまく対応していないようです。


SVMよりも強力でオーバーフィットしにくい学習アルゴリズムを知っていますか?それとも、標準のSVMを改善するための手法でしょうか。
Classifire

@ user2278「強力」とは「効率的」を意味する場合、SVMは非常に優れており、SVMとそれを使用するツールに関する多く研究があります。しかし、もちろん、それはあなたの問題に依存します。
jmad

さて、私は金融市場でSVMを使用したいと思います。実際、このトピックに特化したかなりの数の論文があります(株価予測などにSVMを使用しています...)。その目的により適したアルゴリズムはありますか(特に、財務時系列は非常に「うるさい」ため)。
Classifire

@ user2278論文をもっとよく使う。私は専門家ではありません。(私はSVMがそのために最適であることに驚くことはありません。また、ノイズに対しても適切に動作します)
jmad
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.