私は、公開された証拠、個人的な経験、推測を組み合わせて、この質問に答えようと思います。
A)公開された証拠。
質問に答えるのに役立つと知っている唯一の論文はDelgado et al 2014-実世界の分類問題を解決するために何百もの分類子が必要ですか?-UCIから121のデータセットに対して何百もの異なるアルゴリズムと実装を実行するJMLR。彼らは、RBF SVMは「最良の」アルゴリズムではない(私が正しく覚えていればランダムフォレストです)が、トップ3(または5)に含まれていることを発見しました。
データセットの選択が実際の問題の「良いサンプル」であると考える場合、SVMは間違いなく新しい問題で試すべきアルゴリズムですが、最初にランダムフォレストを試すべきです!
その結果を一般化する上での制限は、データセットがほとんどすべて高くて細い(n >> p)であり、それほどスパースではないことです。これは、RFの問題であり、それほど大きくない(nとpの両方)と考えられます。
最後に、公開された証拠については、ランダムフォレストの異なる実装を比較する2つのサイトをお勧めします。
B)個人的な経験。
Delgadoなどの論文はすべて機械学習コミュニティにとって非常に重要であると思うので、いくつかの異なる条件下で結果を再現しようとしました。100以上のバイナリデータセット(デルガドのデータセットのセットから)に対して約15の異なるアルゴリズムを実行しました。また、ハイパーパラメータの選択については、それらの場合よりも慎重になったと思います。
私の結果では、SVMは「最良のアルゴリズム」でした(平均ランク4.9)。元のデータセットには多くのマルチクラス問題が含まれていたため、SVMはRFに合格したと考えています。これについては、推測の部分で説明しますが、SVMの問題になるはずです。
編集(2016年6月):
しかしRFはある道の道をより速く、そしてそれはGBM(5.8)に続いて2回目のベストアルゴリズム(平均ランク5.6)、nnets(7.2)など)にしました。これらの問題では標準的なロジスティック回帰を試みませんでしたが、エラスティックネット(L1およびL2正則化LR)を試しましたが、うまく機能しませんでした(平均ランク8.3)〜
結果の分析や論文の執筆がまだ終わっていないので、結果のテクニカルレポートを指すことすらできません。うまくいけば、数週間以内に私はこの回答を再編集して、結果を含むテクニカルレポートを示すことができます。
この論文はhttp://arxiv.org/abs/1606.00930から入手できます。完全な分析後、RFとSVMは予想されるエラー率の点でほぼ同等であり、SVMが最速であることがわかりました(驚いたことに!!)。私はもはや(速度の観点から)RFを推奨することにそれほど重点を置いていません。
したがって、私の個人的な経験では、SVMを使用すると精度が多少向上する可能性がありますが、ほとんどの場合、RFを使用することをお勧めします。
また、より大きな問題については、バッチSVMソルバーを使用できない場合があります(私はLASVMなどのオンラインSVMソルバーを使用したことがありません)。
最後に、私は1つの状況でのみロジスティック回帰を使用しました。私は、画像分類の問題(たとえば、画像の2つの異なる説明を結合するかしないか、および説明の次元数など)に対して、いくつかの「強力な」機能エンジニアリングを行っていました。そして、ロジスティック回帰を使用して多くの選択肢から選択しました(LRにはハイパーパラメーター検索がないため)。(LRに従って)最良の機能に落ち着いたら、RF(最良のハイパーパラメーターを選択する)を使用して最終的な分類子を取得しました。
C)憶測
私はマルチクラスの問題に真剣に取り組んだことはありませんが、SVMはそれほど問題ではないと感じています。問題は、1対1または1対すべてのソリューション間の問題ではありませんが、私が知っているすべての実装では、すべての(OVOまたはOVA)分類子に同じハイパーパラメーターを使用します。SVMに適切なハイパーパラメーターを選択するのは非常にコストがかかるため、私が知っている既成の実装では、各分類子を検索しません。これはSVMの問題だと思います(しかしRFの問題ではありません!!)。
次に、マルチクラスの問題については、直接RFに進みます。