背の高い脂肪データによる分類

数十万のデータポイントと約1万の機能を使用して、ラップトップで線形分類器をトレーニングする必要があります。私のオプションは何ですか？このタイプの問題の最新技術は何ですか？

確率的勾配降下は有望な方向のようであり、私の感覚ではこれは最新技術であるということです。

「Pegasos：SVMの原始推定サブGrAdient SOlver」Shai Shalev-Shwartz、Yoram Singer、Nathan Srebro、Andrew Cotter。」Mathematical Programming、シリーズB、127（1）：3-30、年：2007

これはコンセンサスですか？他の方向を向くべきですか？

オンライン学習の方法を見るべきだと思います。パーセプトロンとカーネルパーセプトロンは、実際には非常によく、非常に簡単にコードと動作するようになっていて、他のオンライン方法の全体のホストがあります。どのオンライン学習方法もバッチ学習アルゴリズムに変換できることに注意してください。この場合、確率的勾配降下法に非常に似ています。

Matlabを使用している場合、Francesco OrabonaのDOGMAと呼ばれる非常に便利なツールボックスがあり、さまざまなオンライン学習アルゴリズムが含まれており、それを使用していくつかの異なる方法を評価できます。いくつかの研究でこれを使用しましたが、非常に有用であることがわかりました（覚えている限り、データは[機能x例]であると予想されるため、転置する必要があります）。

他の人が述べたように、次元の削減を試してみてください。PCAは、非常にコストのかかる共分散行列を計算する必要があるため、ここではあまり良い選択肢ではないかもしれません。Random Projectionsを試してみてください。理論は難しいですが、原理は非常に単純です。それはに基づいているジョンソン・Lindenstrauss補題あなたしている興味があれば、基本的な考え方は、ランダムに低次元空間に投影した場合、その後、ということです点間の距離が何らかのまで保存されていますε。あなたはRBFカーネルを使用している場合は、ℓ 2人の距離はあなたに興味を持っているすべてです！$\ell_2$$\epsilon$$\ell_2$

最初に、線形分類器が最良の選択であることをどのように知っていますか？直感的にそのような大きな空間（R ^ 10000）の場合、他の非線形分類器がより良い選択である可能性があります。

いくつかの異なる分類器を試して、予測エラーを観察することをお勧めします（いくつかの正規化された分類モデルを試してみます）。

メモリが足りない場合は、PCAを使用して次元を減らします

PCAを使用して、共分散行列を計算せずに次元を削減することもできます--- PCAに相当するニューラルnewtorkを使用します。

ここではそれを説明する論文がある（しかし、私は独自の検索を行うことをお勧めします）：http://users.ics.tkk.fi/oja/Oja1982.pdf、ここでは、MATLABの実装を作業することができる代へのリンクです：HTTP ：//www.cs.purdue.edu/homes/dgleich/projects/pca_neural_nets_website/index.html。

jbが示唆したように、「次元削減」メソッドを使用する方が良いと思います。主成分分析（PCA）は一般的な選択肢です。また、教師なしの機能学習テクニックも試すことができます。教師なし機能学習の詳細については、http：//ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorialをご覧ください。