機械学習分類器の大規模または複雑さ

新しい分類アルゴリズムのパフォーマンスを評価するために、精度と複雑さを比較しようとしています（トレーニングと分類でのビッグO）。Machine Learningから：レビュー完全な教師付き分類子リスト、アルゴリズム間の精度表、およびUCIデータリポジトリからの44のテスト問題を取得します。ただし、次のような一般的な分類子のレビュー、論文、またはウェブサイトが見つかりません。

C4.5
RIPPER（これは不可能かもしれないと思うが、誰が知っているか）
逆伝播を伴うANN
素朴なベイジアン
K-NN
SVM

誰かがこれらの分類子の式を持っている場合、それは非常に役立ちます、ありがとう。

— ディンル
ソース

次の記事に興味があるかもしれません：thekerneltrip.com/machine/learning / ...完全な免責事項、それは私のブログです:)

— RUser4512

質問の現在デッドリンクが指し示している場所をさかのぼって確認しますか？

— マット

@ RUser4512は本当に素晴らしいブログの審議です！スペースの複雑さも追加することを検討しましたか？

— マット

@mattありがとう:)はい、しかし、おそらく別の記事で、これについても多くのことを言っています！

— -RUser4512

してみましょう =訓練例の数 =機能の次元と $N$ $d$ =クラスの数。 $c$

次に、トレーニングには複雑さがあります。

Naive Bayesは。必要なのは、各クラスのすべての特徴値頻度を計算することだけです。 $O(Nd)$ $d_i$
-NNは（存在しないと言う人もいますが、時間のかかるデータを保存する必要があるため、トレーニングのスペースの複雑さはです）。 $k$ $\mathcal{O}(1)$ $\mathcal{O}(Nd)$
非線形の非近似SVMは、カーネルに応じてまたはです。からまで下げることができます $O(N^2)$ $O(N^3)$ $O(N^3)$ $O(N^{2.3})$ いくつかのトリックを。
おおよそのSVMは $O(NR)$ 。Rは反復回数です。

テストの複雑さ：

Naive Bayesはにあります。これは、クラスごとに特徴値を取得する必要があるためです。 $\mathcal{O}(cd)$ $d$ $c$
データベース内のすべてのデータポイントとテストポイントを比較する必要があるため、 -NNはです。 $k$ $\mathcal{O}(Nd)$

出典：「コアベクターマシン：非常に大きなデータセットでの高速SVMトレーニング」 -http://machinelearning.wustl.edu/mlpapers/paper_files/TsangKC05.pdf

申し訳ありませんが、他の人については知りません。

— サムベスト
ソース

完全ではない：カーネルSVMのトレーニングの複雑さは、Cに応じて

と

ですたとえば、BottouとLinによるサポートベクターマシンソルバー（セクション4.2）を参照してください。

O (n^{2})

$O(n^2)$

O (n^{3})

$O(n^3)$

— マーククレセン

@MarcClaesenリンクはもう機能せず、ウェイバックマシン上にありません。これは同じ論文ですか：leon.bottou.org/publications/pdf/lin-2006.pdf？

— 言葉forthewise