スパースな予測子と応答を使用するCARTのようなメソッドに使用できるライブラリはありますか？

私は、Rのgbmパッケージを使用していくつかの大きなデータセットを処理しています。予測子行列と応答ベクトルの両方がかなりスパースです（つまり、ほとんどのエントリがゼロです）。ここで行ったように、この疎性を利用するアルゴリズムを使用して決定木を構築したいと思っていました。その論文では、私の状況と同様に、ほとんどのアイテムは多くの可能な機能のほんの一部しか持っていないため、データで明示的に示されていない限り、アイテムに特定の機能がないと想定することで、多くの無駄な計算を回避できました。私の希望は、この種のアルゴリズムを使用して同様の高速化を実現できることです（そして、予測精度を向上させるために、ブースティングアルゴリズムをラップします）。

彼らは自分のコードを公開していないようだったので、この場合に最適化されたオープンソースのパッケージまたはライブラリ（任意の言語）があるかどうか疑問に思っていました。理想的には、RのMatrixパッケージからスパース行列を直接取得できるものを望みますが、取得できるものは取得します。

私は周りを見回しました、そしてこの種のものはそこにあるはずです：

• 化学者はこの問題に頻繁に遭遇するようです（上でリンクした論文は、新しい薬物化合物を見つけることを学ぶことに関するものでした）。ただし、そのうちの1つを転用することもできます。

• ドキュメント分類は、スパースフィーチャスペースからの学習が役立つ領域でもあるようです（ほとんどのドキュメントにはほとんどの単語が含まれていません）。たとえば、このペーパーでは、C4.5（CARTのようなアルゴリズム）のスパース実装への斜めの参照がありますが、コードはありません。

• メーリングリストによると、WEKAはスパースデータを受け入れることができますが、上記でリンクした論文の方法とは異なり、WEKAはCPUサイクルの浪費を回避するという点で実際にそれを利用するように最適化されていません。

前もって感謝します！

rfで使用される最新のCART実装に対するスパース実装のベンチマークを確認してください。この論文は、この分野での進歩という点ではかなり古く、それでも大幅な速度向上が得られたとしたら驚きます。

その理由の一部は、分割検索でQuicksortのような賢いソートアルゴリズムを使用すると、ほぼ一定の機能（スパースな機能を含む）に対してほぼO（n）のパフォーマンスを提供できるためです。高速実装では、ツリーのブランチ内で機能が一定になり、検査する必要がなくなる時期も追跡します。密な機能の表現は、CPUキャッシュにやさしい方法で高速なルックアップを提供するため、CPUサイクルで勝つには、本当に賢い疎な表現が必要です。

これはここ、ここ、ここ、ここで議論されます。

私は実際に、rfパッケージCloudForestのある時点でデータのスパースデータ表現を実装しましたが、データの密な表現よりも遅いことがわかり、メモリ上の利点はありましたが、それを放棄しました。

私の推奨は、scikitの学習またはブースト機能に組み込まれたcloudforestを試して、それが十分に高速かどうかを確認することです。標準ではないことをしたい場合は、両方をカスタムのブースティング基準で拡張できます。（私は実際には、あなたが説明しているものと非常によく似た、大規模で高次元の遺伝データセットを扱うために、もともとcloudforestを書きました）。

たぶん、それを利用するコードの可能性はほとんどありません-自分で何かを書く必要があるでしょう。
ただし、もう1つのオプションは、データを変換してデータのサイズを縮小し、冗長な情報を削除することです。データに関する情報がないと、どのように判断するのは難しいですが、重複していないことがわかっている機能、PCAの一部、または一部の記述子の表現を変更できる機能をマージできますか？また、応答がまばらであると言う場合、応答で0のオブジェクトをダウンサンプリングするのが妥当でしょうか？

Rでcaretパッケージを見たことがありますか？それはそれは簡単なよう再帰的分割のためのいくつかを含め、さまざまなモデルを、使用することができますインターフェイスを提供しrpart、ctreeそしてctree2。