スパーストレーニングセットはSVMに悪影響を及ぼしますか？

SVMを使用してメッセージをさまざまなカテゴリに分類しようとしています。トレーニングセットの望ましい単語/記号のリストをまとめました。

メッセージを表す各ベクトルについて1、単語が存在する場合に対応する行を設定します。

「コーパス」は次のとおりです。[メアリー、リトル、ラム、星、きらめき]

最初のメッセージ：「メアリーには小さな子羊がいた」-> [1 1 1 0 0]

2番目のメッセージ：「小さな星をきらめき」-> [0 1 0 1 1]

これはSVMでかなり一般的な設定だと思いますが、私の質問は、セットに数千の単語がある場合、実際に表示されるメッセージごとに1-2単語しかない場合はどうでしょうか？トレーニングベクトルのセットの線形依存性は、アルゴリズムの収束能力に悪影響を及ぼしますか？

スパース性と線形依存性は2つの異なるものです。線形依存は、いくつかの特徴ベクトルが他の特徴ベクトルの単純な倍数であることを意味します（または例に適用されるものと同じ）。あなたが説明したセットアップでは、線形依存性はありそうにないと思います（2つの用語がすべてのドキュメントで同じ頻度（またはその倍数）を持っていることを意味します）。単にスパース機能を持つだけでは、SVMに問題はありません。これを確認する1つの方法は、座標軸のランダムな回転を行うことです。これにより、問題は変わらず同じ解決策が得られますが、データは完全にスパースになります（これはランダムな投影の一部です） ）。

また、あなたは原初の SVMについて話しているようです。カーネルSVMを使用する場合、スパースデータセットがあるからといって、カーネルマトリックスがスパースであることを意味しないことに注意してください。ただし、ランクが低い場合があります。その場合、実際にこの事実を利用してより効率的なトレーニングを行うことができます（たとえば、低ランクのカーネル表現を使用した効率的なsvmトレーニングを参照）。