機械学習で疎データと密データを結合してパフォーマンスを改善する

予測可能なスパースな特徴があり、また予測的ないくつかの濃い特徴があります。これらの機能を組み合わせて、分類器の全体的なパフォーマンスを改善する必要があります。

今、これらを一緒にしようとすると、密な特徴が疎な特徴よりも支配する傾向があるため、密な特徴のみのモデルと比較してAUCが1％しか改善されません。

誰かが同様の問題に遭遇しましたか？入力を本当に感謝します。私はすでに多くの異なる分類器、分類器の組み合わせ、特徴変換、異なるアルゴリズムでの処理を試しました。

助けてくれてありがとう。

編集：

私はすでにコメントに記載されている提案を試しました。私が観察したのは、データのほぼ45％でスパースフィーチャが非常によく機能し、スパースフィーチャのみで約0.9のAUCが得られることですが、残りのものでは約0.75のAUCで密なフィーチャが良好に機能します。これらのデータセットを分離しようとしましたが、AUCが0.6になるため、モデルを単純にトレーニングして使用する機能を決定することはできません。

コードスニペットに関して、私は非常に多くのことを試しましたので、何を正確に共有すべきかわかりません:(

これは、主成分分析の仕事のようです。ScikitにはPCAがうまく実装されており、何度も助けてくれました。

PCAは、特定の方法で、機能を組み合わせます。コンポーネントの数を制限することにより、ノイズのないデータでモデルを取得します（最良の場合）。モデルはデータと同じくらい優れているからです。

以下の簡単な例を検討してください。

from sklearn.pipeline import Pipeline
pipe_rf = Pipeline([('pca', PCA(n_components=80)),
                    ('clf',RandomForestClassifier(n_estimators=100))])
pipe_rf.fit(X_train_s,y_train_s)

pred = pipe_rf.predict(X_test)

なぜ80を選んだのですか？累積分散をプロットすると、次のようになりました。これは、〜80個のコンポーネントで、ほぼすべての分散に達することを示しています。

だから私はそれを試してみて、あなたのモデルでそれを使用すると言うでしょう。役立つはずです。

機能を組み合わせる最良の方法は、アンサンブルメソッドを使用することです。基本的に、バギング、ブースティング、スタッキングの3つの方法があります。特徴選択で強化されたAdabbostを使用できます（これではスパースとデンスの両方の特徴を考慮します）またはスタッキングベース（ランダムな特徴-ランダムな部分空間）サブセットとランダムな特徴（特徴セット全体をカバーするまでベース学習者のトレーニングを続ける）次のステップは、トレーニングセットをテストしてメタデータを生成することです。このメタデータを使用して、メタ分類子をトレーニングします。メタ分類子は、どの機能がより重要で、どのような関係を利用すべきかを判断します

変数グループは多重共線的であるか、疎と密の間の変換が間違っている可能性があります。投票分類/アンサンブル分類の使用について考えましたか？http://scikit-learn.org/stable/modules/ensemble.html そうすれば、上記の両方の問題に対処できます。

上記のいくつかの提案に加えて、2段階のモデリングアプローチを使用することをお勧めします。

1. 最初にスパース機能を使用して、最適なモデルを開発します。
2. そのモデルから予測確率を計算します。
3. その確率推定値を（入力フィーチャとして）2番目のモデルに入力します。これには、密なフィーチャが組み込まれます。つまり、2番目のモデルを構築するために、すべての密な特徴と確率推定を使用します。
4. 最終的な分類は、2番目のモデルに基づきます。

スパースフィーチャでのみPCAを試行し、PCA出力をデンスフィーチャと組み合わせます。

したがって、（元の）フィーチャの密集したセット+（元々疎だった）フィーチャの密集したセットが得られます。

質問の+1。結果を更新してください。