多変量回帰のランダムフォレスト

入力フィーチャと出力のマルチ出力回帰問題があります。出力には、複雑な非線形相関構造があります。 $d_x$ $d_y$

ランダムフォレストを使用して回帰を行いたいです。私が知る限り、回帰用のランダムフォレストは単一の出力でのみ機能するため、各出力に1つずつ、ランダムフォレストをトレーニングする必要があります。これは、それらの相関を無視します。 $d_y$

出力相関を考慮したランダムフォレストの拡張機能はありますか？多タスク学習のガウス過程回帰のようなものかもしれません。

regression multivariate-analysis random-forest

— セルゲイフ
ソース

ここで私はこれまで掘ることができました何：scikit-learn.org/dev/modules/tree.html#multi-output-problems

— sergeyf

確かに。私はペプチドの高次元の「画像」（実際にはdI / dVスペクトル）を持っています。目的は、ペプチドを構成するアミノ酸の位置とクラスを把握することです。最初のアプローチは画像のセグメンテーションでしたが、CRFとピクセル単位のランダムフォレストは失敗しました。したがって、各ピクセルが1つだけのアミノ酸に「属する」と言う代わりに（実際にはそうではありません）、各ピクセルに近くのアミノ酸からの相対的な「影響」値を割り当てます。これにより、各ピクセルの次元ヒストグラムが作成されます。したがって、多重出力回帰！

d_{y}

$d_y$

— セルゲイ

それは遅刻した返信かもしれません：Crimisini et al。デシジョンフォレスト：分類、回帰、密度推定、多様体の統一フレームワーク臓器の境界の識別に適した方法でRFを使用します。

— シモーネ

これも遅れる可能性がありますが、この投稿につまずく人を助けるかもしれません。ランダムフォレストは、多変量データを使用して簡単にトレーニングできます。すべて同じように行われますが、情報ゲインの計算に分散を使用する代わりに、複数の出力変数の共分散を使用します。さらに重要なことは、葉にN次元PDFが含まれるようになったことです。

— マサド

RFが「これはそれらの相関を無視する」ことを知りません。RFのアンサンブルの性質を考えると、それらが相関関係を説明するかもしれないと思います。彼らが単変量入力を受け取り、単変量出力を与えた場合、それらは相関を考慮しません。

— EngrStudent-モニカの復元15年

これは、顔認識で行われるマルチ出力回帰問題の例です。コーディングサンプルも含まれており、方法論の出発点となります。http://scikit-learn.org/stable/auto_examples/plot_multioutput_face_completion.html

— orange1
ソース

そのための新しいパッケージがあります（個人的にテストされていません）

https://cran.r-project.org/package=MultivariateRandomForest

— MM
ソース