ランダムフォレスト手法を線形回帰に適用できますか？

14

ランダムフォレストは、元のトレーニングデータのブートストラップサンプル（入力変数と観測値の両方のサンプル）を使用して各ツリーが作成される決定ツリーのアンサンブルを作成することにより機能します。

同様のプロセスを線形回帰に適用できますか？k個の回帰ごとにランダムブートストラップサンプルを使用してk個の線形回帰モデルを作成する

モデルのような「ランダム回帰」を作成しない理由は何ですか？

ありがとう。基本的に誤解していることがあれば教えてください。

regression predictive-models ensemble

— リック
ソース

ブートストラップ集計ツリーの場合、全体の回帰関数は、追加するすべてのツリーでますます複雑になります。一方、の形式の線形関数をブートストラップで集計するa_0 + a_1 * x_1 + ... + a_d * x_d場合、結果の平均線形関数（ブートストラップの集計後）は、開始時と同じ線形関数形式（つまり、「基本学習器」）のままです。

— アンドレホルツナー14年

1

@Andre Holzner-あなたが言うことは本当ですが、しかし...しかし、このランダムなフォレストを行うことは、実際にはリジングと同様のクラスでの正規化の一種です。秘密を教えましょう、回帰木は実際には線形モデルです-スプラインに似たクラスです。ベイズの帽子をかぶると、ランダムフォレストレギュラライザーは、ベイズのコンテキストで使用される「スパイクとスラブ」の事前分布にほぼ対応します。

— 確率論的

@probabilityislogic、説明できますか？

— サイモンクアン

木は線形モデルと考えることができます。は、各観測値がツリー属する終端ノードを示す設計行列で、は終端ノード予測の対応するベクトルです。どのツリーもこのように記述できます-ツリーの選択は、の空間での標準線形モデルの選択と同等 - 私が考える「ターミナルノード」構成があります（はトレーニングサンプルサイズです）。

y = Z_{t} θ_{t} + e

$y=Z_t\theta_t+e$

Z_{t}

$Z_t$

t

$t$

θ_{t}

$\theta_t$

Z_{t}

$Z_t$

2^{n}

$2^n$

n

$n$

— 確率論的

5

ランダムフォレストに基づいて構築された方法論は分散を導入するため（ブートストラップされたサンプル+ランダム部分空間法に基づいて作成されたCART）、それらを独立させるため、現在の回答には部分的に同意しません。直交ツリーを作成すると、その予測の平均は（多くの場合）平均ツリーの予測よりも優れている傾向があります（ジェンセンの不等式のため）。この処理の対象となる場合、CARTには顕著な特典がありますが、この方法論はすべてのモデルに確実に適用され、線形モデルも例外ではありません。これがまさにあなたが探しているRパッケージです。それらを調整および解釈する方法と主題に関する参考文献に関する素晴らしいチュートリアル：Random Generalized Linear Modelsを提示します。

— イキワ
ソース

14

機械学習の用語で@ziggystarの応答を言うと、ブートストラップ集約技術（ランダムフォレストなど）の背後にある考え方は、多くの低バイアス、高分散モデルを「ランダム性」または「不安定性」の要素を持つデータに適合させることです。ランダムフォレストの場合、ブートストラップおよびツリーの各ノードを分割する機能のランダムセットを選択することにより、不安定性が追加されます。これらのノイズの多い低バイアスのツリー全体で平均化することにより、個々のツリーの大きな分散が緩和されます。

回帰/分類ツリーは「低バイアス、高分散」モデルですが、線形回帰モデルは通常反対です-「高バイアス、低分散」。したがって、線形モデルでしばしば直面する問題は、分散を減らすのではなく、バイアスを減らすことです。ブートストラップ集約は、単にこれを行うために作られたものではありません。

追加の問題は、ブートストラップが一般的な線形モデルで十分な「ランダム性」または「不安定性」を提供しない可能性があることです。各リーフは通常少数のデータポイントのみを保持するため、回帰ツリーはブートストラップサンプルのランダム性により敏感になると予想されます。さらに、各ノードで変数のランダムなサブセットでツリーを分割することにより、回帰ツリーを確率的に成長させることができます。これが重要である理由については、前の質問を参照してください。ランダムフォレストがm個のランダムフィーチャに基づいて分割されるのはなぜですか？

言われていることはすべて、あなたは確かに線形モデル[LINK]でブートストラップを使用することができ、これは特定のコンテキストで非常に役立ちます。ただし、その動機はブートストラップ集約技術とは大きく異なります。

— アレックス・ウィリアムズ
ソース

リンクと応答をありがとう。ランダム性法が「低バイアス、高分散」モデルに役立つ場合、反対のタイプのモデル「高バイアス、低分散」に対処する方法論はありますか？

— リック14年

低バイアス、高分散モデルを使用している場合、バギングなどの方法論により、バイアスがわずかに増加しても分散を低減できます。バイアスが高く分散が小さい場合は、多項式回帰またはより一般的なカーネルメソッドのように、バイアスが低く分散が大きいモデルを使用します。

— ジョー14年

10

$k$ $k$

そして、ここに、決定木を使用する場合ほど「ランダム」なことを線形モデルで行うことが魅力的ではない理由があります。

大規模なサンプルから作成された大規模な意思決定ツリーは、データをオーバーフィットする可能性が非常に高く、ランダムフォレストメソッドは、多くの小さなツリーの投票に依存することにより、この効果と戦います。

一方、線形回帰は、過剰適合する傾向があまりないモデルであるため、最初に完全なサンプルでトレーニングすることで害はありません。また、多くのリグレッサー変数がある場合でも、正規化などの他の手法を適用して過剰適合と戦うことができます。

— ジジスター
ソース

0

$k$

X_{1}, X_{2}, . . ., X_{n} \sim B e (p)

$X_1, X_2, ..., X_n \sim Be(p)$

p

$p$

1 - p

$1-p$

θ = 1_{{p > 0}}

$\theta = 1_{\{p > 0\}}$

X_{i} = 1

$X_i = 1$

θ = 1

$\theta = 1$

θ

$\theta$

θ

$\theta$

{B i a s}_{b a g g i n g} = P r o b (i n a b o o t s t r a p s a m p l e X_{(1)} = . . . = X_{(n)} = 0) > 0,

${\rm Bias}_{\rm\ bagging} = {\rm Prob(in\ a\ bootstrap\ sample\ X_{(1)} = ... = X_{(n)} = 0)} > 0,$

θ = 1

$\theta = 1$

— stans-モニカを復活させる
ソース