これは最先端の回帰方法論ですか？

私は長い間Kaggleのコンペティションをフォローしてきましたが、多くの勝利戦略には、「ビッグスリー」の少なくとも1つ、つまりバギング、ブースティング、スタックの使用が含まれることに気付きました。

回帰については、可能な限り最良の回帰モデルの構築に焦点を当てるのではなく、（一般化）線形回帰、ランダムフォレスト、KNN、NN、SVM回帰モデルなどの複数の回帰モデルを構築し、合理的な方法で結果を1つにブレンドします-個々のメソッドを何回も実行します。

もちろん、各方法をしっかり理解することが重要であり、線形回帰モデルに基づいて直感的なストーリーを伝えることができますが、これが最良の結果を達成するための最先端の方法論になっているのではないかと思っています。

少なくとも1960年代後半から、いくつかの予測^†を取得してそれらを平均すると、多くの場合、結果として得られる集計予測は個々の予測を上回ることがよく知られています。バギング、ブースティング、スタッキングはすべて、このアイデアに基づいています。はい、もしあなたの目的が純粋に予測であるなら、ほとんどの場合、これはあなたができる最善です。このメソッドの問題点は、結果を返すブラックボックスアプローチであるが、それを理解して解釈するのに役立たないことです。当然のことながら、単一の予測ではなく少数の予測を計算する必要があるため、他の方法よりも計算負荷が高くなります。

_{†これは一般的な予測に関する懸念ですが、多くの場合、予測に関する文献で説明されています。}

ウィンクラー、RL。およびMakridakis、S.（1983）。予測の組み合わせ。 JR Statis。Soc。A. 146（2）、150-157。

Makridakis、S.およびWinkler、RL（1983）。予測の平均：いくつかの経験的結果。 経営科学、29（9）987-996。

クレメン、RT（1989）。予測の組み合わせ：レビューと注釈付き参考文献。 International Journal of Forecasting、 5、559-583。

ベイツ、JM、グレンジャー、CW（1969）。予測の組み合わせ。 または、 451-468。

Makridakis、S.およびHibon、M.（2000）。M3コンペティション：結果、結論、影響。 国際予測ジャーナル、16（4）、451-476。

リード、DJ（1968）。国内総生産の3つの推定値を組み合わせます。エコノミカ、 431-444。

Makridakis、S.、Spiliotis、E.、Assimakopoulos、V.（2018）。M4コンペティション：結果、調査結果、結論、今後の方向。予測の国際ジャーナル。

アーサー（1994）には、複雑な文献でよく知られている素敵な短い論文/思考実験があります。

そこにある結論の1つは、エージェントが非平衡条件下では（これらの「フォレスト」がある場合でも）より良い予測モデルを選択できないということです。たとえば、質問が株式市場のパフォーマンスに適用される場合、アーサー（1994）の設定が適用される可能性があります。