ランダムフォレストvs Adaboost

紙のセクション7でランダムフォレスト（Breiman、1999）、著者は以下の推測を述べている：「アダブーストはランダムフォレストです」。

誰かがこれを証明または反証しましたか？この1999年のポストを証明または反証するために何が行われましたか？

machine-learning random-forest boosting

— アレックス
ソース

stats.stackexchange.com/questions/77018/…を読んでください。たぶんそこに答えが見つかるでしょう

@ user75008ありがとうございます！したがって、セクション7では、別の推測を提供します。証明された場合、アダブーストはランダムフォレストと同等であることを示しています。この推測が本当であると誰かが示したことがありますか？

— アレックス

@ user75008私はあなたのリンク、読んでいstats.stackexchange.com/questions/77018/...を、あなたはそれがアダブーストはランダムフォレストと等価ではないことを示唆していると思いますか？

— Alex

興味深い質問です。それ以来、いくつかの異なる戦術によるada boostの説明に関する一連の作業が行われています。

私は簡単な文献検索を行いましたが、このやや奇妙な論文はこの主題に関する最新の論文のようであり、ブリーマンや他の研究者による一連の研究もレビューしています。

http://arxiv.org/pdf/1212.1108.pdf

彼らの結果が有効かどうかはわかりませんが、ブリーマンの推測を証明できなかったと主張していますが、アダブーストを主張する弱体化バージョンは尺度を保持しているが必ずしもエルゴード的ではないことを証明しています。

それらはまた、アダブーストが実際には時々オーバーフィットするといういくつかの経験的証拠を提示します。

アダブーストはランダムフォレストに関連している可能性があるが、ブリーマンが推測した方法で完全に（または常にではない）同等ではないことを示唆していると思いますか？

— ライアンブレスラー
ソース

おかげで、これはまだ未解決の質問だと思いますが、あなたの最後の声明は伝えています。

— アレックス

まだオープンだと思います。また、[確率的]勾配ブースティングマシンの人気が高まっているため、AdaBoostの分析への関心が低下したと思います。AdaBoostは勾配降下法（en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent）の形式であり、明示的にランダム化された勾配降下法の観点から考えると、ブリーマンが提案した同等性よりも直感的で実用的です。（つまり、それが真実であったとしても、実際に必要な分布からサンプリングすることは本当に難しいかもしれません。）

— Ryan Bressler

私はこのテーマに関するこの新しい論文を見ました：arxiv.org/pdf/1504.07676v1.pdf

— Ryan

本当ならとても面白い！「ブースティングは、ランダムフォレストのように使用する必要があると結論付けます。大きな決定木を使用し、直接の正則化や早期停止は不要です。」

— アレックス