AdaBoostをいつ使用したいのですか?


14

仕事で繰り返し言及されているAdaBoost分類器のことを聞いたように、私はそれがどのように機能し、いつそれを使用したいのかについて、より良い感覚を得たいと思いました。私は先に進み、Googleで見つけた多くの論文とチュートリアルを読みましたが、分類器にはまだ理解できない問題があります:

  1. 私が見たほとんどのチュートリアルは、AdaBoostが多くの分類子の最適な重み付き組み合わせを見つけることについて語っています。これは私には理にかなっています。意味をなさないのは、AdaBoostが1人の弱い学習者しか受け入れないような実装(つまり、MALLET)です。これはどういう意味がありますか?AdaBoostに提供される分類器が1つだけの場合、重み1で同じ分類器を返すだけではいけませんか?最初の分類子から新しい分類子を生成する方法は?

  2. AdaBoostを実際に使用したいのはいつですか?私はそれが最高のすぐに使える分類器の1つになるはずだと読んだことがありますが、MaxEnt分類器をブーストしようとすると、70%以上のfスコアを得ていたので、AdaBoostはそれを殺し、f-代わりに非常に高い再現率と非常に低い精度で15%のようなスコア。だから今私は混乱しています。AdaBoostをいつ使用したいのですか?可能であれば、厳密に統計的な答えではなく、より直感的な答えを探しています。

回答:


11

Adaboostは、異なるパラメーターを持つ同じ分類子の複数のインスタンスを使用できます。したがって、以前は線形分類器を非線形分類器に組み合わせることができます。または、AdaBoostの人々が好むように、複数の弱い学習者が1人の強い学習者を作ることができます。下の素敵な写真をご覧ください

基本的に、他の学習アルゴリズムと同様に機能します。一部のデータセットでは機能し、一部のデータセットでは機能しません。優れたデータセットがあります。そして、あなたはまだ適切な弱学習者を選択していないかもしれません。ロジスティック回帰を試しましたか?学習者の追加中に決定境界がどのように変化するかを視覚化しましたか?たぶん、あなたは何が間違っているのかわかるでしょう。


(+1)。補足説明:弱学習器のパラメーターでさえ違いはありませんが、データセットの構造(ブースティングで行われているように)が変わると、動作(つまり、彼らが予測するもの)が変わります。
ステフェン

MaxEntはロジスティック回帰です。決定境界がどのように進化するかを視覚化することは、実際には非常に便利です。どうすればそれを行うことができますか?また、1つの機能セットと1つの分類子タイプ(MALLETのように)しか与えられていない場合でも、AdaBoostがどのように機能するかはまだわかりません。私には、これは完全に直感に反するように思えます。
ユリアプロ

データセットをプロットするだけです。さらに、各ポイントの色を選択するグリッドをプロットして、システムでどのように分類されているかを確認します。これは2Dでのみ有効だと思います。それでも、最も重要な軸などをプロットできます。機能セットと分類子が1つしかない場合は、1つの分類子のみになります。最大エントロピーはパラダイムであり、具体的な分類子ではないという印象を受けました。とにかく。
バイエルジ
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.