タグ付けされた質問 「ensemble」

これら3つの方法の類似点と相違点は何ですか： バギング、 ブースティング、 スタッキング？ どれが最高ですか？なぜ？ それぞれの例を教えてもらえますか？

245 machine-learning  boosting  ensemble  bagging  model-averaging 

Friedmanが提案する勾配ツリーブースティングでは、決定木をベース学習器として使用します。基本決定ツリーを可能な限り複雑にする（完全に成長させる）か、もっと単純にするべきか疑問に思っています。選択の説明はありますか？ ランダムフォレストは、決定木を基本学習器として使用する別のアンサンブル手法です。私の理解に基づいて、通常、各反復でほぼ完全に成長した決定木を使用します。私は正しいですか？

110 machine-learning  random-forest  cart  boosting  ensemble 

最初はBrexitで、現在は米国の選挙です。多くのモデル予測は大きく外れていましたが、ここで学ぶべき教訓はありますか？昨日午後4時（PST）になっても、ベッティングマーケットはヒラリー4対1を好んでいました。 私は、実際のお金が出回っている賭け市場は、利用可能なすべての予測モデルのアンサンブルとして機能するはずだと考えています。そのため、これらのモデルが非常に良い仕事をしなかったと言うのは決して大げさではありません。 1つの説明は、有権者が自分自身をトランプ支持者として特定したがらないということでした。モデルにそのような効果をどのように組み込むことができますか？ 私が読んだマクロの説明の1つはポピュリズムの上昇です。問題は、統計モデルがそのようなマクロトレンドをどのようにキャプチャできるかということです。 これらの予測モデルは世論調査や感情からのデータを重視しすぎており、100年の展望で国が立っている場所からは十分ではありませんか？友達のコメントを引用しています。

108 predictive-models  ensemble  confounding 

勾配ブースティングについて学習している間、このメソッドがモデルの構築とアンサンブルに使用する「弱い分類器」のプロパティに関する制約について聞いたことがありません。しかし、線形回帰を使用するGBのアプリケーションを想像することはできませんでした。実際、いくつかのテストを実行したとき、それは機能しません。私は、残差の平方和の勾配で最も標準的なアプローチをテストし、後続のモデルを一緒に追加していました。 明らかな問題は、最初のモデルからの残差が、もはや適合する回帰線が実際に存在しないような方法で取り込まれることです。私の別の観察では、後続の線形回帰モデルの合計も単一の回帰モデルとして表現できるため（すべての切片と対応する係数を追加）、モデルをどのように改善できるか想像できません。最後の観察結果は、線形回帰（最も一般的なアプローチ）は損失関数として二乗残差の合計を使用していることです-GBが使用しているものと同じです。 また、学習率を下げるか、各反復で予測子のサブセットのみを使用することも考えましたが、それでも最終的には単一のモデル表現にまとめることができるため、改善はないと思います。 ここで何が欠けていますか？Gradient Boostingで使用するのに線形回帰は何らかの形で不適切ですか？それは、線形回帰が損失関数として残差の二乗和を使用しているからでしょうか？グラディエントブースティングに適用できるように、弱い予測子には特定の制約がありますか？

35 regression  machine-learning  boosting  ensemble  gradient 

私の理解では、高度に相関する変数は、ランダムフォレストモデルで多重共線性の問題を引き起こしません（間違っている場合は修正してください）。ただし、他の方法で、類似の情報を含む変数が多すぎる場合、他のモデルよりもこのセットのモデルの重みが大きくなりすぎますか？ たとえば、同じ予測力を持つ2つの情報セット（A、B）があります。変数、、...すべて情報Aを含み、Yのみが情報Bを含みます。ランダムサンプリング変数では、ほとんどのツリーが情報Aで成長し、結果として情報Bが完全にキャプチャされませんか？バツ1バツ1X_1バツ2バツ2X_2バツ1000バツ1000X_{1000}

32 random-forest  multicollinearity  ensemble 

キャレットを使用して、データセットに対してクロス検証されたランダムフォレストを実行しています。Y変数は要因です。データセットにNaN、Inf、またはNAはありません。ただし、ランダムフォレストを実行すると、 Error in randomForest.default(m, y, ...) : NA/NaN/Inf in foreign function call (arg 1) In addition: There were 28 warnings (use warnings() to see them) Warning messages: 1: In data.matrix(x) : NAs introduced by coercion 2: In data.matrix(x) : NAs introduced by coercion 3: In data.matrix(x) : NAs introduced by …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

回帰タスクを解決しようとしています。LassoLARS、SVR、およびGradient Tree Boostingの3つのモデルがデータのさまざまなサブセットに対してうまく機能していることがわかりました。これら3つのモデルすべてを使用して予測を行い、次に「真の出力」と3つのモデルの出力のテーブルを作成すると、少なくとも1つのモデルが真の出力に実際に近いことがわかります。比較的遠く離れている可能性があります。 最小限のエラーを計算すると（各テスト例の「最良の」予測子から予測を取得した場合）、モデルのみのエラーよりもはるかに小さいエラーが発生します。そこで、これら3つの異なるモデルの予測を何らかのアンサンブルに結合しようと考えました。質問は、これを適切に行う方法ですか？3つのモデルはすべてscikit-learnを使用して構築および調整されていますが、アンサンブルにモデルをパックするために使用できる何らかの方法を提供していますか？ここでの問題は、3つのモデルすべてからの予測を単に平均化するのではなく、特定の例のプロパティに基づいて重み付けを決定する必要がある重み付けでこれを実行することです。 scikit-learnがそのような機能を提供しない場合でも、誰かがこのタスクに対処する方法を知っていれば、データ内の各例の各モデルの重みを把握するのがいいでしょう。これらの3つのモデルすべての上に構築された個別のリグレッサーによって実行される可能性があると思いますが、3つのモデルのそれぞれに最適な重みを出力しようとしますが、これがこれを行う最善の方法であるかどうかはわかりません。

27 regression  scikit-learn  ensemble 

アンサンブル学習（ブースティングなど）の弱学習者に関するいくつかの密接に関連した質問があります。 これは愚かに聞こえるかもしれませんが、強力な学習者とは対照的に、弱者を使用する利点は何ですか？（たとえば、「強力な」学習方法で強化しないのはなぜですか？） 弱い学習者に何らかの「最適な」強度がありますか（たとえば、他のすべてのアンサンブルパラメーターを固定したまま）。彼らの強さになると「スイートスポット」はありますか？ 結果のアンサンブル法の強度に関して、弱学習器の強度をどのように測定できますか。アンサンブルを使用することの限界利益をどのように定量的に測定しますか？ いくつかの弱学習アルゴリズムを比較して、特定のアンサンブルメソッドに使用するアルゴリズムを決定するにはどうすればよいですか？ 特定のアンサンブルメソッドが強力な分類器よりも弱い分類器を支援する場合、特定の分類器が既に「強すぎる」と判断して、ブースト時に重要なゲインを得るにはどうすればよいでしょうか。

22 machine-learning  boosting  ensemble 

つい最近、私はアダブースト、勾配ブーストなどのブースティングアルゴリズムの学習に取り組んでおり、最も一般的に使用される弱学習器はツリーであるという事実を知っています。基本学習者としてニューラルネットワークを使用するための最近の成功例（論文または記事を意味します）があることを本当に知りたいです。

21 neural-networks  deep-learning  boosting  ensemble  dropout 

caretRを使用していくつかの異なる予測モデルをトレーニングすることがよくあります。すべてを同じクロス検証フォールドでトレーニングし、を使用してcaret::: createFolds、クロス検証エラーに基づいて最適なモデルを選択します。 ただし、いくつかのモデルからの予測の中央値は、独立したテストセットで最良の単一モデルを上回ることがよくあります。同じクロス検証フォールドでトレーニングされたキャレットモデルをスタック/アンサンブルするための関数を書くことを考えています。たとえば、各フォールドの各モデルから中央値予測を取得したり、「メタモデル」をトレーニングしたりします。 もちろん、これには外側の相互検証ループが必要になる場合があります。キャレットモデルをアセンブルするための既存のパッケージ/オープンソースコードを知っている人はいますか？

21 r  caret  ensemble 

私は、データマイニング/機械学習/などの初心者です。複数のモデルと同じモデルの実行を組み合わせて予測を改善するいくつかの方法について読んでいます。 いくつかの論文（理論やギリシャ文字では面白くて素晴らしいが、コードや実際の例は短い）を読んだときの印象は、次のようになるはずだということです。 モデル（knn、RFなど）を取得し、0〜1の分類子のリストを取得します。私の質問は、これらの分類子の各リストをどのように組み合わせるかです。最終モデルに入る列の数が同じになるようにトレーニングセットで同じモデルを実行しますか、それとも他のトリックがありますか？ 提案/例にRコードが含まれていれば素晴らしいと思います。 注：これは、トレーニングセットに100k行、テストセットに70k行、10列のデータセット用です。

20 r  random-forest  k-nearest-neighbour  ensemble 

アンサンブル学習のk倍交差検証のためにデータを分割する方法について混乱しています。 分類のためのアンサンブル学習フレームワークがあると仮定します。最初のレイヤーには、svm、決定木などの分類モデルが含まれています。 2番目のレイヤーには、最初のレイヤーからの予測を組み合わせて最終的な予測を行う投票モデルが含まれています。 5つのフォールドクロス検証を使用する場合、5つのフォールドを次のように使用することを考えています。 最初のレイヤーをトレーニングするための3つ折り 2番目のレイヤーをトレーニングするための1つ折り テスト用に1つ折り これは正しい方法ですか？第1層と第2層のトレーニングデータは独立している必要がありますか？アンサンブル学習フレームワークが堅牢になるように、それらは独立しているべきだと考えています。 私の友人は、第1層と第2層のトレーニングデータは同じであるべきだと提案しています。 1層目と2層目をトレーニングするための4つの折り目 テスト用に1つ折り このようにして、アンサンブル学習フレームワークのより正確なエラーが発生し、単一のトレーニングデータに基づいているため、フレームワークの反復的な調整がより正確になります。さらに、第2層は、独立したトレーニングデータに偏っている場合があります。 アドバイスは大歓迎です

20 classification  cross-validation  ensemble 

一般に、目標がサンプル外のクラスメンバーシップを正確に予測することである分類問題では、アンサンブル分類器を使用しないのはいつですか？ この質問は、アンサンブル学習を常に使用しないのはなぜですか？。その質問は、なぜアンサンブルを常に使用しないのかを尋ねています。アンサンブルが同等のアンサンブルよりも悪い（「良くないだけでなく時間の無駄」ではない）ことがわかっている場合があるかどうかを知りたい。 また、「アンサンブル分類器」とは、たとえば、独自にロールアップしたサポートベクターマシンとは対照的に、AdaBoostやランダムフォレストなどの分類器を指します。

17 classification  boosting  ensemble  bagging 

私はアンサンブル学習について少し混乱しています。簡単に言うと、k個のモデルを実行し、これらのk個のモデルの平均を取得します。k個のモデルの平均がどのモデルよりも優れていることをどのように保証できますか？バイアスが「広がる」または「平均化される」ことを理解しています。しかし、アンサンブルに2つのモデルがあり（つまりk = 2）、一方が他方よりも悪い場合、アンサンブルはより良いモデルよりも悪くないでしょうか？

16 machine-learning  ensemble 

この質問の構造は次のとおりです。最初にアンサンブル学習の概念を提供し、さらにパターン認識タスクのリストを提供し、次にアンサンブル学習アルゴリズムの例を挙げ、最後に私の質問を紹介します。すべての補足情報を必要としない人は、単に見出しを見て、私の質問にまっすぐ進むかもしれません。 アンサンブル学習とは何ですか？ ウィキペディアの記事によると： 統計および機械学習では、アンサンブルメソッドは複数の学習アルゴリズムを使用して、構成学習アルゴリズムのみの場合よりも優れた予測パフォーマンスを取得します。通常は無限である統計力学の統計アンサンブルとは異なり、機械学習アンサンブルは代替モデルの具体的な有限セットのみを参照しますが、通常、これらの代替モデルの間にはるかに柔軟な構造が存在します。 パターン認識タスクの例： 光学式文字認識 バーコード認識 ナンバープレートの認識 顔検出 音声認識 画像認識 文書分類 アンサンブル学習アルゴリズムの例： PRタスクに使用される次のアンサンブル学習アルゴリズム（Wikiによる）： アンサンブル学習アルゴリズム（複数の学習アルゴリズムを組み合わせるための教師付きメタアルゴリズム）： ブースティング（主にバイアスを減らすための機械学習アンサンブルメタアルゴリズム、教師あり学習の分散、および弱い学習者を強い学習者に変換する機械学習アルゴリズムのファミリー） ブートストラップ集約（「バギング」）（統計的分類と回帰で使用される機械学習アルゴリズムの安定性と精度を改善するために設計された機械学習アンサンブルメタアルゴリズム）。 アンサンブル平均化（1つのモデルを作成するのではなく、複数のモデルを作成し、それらを組み合わせて目的の出力を生成するプロセス。モデルのさまざまなエラーが「平均化」されるため、モデルのアンサンブルのパフォーマンスは個々のモデルよりも優れていることがよくあります。 ） エキスパートの混合、エキスパートの階層的混合 異なる実装 ニューラルネットワークのアンサンブル（個々のモデルの結果を平均して決定を下す一連のニューラルネットワークモデル）。 ランダムフォレスト（分類、回帰、およびその他のタスクのためのアンサンブル学習方法。トレーニング時に多数の決定木を構築し、個々のクラスのモード（分類）または平均予測（回帰）であるクラスを出力することにより動作します。木）。 AdaBoost（他の学習アルゴリズム（「弱学習器」）の出力は、ブーストされた分類器の最終出力を表す加重合計に結合されます）。 さらに： 1つのニューラルネットワークを使用して異なる分類器を組み合わせる方法 コンピテンスエリアメソッド 私の質問 現在、最先端の技術であると考えられており、実際に企業や組織によって実際に使用されているアンサンブル学習アルゴリズムはどれですか（顔検出、車両登録プレート認識、光学文字認識など）。アンサンブル学習アルゴリズムを使用すると、認識精度が向上し、計算効率が向上します。しかし、問題は現実にこのように成り立っていますか？ パターン認識タスクで、より良い分類精度とパフォーマンスを示す可能性のあるアンサンブル方法はどれですか？おそらく、一部の方法は現在古くなっているか、効果がないことが示されています。また、いくつかの新しいアルゴリズムの強さでは、アンサンブルメソッドが使用されなくなっている可能性もあります。この分野での経験があるか、この分野で十分な知識がある人は、問題を明確にするのに役立ちますか？

14 machine-learning  neural-networks  pattern-recognition  ensemble  ocr