パターン認識タスクにおける最先端のアンサンブル学習アルゴリズム？

この質問の構造は次のとおりです。最初にアンサンブル学習の概念を提供し、さらにパターン認識タスクのリストを提供し、次にアンサンブル学習アルゴリズムの例を挙げ、最後に私の質問を紹介します。すべての補足情報を必要としない人は、単に見出しを見て、私の質問にまっすぐ進むかもしれません。

アンサンブル学習とは何ですか？

ウィキペディアの記事によると：

統計および機械学習では、アンサンブルメソッドは複数の学習アルゴリズムを使用して、構成学習アルゴリズムのみの場合よりも優れた予測パフォーマンスを取得します。通常は無限である統計力学の統計アンサンブルとは異なり、機械学習アンサンブルは代替モデルの具体的な有限セットのみを参照しますが、通常、これらの代替モデルの間にはるかに柔軟な構造が存在します。

パターン認識タスクの例：

• 光学式文字認識
• バーコード認識
• ナンバープレートの認識
• 顔検出
• 音声認識
• 画像認識
• 文書分類

アンサンブル学習アルゴリズムの例：

PRタスクに使用される次のアンサンブル学習アルゴリズム（Wikiによる）：

アンサンブル学習アルゴリズム（複数の学習アルゴリズムを組み合わせるための教師付きメタアルゴリズム）：

• ブースティング（主にバイアスを減らすための機械学習アンサンブルメタアルゴリズム、教師あり学習の分散、および弱い学習者を強い学習者に変換する機械学習アルゴリズムのファミリー）

• ブートストラップ集約（「バギング」）（統計的分類と回帰で使用される機械学習アルゴリズムの安定性と精度を改善するために設計された機械学習アンサンブルメタアルゴリズム）。

• アンサンブル平均化（1つのモデルを作成するのではなく、複数のモデルを作成し、それらを組み合わせて目的の出力を生成するプロセス。モデルのさまざまなエラーが「平均化」されるため、モデルのアンサンブルのパフォーマンスは個々のモデルよりも優れていることがよくあります。 ）

• エキスパートの混合、エキスパートの階層的混合
  

異なる実装

• ニューラルネットワークのアンサンブル（個々のモデルの結果を平均して決定を下す一連のニューラルネットワークモデル）。
• ランダムフォレスト（分類、回帰、およびその他のタスクのためのアンサンブル学習方法。トレーニング時に多数の決定木を構築し、個々のクラスのモード（分類）または平均予測（回帰）であるクラスを出力することにより動作します。木）。
• AdaBoost（他の学習アルゴリズム（「弱学習器」）の出力は、ブーストされた分類器の最終出力を表す加重合計に結合されます）。

さらに：

• 1つのニューラルネットワークを使用して異なる分類器を組み合わせる方法
• コンピテンスエリアメソッド

私の質問

現在、最先端の技術であると考えられており、実際に企業や組織によって実際に使用されているアンサンブル学習アルゴリズムはどれですか（顔検出、車両登録プレート認識、光学文字認識など）。アンサンブル学習アルゴリズムを使用すると、認識精度が向上し、計算効率が向上します。しかし、問題は現実にこのように成り立っていますか？

パターン認識タスクで、より良い分類精度とパフォーマンスを示す可能性のあるアンサンブル方法はどれですか？おそらく、一部の方法は現在古くなっているか、効果がないことが示されています。また、いくつかの新しいアルゴリズムの強さでは、アンサンブルメソッドが使用されなくなっている可能性もあります。この分野での経験があるか、この分野で十分な知識がある人は、問題を明確にするのに役立ちますか？

最先端のアルゴリズムは、産業界で使用されているものとは異なる場合があります。また、後者は、学者が行うよりもうまく機能させるために、より基本的な（そしてより解釈しやすい）アプローチを微調整することに投資できます。

例1：TechCrunchによると、Nuanceは9月にDragon音声認識製品で「ディープラーニングテクノロジー」の使用を開始します。

例2：Chiticariu、Laura、Yunyao Li、およびFrederick R. Reiss。「ルールベースの情報抽出は死んだ！長期に渡るルールベースの情報抽出システム！」EMNLPでは、いいえ。10月、ページ827-832。2013. https://scholar.google.com/scholar?cluster=12856773132046965379&hl=en&as_sdt=0,22 ; http://www.aclweb.org/website/old_anthology/D/D13/D13-1079.pdf

それが言われていると：

現在、どのアンサンブル学習アルゴリズムが最先端であると考えられていますか

画像分類のための最新のシステムの1つは、アンサンブルでいくつかの素晴らしいゲインを取得します（私が知っている限り、他のほとんどのシステムと同じように）：彼、Kaiming、Xiangyu Zhang、Shaoqing Ren、およびJianSun。「画像認識のための深い残差学習。」arXivプレプリントarXiv：1512.03385（2015）。https://scholar.google.com/scholar?cluster=17704431389020559554&hl=en&as_sdt=0,22 ; https://arxiv.org/pdf/1512.03385v1.pdf

ディープラーニングは、SLAMのような非常に特定のタスクを除き、コンピュータービジョンのほとんどのサブドメイン（分類、検出、超解像、エッジ検出など）でほとんど最先端であると言えるでしょう。ディープラーニングは、既存の方法と同等ではありません。

多くの場合、競争に勝つために余分なパーセントを得るためにネットワーク平均化が使用されますが、ネットワークはあまり重要ではないので、それほど重要ではありません。

本番環境ではまったく異なります。大企業は通常、効果的であることが証明されている古いアルゴリズムに依存しており、現場の専門家はそれらを使用した知識と長年の実践を持っています。
加えて、サプライチェーンに新しいアルゴリズムを統合するには多くの時間が必要です。一部のカメラ会社はまだ顔検出にViola Jones検出器を使用していると思いますが、SIFTが業界の多くのアプリケーションで頻繁に使用されていることは事実です。

また、危険なブラックボックスと見なされているディープラーニング手法に対する懐疑的な見方もあります。
しかし、これらのアルゴリズムの印象的な結果は遅いため、人々はそれについて考えを変えます。

新興企業は、資金を得るために革新的なソリューションを持っている必要があるため、そのようなソリューションを使用することを望んでいます。

20年後には、コンピュータービジョンベースの製品のほとんどは、間に効果的な何かが発見されたとしても、ディープラーニングを使用することになります。
フランクの答えに追加するために、深層学習は非常に急速に変化しているため、ResNets of Kaiming Heはもはや最先端ではありませんSGDの再起動を伴う密に接続された畳み込みネットワークおよびWide and Deepネットワークは、EDIT CIFARおよびSVHN 上のSOTAであり、おそらくImagenetでもあります9月16日のILSVRC 2016の結果により、数日で変更される可能性があります。

MS-COCOの最新の結果に関心がある場合は、既存の最も困難な検出データセットが10月にECCVでリリースされます。

質問には多くのwhat-ifが関係しており、通常、最適なモデルを見つけるには、データでこれらのほとんどをテストする必要があります。理論上のモデルがより正確な結果を生成できるからといって、常に最小の誤差でモデルを生成するとは限りません。

言われていること...ニューラルネットのアンサンブルは、ブラックボックスを受け入れられる限り、非常に正確です。ノードの数とレイヤーの数の両方で変化させると、データの多くの変動に対応できます。この多くのモデリング要素を導入すると、データを簡単にオーバーフィットできます。

ランダムフォレストが最も正確な結果を生成することはほとんどありませんでしたが、ブーストされたツリーは、オーバーフィットのリスクをあまり負うことなく、説明したAIタスクのような複雑な関係をモデル化できます。

なぜこれらのモデルのすべてを一緒に組み立てるのではなく、このモデルが個々のモデルの可能性の強さを妥協するのはなぜかと思うでしょう。繰り返しますが、これはおそらく過剰適合の問題につながるでしょう。

計算効率の良いモデルは別の問題であり、私は非常に複雑なニューラルネットから始めません。ベンチマークとしてニューラルネットを使用すると、私の経験では、ブーストされたツリーを使用するのが最も効率的でした。

これは、私の経験と、議論した各モデリングタイプの基礎となる理論の合理的な理解に基づいています。