つい最近、私はアダブースト、勾配ブーストなどのブースティングアルゴリズムの学習に取り組んでおり、最も一般的に使用される弱学習器はツリーであるという事実を知っています。基本学習者としてニューラルネットワークを使用するための最近の成功例（論文または記事を意味します）があることを本当に知りたいです。
回答:
ブースティングでは、弱分類器または不安定分類器が基本学習器として使用されます。これは、目的がかなり異なる決定境界を生成することであるためです。次に、優れた基本学習器は、非常に偏っている学習者です。つまり、基本学習器のトレーニングパラメーターがわずかに変更されても、出力は基本的に同じままです。
ニューラルネットワークでは、ドロップアウトはトレーニングアンサンブルと比較できる正則化手法です。違いは、集合が潜在空間で行われ（ニューロンが存在するかどうか）、一般化エラーが減少することです。
「したがって、各トレーニング例は、異なるランダムにサンプリングされたアーキテクチャの勾配を提供するものと見なすことができるため、最終的なニューラルネットワークは、優れた一般化機能を備えたニューラルネットワークの巨大なアンサンブルを効率的に表します」- ここから引用します。
そのような手法は2つあります。ドロップアウトではニューロンがドロップされ（ニューロンが存在するか、特定の確率ではない）、ドロップコネクトでは重みがドロップされます。
今、あなたの質問に答えるために、私はニューラルネットワーク（またはパーセプトロン）がブースティングセットアップでベース学習器として使用されていないと信じていますより不安定になるように設定してください。ですから、努力する価値はありません。
このトピックに関する研究が行われた可能性がありますが、うまく機能しないアイデアが通常正常に公開されないのは残念です。どこにも通じない経路、つまり「これを試してはいけない」という経路をカバーするさらなる研究が必要です。
編集：
この点についてもう少し説明しましたが、大規模なネットワークのアンサンブルに興味がある場合は、そのような複数のネットワークの出力を組み合わせる方法について言及しているかもしれません。ほとんどの人は、タスクに応じて平均投票または過半数投票を使用します-これは最適ではない場合があります。特定のレコードのエラーに応じて、各ネットワークの出力の重みを変更することが可能であると考えています。出力の相関が低いほど、組み合わせルールが向上します。
これには受け入れられた答えがないので、非常に発見的な答えをします。はい、完了です。たとえば、JMP Proで利用できます（おそらく聞いたことがない最高のstatパッケージ）。 http://www.jmp.com/support/help/Overview_of_Neural_Networks.shtml
ページの中央に使用目的の説明があります。私は理論の調査にサイクルを入れていませんが、単一の大きなモデルでより多くのノードを使用することと本質的に同じ結果を達成することを意味しているようです。[彼らが主張する]利点は、モデルの適合速度です。
非常に大まかなゲージの場合、2つのシグモイドノードと2つのガウスノードを持つデータセットで比較し、単一のモデルの12のシグモイドノードと12のガウスノードに対してモデルを6倍にブーストしました。 。
速度の違いにも気づきませんでしたが、データセットは1600ポイントしかないため、変数を12個しか使用していません。そのため、変数が多い大規模なデータセットでは、顕著な計算の違いがある可能性があります。