私は（およそ）聞いたことがある：
バギングは、予測子/推定子/学習アルゴリズムの分散を減らす技術です。
しかし、私はこの声明の正式な数学的な証拠を見たことがない。なぜこれが数学的に正しいのか誰もが知っていますか？これは広く受け入れられている/知られている事実であるように思えるので、これを直接参照することを期待します。非がある場合私は驚かれることでしょう。また、誰がこれがバイアスにどのような影響を与えるか知っていますか？
誰かが重要であり、それを共有したいと思っていると考える他のアプローチの理論的保証はありますか？
回答:
バギングの主な使用例は、低バイアスモデルをまとめて分散することで、低バイアスモデルの分散を減らすことです。これは、バウアーとコハビによる画期的な論文「投票分類アルゴリズムの経験的比較：バギング、ブースティング、およびバリアント」で経験的に研究されました。通常、広告どおりに機能します。
ただし、一般的な信念に反して、バギングは分散を減らすことを保証されていません。より最近の（私の意見では）より良い説明は、バギングがレバレッジポイントの影響を減らすことです。レバレッジポイントは、最小二乗回帰の外れ値など、結果のモデルに不均衡に影響を与えるポイントです。レバレッジポイントが結果のモデルにプラスの影響を与えることはまれですが、その場合、バギングによってパフォーマンスが低下します。見て「バギングが影響力を均等化 Grandvaletによって」。
したがって、最終的にあなたの質問に答えるには、バギングの効果はレバレッジポイントに大きく依存します。バッグのサイズに関して計算時間が線形的に増加することを除いて、理論的な保証はほとんどありません！とはいえ、それはまだ広く使用されている非常に強力な手法です。たとえば、ラベルノイズで学習する場合、バギングはより堅牢な分類器を生成できます。
ラオとTibshiraniはでベイズ解釈を与えている「モデルの平均化と選択のためのアウト・オブ・ブートストラップ法」：
この意味で、ブートストラップ分布は、パラメーターの（近似）ノンパラメトリックで非情報的な事後分布を表します。しかし、このブートストラップ分布は、事前に正式に指定する必要もなく、事後分布からサンプリングする必要もなく、簡単に取得できます。したがって、ブートストラップ分布は、貧乏人の「ベイズ後部」と考えるかもしれません。