勾配降下法のような勾配ブースティングはどうですか？

私は勾配ブースティングに関する有用なWikipediaエントリ（https://en.wikipedia.org/wiki/Gradient_boosting）を読んでおり、最急降下ステップ（疑似勾配とも呼ばれる）によって残差を近似できる方法/理由を理解しようとしています）。誰かが私に最も急な降下が残差にリンクされている/類似している方法の直感を教えてもらえますか？どうぞよろしくお願いいたします。

self-study gradient-descent

— Wouter
ソース

次のような状況にあるとします。いくつかのデータがあり、各は数値またはベクトルにすることができます。最小二乗という意味で、関係を近似する関数を決定しますエラー： $\{ x_i, y_i \}$ $x_i$ $f$ $f(x_i) \approx y_i$

\frac{1}{2} \sum_{i} (y_{i} - f (x_{i}))^{2}

$\frac{1}{2} \sum_i (y_i - f(x_i))^2$

小さいです。

ここで、の領域をどのようにしたいかという質問に入ります。ドメインの縮退した選択は、トレーニングデータの単なるポイントです。この場合、目的のドメイン全体をカバーする定義し、終了することができます。この答えに到達するためのラウンドアラウンド方法は、この離散空間をドメインとして勾配降下を行うことです。これには、視点の変更が少し必要です。損失を点trueと予測関数として考えてみましょう（現時点では、は関数ではなく、予測の値です） $f$ $f(x_i) = y$ $y$ $f$ $f$

L (f; y) = \frac{1}{2} (y - f)^{2}

$L(f; y) = \frac{1}{2} (y - f)^2$

そして、予測に関して勾配をとります

\nabla_{f} L (f; y) = f - y

$\nabla_f L(f; y) = f - y$

次に、勾配の更新は、初期値からます。 $y_0$

y_{1} = y_{0} - \nabla_{f} (y_{0}, y) = y_{0} - (y_{0} - y) = y

$y_1 = y_0 - \nabla_f (y_0, y) = y_0 - (y_0 - y) = y$

したがって、この設定を使用して、勾配ステップで完璧な予測を回復します。

もちろん、ここでの欠点は、トレーニングデータポイントだけでなく、をはるかに多く定義することです。これを行うには、トレーニングデータセット以外のポイントで損失関数またはその勾配を評価できないため、いくつかの譲歩を行う必要があります。 $f$

大きなアイデアは、弱く近似することです。 $\nabla L$

Startでの初期推定、ほとんど常に単純な定数関数、これはどこでも定義されます。次に、初期推定値を使用して、トレーニングデータでの損失関数の勾配を評価することにより、新しい作業データセットを生成します。 $f$ $f(x) = f_0$ $f$

W = {x_{i}, f_{0} - y}

$W = \{ x_i, f_0 - y \}$

Now approximate $\nabla L$ 弱学習器を当てはめ。近似を取得するとします。小規模な学習者に当てはまるため、トレーニングポイントでの精度は失われましたが、ドメイン全体で形式でデータ拡張を得ました。 $W$ $F \approx \nabla L$ $W$ $F(X)$

Finally、ドメイン全体のの勾配更新で代わりにを使用します。 $F$ $\nabla L$ $f_0$

f_{1} (x) = f_{0} (x) - F (x)

$f_1(x) = f_0(x) - F(x)$

私たちは出、新たな近似より少し良く、。から始めて、満足するまで繰り返します。 $f_1$ $f$ $f_0$ $f_1$

うまくいけば、本当に重要なのは損失の勾配を近似することです。最小二乗最小化の場合、これは生の残差の形をとりますが、より洗練された場合はそうではありません。機械はまだ適用されます。トレーニングデータでの損失と損失の勾配を計算するアルゴリズムを構築できる限り、このアルゴリズムを使用して、その損失を最小化する関数を近似できます。

— マシュードゥルーリー
ソース

ええ、それは良いことだと思います。注意すべき唯一のことは、たとえば、二項損失を最小化するためにブーストしたい場合、場合、拡張する勾配はもはや自然な方法で残差に関連しています。

\sum_{i} y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})

$\sum_i y_i \log (p_i) + (1 - y_i) \log(1 - p_i)$

— Matthew Drury

マシューに感謝します。頭を動かそうとしていることの1つ。文献では、モデルの更新はF（m + 1）= F（m）+であるとよく言われます。ここで、h（m）は弱学習器です。ツリーベースのモデルを考えている場合、それは、回帰と分類の両方で、2つのモデルの結果を単純に追加することによって、特定のデータポイントの予測を実際に実際に更新することを意味しますか？これをバイナリ分類しようとすると、それも機能しますか？または、+記号を文字どおりに解釈しないでください。

α_{m} * h (m)

$\alpha_m*h(m)$

— Wouter 2015

プラス記号は文字通りです。しかし、ツリーベースの弱学習器の場合、モデル予測は、ツリーが二項データに適合している場合でも、葉の加重平均として解釈されるべきです。後押しで、我々は通常、二項データにフィットしていないことに注意してくださいしかし、我々はされません前段階の予測で評価可能性の勾配にフィットしている高く評価しました。

0, 1

$0,1$

— Matthew Drury、2015

@MatthewDrury私たちは、直接更新はありませんが、多くの文献に考えるとが、と、 0から1までは学習率です。

f_{1}

$f_1$

f_{0} - F (x)

$f_0-F(x)$

f_{0} - α * F (x)

$f_0-\alpha*F(x)$

α

$\alpha$

— Haitao Du

@ hxd1011はい、それは完全に正しいことであり、勾配ブースティングを正常に使用するために重要です。

— Matthew Drury