勾配ブースティングによる分類：[0,1]で予測を維持する方法

17

質問

Gradient Boostingを使用してバイナリ分類を行うときに、予測が間隔内にどのように保持されるかを理解するのに苦労しています。 $[0,1]$

バイナリ分類問題に取り組んでおり、目的関数は対数損失であり、はターゲット変数、は現在のモデルです。 $-\sum y_i \log(H_m(x_i)) + (1-y_i) \log(1-H_m(x_i))$ $y$ $\in \{0,1\}$ $H$

新しいモデルがになるように次の弱学習トレーニングする場合、を維持するはずのメカニズムは何ですか？または、より関連性の高い質問かもしれませんが、そのようなメカニズムはありますか？ $h_i$ $H_i = H_{i-1} + h_i$ $H_i \in [0,1]$

私がやっていることの詳細

回帰ツリーを使用して、勾配ブースティングを実装しようとしています。それを避けるために、がゼロ以下にならないように、 $h_i$ に係数掛け 1つ、および損失関数を最小化するこの範囲でを選択します。 $c \in [0,c_{\text{max}}]$ $H + c_{\text{max}}h$ $c$

これは次の問題をもたらします：いくつかのラウンドの後、私は完全に分類された1つのポイントを持ち、勾配の方向に分類子をプッシュするために利用できる最良の分割はこのポイントを1つ上にプッシュしたいので、設定し $c = 0$ 。したがって、次のすべての反復では、同じ分割と同じが選択されます $c = 0$ 。

一般的な正則化プラクティスを試しました

$c$ に掛けて学習率を減らし $\mu = 0.01$ ます。これは問題を遅らせるだけです。
特徴空間をサブサンプリングしますが、いくつかのポイントは非常に簡単に分類でき、「これはポジティブですか？」のほぼすべてのボックスにチェックを付けます。フォーム、およびほぼすべての「適切な分割」がこの動作を示しています。

これはパラメーターの問題ではないと思うので、これを修正するためのより適切な方法があるはずです。私は実装が壊れている可能性を捨てていませんが、この問題を解決するものは何も見つかりませんでした。

ロジスティック損失のコンテキストで操作しているのは確率でなければなりません。それをどのように回避するのでしょうか？

私の直感は、構築中のモデルをバインドされるようにシグモイド関数に入れて、それでうまくいくと思いますが、他の解決策があるかどうか知りたいです。勾配ブースティングは分類タスクでうまく使用されているように見えるため、「正しい」（つまり正当化を伴う）ソリューションが存在するはずです。 $H$ $[0,1]$

logistic classification boosting

— ウインク
ソース

が他の専門家と相加的に振る舞うという点で、が乗法的であることを要求できます。

H

$H$

\ln (H)

$\ln(H)$

— アレックスR.

21

私は、線形モデルの場合と、GLM（一般化線形モデル）への拡張との類推でこれを考えるのが好きです。

線形モデルでは、線形関数を近似して応答を予測します

\hat{y} = β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}

$\hat y = \beta_0 + \beta_1 x_1 + \cdots \beta_n x_n$

他の状況に一般化するために、モデルの線形部分を応答のスケールに変換するリンク関数を導入します（技術的にこれは逆リンクですが、線形予測子を変換すると、このように考える方が簡単だと思います）応答を線形予測子に変換するよりも、応答に変換します）。

たとえば、ロジスティックモデルはシグモイド（またはロジット）関数を使用します

\hat{y} = \frac{1}{1 + \exp (- (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}))}

$\hat y = \frac{1}{1 + \exp(-(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n))}$

ポアソン回帰は指数関数を使用します

\hat{y} = \exp (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n})

$\hat y = \exp(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n)$

勾配ブースティングとの類似性を構築するために、これらのモデルの線形部分をブーストされたツリーの合計で置き換えます。したがって、たとえば、ガウスの場合（線形回帰に類似）はよく知られるようになります

\hat{y} = \sum_{i} h_{i}

$\hat y = \sum_i h_i$

ここで、は弱学習器のシーケンスです。二項の場合は、ロジスティック回帰に似ています（回答で述べたように） $h_i$

\hat{y} = \frac{1}{1 + \exp (- \sum_{i} h_{i})}

$\hat y = \frac{1}{1 + \exp\left(-\sum_i h_i\right)}$

ポアソンブースティングはポアソン回帰に似ています

\hat{y} = \exp (\sum_{i} h_{i})

$\hat y = \exp\left(\sum_i h_i\right)$

問題は残っています。リンク機能が関係する場合、これらのブーストされたモデルにどのように適合しますか？リンクが恒等関数であるガウスケースの場合、現在の作業モデルの残差に弱学習器を適合させるというよく聞かれるマントラが機能しますが、これは実際にはより複雑なモデルに一般化されません。トリックは、モデルの線形部分の関数として最小化される損失関数を記述することです（つまり、GLM公式の部分）。 $\sum_i \beta_i x_i$

たとえば、二項損失は通常次のように発生します。

\sum_{i} y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})

$\sum_i y_i \log(p_i) + (1 - y_i)\log(1 - p_i)$

ここで、損失は応答と同じスケールの予測値である関数であり、は線形予測子非線形変換です。代わりに、これを関数として再表現できます（この場合、対数オッズとも呼ばれます） $p_i$ $p_i$ $L_i$ $L_i$

\sum_{i} y_{i} L_{i} - \log (1 + \exp (L_{i}))

$\sum_i y_i L_i - \log(1 + \exp(L_i))$

次に、この勾配をに関して取得し、ブーストしてこの量を直接最小化します。 $L$

最後にのみ、ユーザーの予測を作成する場合、リンク関数を弱学習器の最終シーケンスに適用して、予測を応答と同じスケールにします。モデルをフィッティングしている間、私たちは常に線形スケールで内部的に作業します。

— マシュー・ドゥルーリー
ソース

2

「モデルの線形部分の関数として最小化される損失関数を書く」に同意します。しかし、対数オッズを導き出さずにそれを理解する簡単な方法は、モデルの線形部分、すなわちについて、損失関数をと考えてください、および擬似残差は、損失wrt導関数を作成することです。

r \in (- \infty, \infty)

$r \in (-\infty, \infty)$

- \sum_{i} (y_{i} \log \frac{1}{1 + e^{- r}} + (1 - y_{i}) \log (1 - \frac{1}{1 + e^{- r}}))

$- \sum_i \big( y_i \log \frac{1}{1+e^{-r}}+(1-y_i)\log ( 1 - \frac{1}{1+e^{-r}}) \big)$

r

$r$

— user2830451

@ matthew-drury同様のアイデアが機能するように拡張されている同じアルゴリズムのKクラスの多項セクションに光を追加してください。

— MixCoded

6

いくつかの研究の後、私の直感とアレックスR.のコメントは正しいようです。

予測で連続モデルを構築するために、モデルをロジスティック関数（Wikipedia）に入れて、に対して勾配ブースティングステップは、ロジスティック関数がコスト関数の一部であるかのように、に関する微分を取り、モデルを更新します。 $[0,1]$ $H$ $H \in \mathbb{R}$

\frac{1}{1 + e^{- H}} \in [0, 1]

$\frac{1}{1 + e^{-H}} \in [0,1]$

H

$H$

これは、論文Additive logistic回帰：ブーストの統計的見解、 Friedman、Hastie、およびTibshiraniによって提案されており、LogitBoost（Wikipedia）、AdaBoost（Wikipedia）のロジスティック損失への適応を構築します。

非常に基本的な用語では、シグモイドの追加により線形回帰からロジスティック回帰に移行できる場合、回帰ブースティングを分類ブースティングに変換することもできます。

— ウインク
ソース