ロジスティック損失関数の勾配

これに関する質問をします。

私はここでxgboostのカスタム損失関数を書く例を見つけました：

loglossobj <- function(preds, dtrain) {
  # dtrain is the internal format of the training data
  # We extract the labels from the training data
  labels <- getinfo(dtrain, "label")
  # We compute the 1st and 2nd gradient, as grad and hess
  preds <- 1/(1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  # Return the result as a list
  return(list(grad = grad, hess = hess))
}

ロジスティック損失関数は

l o g (1 + e^{- y P})

$log(1+e^{-yP})$

ここで、は対数オッズ、はラベル（0または1）です。 $P$ $y$

私の質問は、真の値と予測確率（対数オッズからとして計算）の差に等しい勾配（一次導関数）をどのように取得できるpreds <- 1/(1 + exp(-preds))かです。

— オグルツォフ
ソース

そのためには、二乗誤差損失を使用する必要があります。あなたの表記は紛らわしく、投稿で定義する必要があります。場合は予測リスクである、そしての損失は、あなたが望むものです。私はログの奇数を意味するためにを決して使用しないので混乱しています。

p

$p$

(y - p)^{2}

$(y-p)^2$

p

$p$

— AdamO

p

$p$ は大文字のに固定されていました。それは奇数であり、質問で明確にマークされています。損失関数の勾配はであることは知っていますが、それはロジスティックではなく二乗損失です。

P

$P$

(y - f (x))^{2}

$(y-f(x))^2$

f (x) - y

$f(x)-y$

— Ogurtsov

「勾配」と言うとき、どのような勾配を意味しますか？損失の勾配？式の導関数が線形差である場合、式は二次差または二乗誤差損失であるというのは、単純な数学的関係です。

— AdamO

はい、それはすべて損失の勾配についてです。損失関数が二乗誤差である場合、それは簡単です。この場合、損失関数はロジスティック損失（en.wikipedia.org/wiki/LogitBoost）であり、この関数の勾配と与えられたコード例の間の対応を見つけることができません。

— Ogurtsov 2016年

私の質問に対する私の答え：はい、ロジスティック損失の勾配は、真の値と予測確率の差に等しいことを示すことができます。ここで簡単な説明が見つかりました。

まず、ロジスティック損失は単に負の対数尤度であるため、対数尤度の式から始めることができます（p。74-この式は、負の対数尤度ではなく、対数尤度自体です）。

L = y_{i} \cdot l o g (p_{i}) + (1 - y_{i}) \cdot l o g (1 - p_{i})

$L=y_{i}\cdot log(p_{i})+(1-y_{i})\cdot log(1-p_{i})$

$p_{i}$ はロジスティック関数です：、ここでは予測値ですロジスティック変換前（つまり、対数オッズ）： $p_{i}=\frac{1}{1+e^{-\hat{y}_{i}}}$ $\hat{y}_{i}$

L = y_{i} \cdot l o g (\frac{1}{1 + e^{- {\hat{y}}_{i}}}) + (1 - y_{i}) \cdot l o g (\frac{e^{- {\hat{y}}_{i}}}{1 + e^{- {\hat{y}}_{i}}})

$L=y_{i}\cdot log\left(\frac{1}{1+e^{-\hat{y}_{i}}}\right)+(1-y_{i})\cdot log\left(\frac{e^{-\hat{y}_{i}}}{1+e^{-\hat{y}_{i}}}\right)$

Wolfram Alphaを使用して得られた一次導関数：

L^{'} = \frac{y_{i} - (1 - y_{i}) \cdot e^{{\hat{y}}_{i}}}{1 + e^{{\hat{y}}_{i}}}

${L}'=\frac{y_{i}-(1-y_{i})\cdot e^{\hat{y}_{i}}}{1+e^{\hat{y}_{i}}}$

掛けた後： $\frac{e^{-\hat{y}_{i}}}{e^{-\hat{y}_{i}}}$

L^{'} = \frac{y_{i} \cdot e^{- {\hat{y}}_{i}} + y_{i} - 1}{1 + e^{- {\hat{y}}_{i}}} = \frac{y_{i} \cdot (1 + e^{- {\hat{y}}_{i}})}{1 + e^{- {\hat{y}}_{i}}} - \frac{1}{1 + e^{- {\hat{y}}_{i}}} = y_{i} - p_{i}

${L}'=\frac{y_{i}\cdot e^{-\hat{y}_{i}}+y_{i}-1}{1+e^{-\hat{y}_{i}}}= \frac{y_{i}\cdot (1+e^{-\hat{y}_{i}})}{1+e^{-\hat{y}_{i}}}-\frac{1}{1+e^{-\hat{y}_{i}}}=y_{i}-p_{i}$

符号を変更すると、ロジスティック損失関数の勾配の式が得られます。

p_{i} - y_{i}

$p_{i}-y_{i}$

— オグルツォフ
ソース

ここでと呼んでいるのは、予測ではなく、予測子の線形結合です。一般化線形モデリングでは、という表記を使用し、この用語を「線形予測子」と呼びます。対数尤度（スコア）の導関数が間違っています。ベルヌーイは指数尤度を形成するため、分母には2乗項が必要です。スコアの形式は

\hat{y}

$\hat{y}$

y

$y$

ν

$\nu$

\frac{1}{p_{i} (1 - p_{i})} (y_{i} - p_{i})

$\frac{1}{p_i(1-p_i)}(y_i - p_i)$

— AdamO