ロジスティック回帰に適切な損失関数はどれですか？

31

ロジスティック回帰の損失関数の2つのバージョンについて読みましたが、どちらが正しいか、なぜですか？

Machine Learningから、Zhou ZH（中国語）、： $\beta = (w, b)\text{ and }\beta^Tx=w^Tx +b$

$\begin{matrix} (1) & l (β) = \sum_{i = 1}^{m} (- y_{i} β^{T} x_{i} + \ln (1 + e^{β^{T} x_{i}})) \end{matrix}$ $l(\beta) = \sum\limits_{i=1}^{m}\Big(-y_i\beta^Tx_i+\ln(1+e^{\beta^Tx_i})\Big) \tag 1$
私の大学のコースから、： $z_i = y_if(x_i)=y_i(w^Tx_i + b)$

$\begin{matrix} (2) & L (z_{i}) = \log (1 + e^{- z_{i}}) \end{matrix}$ $L(z_i)=\log(1+e^{-z_i}) \tag 2$

最初のサンプルはすべてのサンプルの累積であり、2番目のサンプルは単一のサンプルに関するものであることは知っていますが、2つの損失関数の形式の違いについてはもっと興味があります。どういうわけか、私はそれらが同等であると感じています。

logistic loss-functions

— xtt
ソース

31

関係は次のとおりです：。 $l(\beta) = \sum_i L(z_i)$

ロジスティック関数をとして定義します。それらには、というプロパティがあります。または言い換えると： $f(z) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1+e^{-z}}$ $f(-z) = 1-f(z)$

\frac{1}{1 + e^{z}} = \frac{e^{- z}}{1 + e^{- z}} .

$\frac{1}{1+e^{z}} = \frac{e^{-z}}{1+e^{-z}}.$

両側の逆数を取る場合、取得するログを取得します。

\ln (1 + e^{z}) = \ln (1 + e^{- z}) + z .

$\ln(1+e^{z}) = \ln(1+e^{-z}) + z.$

両側からを引くと、これが表示されるはずです。 $z$

- y_{i} β^{T} x_{i} + l n (1 + e^{y_{i} β^{T} x_{i}}) = L (z_{i}) .

$-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i}) = L(z_i).$

編集：

現時点では、この答えをが。おそらく、元の質問にタイプミスがあります。 $-y_i\beta^Tx_i+ln(1+e^{\beta^Tx_i})$ $-y_i\beta^Tx_i+ln(1+e^{y_i\beta^Tx_i})$

編集2：

元の質問にタイプミスがなかった場合、@ ManelMoralesは正しいと思われ、 -1,1とき、確率質量関数は性質に起因している、。彼は表記新しい曖昧性を導入しているため、ここで書き直しています。残りは、各コーディングに対して負の対数尤度をとることによって続きます。詳細については、以下の回答をご覧ください。 $y \in \{-1,1\}$ $P(Y_i=y_i) = f(y_i\beta^Tx_i)$ $f(-z) = 1 - f(z)$ $z_i$ $y$

— テイラー
ソース

42

OPは、これら2つの関数間の関係はサンプルの数によるものであると誤解しています（つまり、単一とすべて）。ただし、実際の違いは、単にトレーニングラベルを選択する方法です。

バイナリ分類の場合、ラベルまたは割り当てることができます。 $y=\pm1$ $y=0,1$

すでに述べたように、ロジスティック関数は確率の形式、つまりおよび持っているため、適切な選択です。など。ラベルを選択すると、割り当てることができます $\sigma(z)$ $\sigma(-z)=1-\sigma(z)$ $\sigma(z)\in (0,1)$ $z\rightarrow \pm \infty$ $y=0,1$

\begin{aligned} P (y = 1 | z) & = σ (z) = \frac{1}{1 + e^{- z}} \\ P (y = 0 | z) & = 1 - σ (z) = \frac{1}{1 + e^{z}} \end{aligned}

$\begin{equation} \begin{aligned} \mathbb{P}(y=1|z) & =\sigma(z)=\frac{1}{1+e^{-z}}\\ \mathbb{P}(y=0|z) & =1-\sigma(z)=\frac{1}{1+e^{z}}\\ \end{aligned} \end{equation}$

ようにコンパクトに記述できます。 $\mathbb{P}(y|z) =\sigma(z)^y(1-\sigma(z))^{1-y}$

対数尤度を最大化する方が簡単です。対数尤度の最大化は、負の対数尤度の最小化と同じです。以下のためにサンプル、自然対数といくつかの簡素化を取った後、我々は見つけるでしょう： $m$ $\{x_i,y_i\}$

\begin{aligned} l (z) = - \log (\prod_{i}^{m} P (y_{i} | z_{i})) = - \sum_{i}^{m} \log (P (y_{i} | z_{i})) = \sum_{i}^{m} - y_{i} z_{i} + \log (1 + e^{z_{i}}) \end{aligned}

$\begin{equation} \begin{aligned} l(z)=-\log\big(\prod_i^m\mathbb{P}(y_i|z_i)\big)=-\sum_i^m\log\big(\mathbb{P}(y_i|z_i)\big)=\sum_i^m-y_iz_i+\log(1+e^{z_i}) \end{aligned} \end{equation}$

完全な導出と追加情報は、このjupyterノートブックに記載されています。一方、代わりにラベル使用した可能性があります。割り当てられることは明らかです $y=\pm 1$

P (y | z) = σ (y z) .

$\begin{equation} \mathbb{P}(y|z)=\sigma(yz). \end{equation}$

ことも明らかです。この場合、損失関数を最小化する前と同じ手順に従ってください $\mathbb{P}(y=0|z)=\mathbb{P}(y=-1|z)=\sigma(-z)$

\begin{aligned} L (z) = - \log (\prod_{j}^{m} P (y_{j} | z_{j})) = - \sum_{j}^{m} \log (P (y_{j} | z_{j})) = \sum_{j}^{m} \log (1 + e^{- y z_{j}}) \end{aligned}

$\begin{equation} \begin{aligned} L(z)=-\log\big(\prod_j^m\mathbb{P}(y_j|z_j)\big)=-\sum_j^m\log\big(\mathbb{P}(y_j|z_j)\big)=\sum_j^m\log(1+e^{-yz_j}) \end{aligned} \end{equation}$

負の符号によって誘発される逆数を取ると、最後のステップが続きます。これらの2つの形式を同一視すべきではありませんが、各形式でが異なる値を取る場合、これら2つの形式は同等です。 $y$

\begin{aligned} - y_{i} z_{i} + \log (1 + e^{z_{i}}) \equiv \log (1 + e^{- y z_{j}}) \end{aligned}

$\begin{equation} \begin{aligned} -y_iz_i+\log(1+e^{z_i})\equiv \log(1+e^{-yz_j}) \end{aligned} \end{equation}$

の場合は簡単に表示できます。もしその後、左手側および右側に。 $y_i=1$ $y_i \neq 1$ $y_i=0$ $y_i=-1$

2つの異なる形式がある理由については根本的な理由があるかもしれませんが（2つの異なるロジスティック損失の定式化/表記がある理由を参照）、前者を選択する理由の1つは実際的な考慮事項です。前者では、プロパティを使用して、および、どちらも収束分析に必要です（つまり、ヘッセ行列を計算して損失関数の凸性を決定します）。 $\partial \sigma(z) / \partial z=\sigma(z)(1-\sigma(z))$ $\nabla l(z)$ $\nabla^2l(z)$

— マヌエル・モラレス
ソース

ロジスティック損失関数は凸ですか？

— user85361

2

Log reg凸ですが、 -convexではありません。したがって、勾配降下が収束するのにかかる時間に制限を設けることはできません。正則化項を追加することにより、の形を調整して強く凸にすることができます：正の定数、新しい関数を stとして定義しますは lambda-強い凸であり、収束限界を証明できます。残念ながら、現在、別の機能を最小化しています！幸いなことに、正則化関数の最適値が元の最適値に近いことを示すことができます。

l (z)

$l(z)$

α

$\alpha$

l

$l$

λ

$\lambda$

l^{'} (z) = l (z) + λ ‖ z ‖^{2}

$l'(z)=l(z)+\lambda\|z\|^2$

l^{'} (z)

$l'(z)$

λ

$\lambda$

l^{'}

$l'$

— マヌエルモラレス

あなたが紹介したノートブックは消えてしまいました。別の証拠を入手しました：statlect.com/fundamentals-of-statistics/…– Domi.Zhang 18

— 1

2

これが最も役立つ答えだと思いました。

— mohit6up

@ManuelMorales正則化された関数の最適値が元の値に近いというリンクはありますか？

— マーク

19

ロジスティック回帰の損失関数を次のように学びました。

ロジスティック回帰はバイナリ分類を実行するため、ラベル出力はバイナリの0または1です入力特徴ベクトル与えられたバイナリ出力が1になる確率とします。係数は、アルゴリズムが学習しようとしている重みです。 $P(y=1|x)$ $y$ $x$ $w$

P (y = 1 | x) = \frac{1}{1 + e^{- w^{T} x}}

$P(y=1|x) = \frac{1}{1 + e^{-w^{T}x}}$

ロジスティック回帰はバイナリであるため、確率は単に1から上記の項を引いたものです。 $P(y=0|x)$

P (y = 0 | x) = 1 - \frac{1}{1 + e^{- w^{T} x}}

$P(y=0|x) = 1- \frac{1}{1 + e^{-w^{T}x}}$

損失関数は、1つのトレーニング例の（A）出力にを掛け、（B）出力にを掛けた合計です。以上トレーニングの例。 $J(w)$ $y=1$ $P(y=1)$ $y=0$ $P(y=0)$ $m$

J (w) = \sum_{i = 1}^{m} y^{(i)} \log P (y = 1) + (1 - y^{(i)}) \log P (y = 0)

$J(w) = \sum_{i=1}^{m} y^{(i)} \log P(y=1) + (1 - y^{(i)}) \log P(y=0)$

ここで、はトレーニングデータのラベルを示します。トレーニングインスタンスのラベルが場合、で、左側の被加数はそのままですが、右側の被加数はなり。一方、トレーニングインスタンスにがある場合、用語持つ右の被加数はそのまま残りますが、左の被加数はなり。対数確率は、計算を簡単にするために使用されます。 $y^{(i)}$ $i^{th}$ $1$ $y^{(i)}=1$ $1-y^{(i)}$ $0$ $y=0$ $1-y^{(i)}$ $0$

次に、とを以前の式に置き換えると、次のようになります。 $P(y=1)$ $P(y=0)$

J (w) = \sum_{i = 1}^{m} y^{(i)} \log (\frac{1}{1 + e^{- w^{T} x}}) + (1 - y^{(i)}) \log (1 - \frac{1}{1 + e^{- w^{T} x}})

$J(w) = \sum_{i=1}^{m} y^{(i)} \log \left(\frac{1}{1 + e^{-w^{T}x}}\right) + (1 - y^{(i)}) \log \left(1- \frac{1}{1 + e^{-w^{T}x}}\right)$

このフォームの詳細については、スタンフォードの講義ノートをご覧ください。

— stackoverflowuser2010
ソース

この回答は、ここで関連する視点も提供します。

— GeoMatt22 16

6

あなたが持っている表現は、損失（最小化）ではなく、対数尤度（最大化）です。

— ゼノシオン

2

@xenocyon true-この同じ定式化は通常、負の符号を完全な合計に適用して記述されます。

— アレックスクリビス

1

平均二乗誤差の代わりに、対数損失とも呼ばれるクロスエントロピーと呼ばれるコスト関数を使用します。クロスエントロピー損失は、y = 1の場合とy = 0の場合の2つの別個のコスト関数に分割できます。

\begin{aligned} j (θ) & = \frac{1}{m} \sum_{i = 1}^{m} C o s t (h_{θ} (x^{(i)}), y^{(i)}) \\ C o s t (h_{θ} (x), y) & = - \log (h_{θ} (x)) & i f y & = 1 \\ C o s t (h_{θ} (x), y) & = - \log (1 - h_{θ} (x)) & i f y & = 0 \end{aligned}

$\begin{align}\newcommand{\Cost}{{\rm Cost}}\newcommand{\if}{{\rm if}} j(\theta) &= \frac 1 m \sum_{i=1}^m \Cost(h_\theta(x^{(i)}), y^{(i)}) & & \\ \Cost(h_\theta(x), y) &= -\log(h_\theta(x)) & \if\ y &= 1 \\ \Cost(h_\theta(x), y) &= -\log(1-h_\theta(x)) & \if\ y &= 0 \end{align}$

それらをまとめると、次のようになります。

j (θ) = \frac{1}{m} \sum_{i = 1}^{m} [y^{(i)} \log (h_{θ} (x^{(i)})) + (1 - y^{(i)}) \log (1 - h_{θ} (x)^{(i)})]

$j(\theta) = \frac 1 m \sum_{i=1}^m \big[y^{(i)}\log(h_\theta(x^{(i)})) + (1-y^{(i)})\log(1-h_\theta(x)^{(i)}) \big]$

上記の式でとを乗算するのは卑劣なトリックで、と両方のケースで同じ式を使用して解きます。場合、最初の側は相殺します。場合、第二の側は相殺します。どちらの場合も、実行する必要がある操作のみを実行します。 $y$ $(1−y)$ $y=1$ $y=0$ $y=0$ $y=1$

forループを使用したくない場合は、上記の式のベクトル化された形式を試すことができます

\begin{aligned} h & = g (X θ) \\ J (θ) & = \frac{1}{m} \cdot (- y^{T} \log (h) - (1 - y)^{T} \log (1 - h)) \end{aligned}

$\begin{align} h &= g(X\theta) \\ J(\theta) &= \frac 1 m \cdot \big(-y^T\log(h)-(1-y)^T\log(1-h)\big) \end{align}$

説明全体はMachine Learning Cheatsheetで見ることができます。

— エマニュエル・フォンテレス
ソース