ロジスティック分類器のソフトマックス対シグモイド関数？

63

ロジスティック分類器の関数（Softmax対Sigmoid）の選択を決定するものは何ですか？

4つの出力クラスがあるとします。上記の各関数は、各クラスが正しい出力である確率を与えます。それで、分類器のためにどれを取るべきですか？

— マッハ
ソース

16

ソフトマックス関数はシグモイドの一般化に他ならないため、「ソフトマックス対シグモイド」の意味が完全には明らかではありません。

— dsaxton

2

シグモイドの場合です。シグモイドを使用すると、1つのクラスの確率はで、もう1つのクラスの確率は。

\exp (β^{T} x) / (\exp (β^{T} x) + 1)

$\exp(\beta^T x) / (\exp(\beta^T x) + 1)$

1 / (\exp (β^{T} x) + 1)

$1 / (\exp(\beta^T x) + 1)$

— dsaxton

3

redditポスターは、私が間違っているか、少なくとも無関係であると思う区別をしています。クラスの1つに重み1があるかどうかは、スコアをシフトするだけで、確率には影響しません。

— dsaxton

2

バイナリおよび多項ロジスティック回帰の

— フランクデルノンクール

3

「タイトルのすぐ下にある「softmax vs. sigmoid」の意味が完全には明確ではありません。」という質問の本文があります。さらに、Googleクエリをここに来て、尋ねられた内容に正確に答えるように指示するのは良いタイトルです。

— マイケル

77

シグモイド関数は、一方、2クラスロジスティック回帰のために使用されるソフトマックス関数は多クラスロジスティック回帰（別名MAXENT、多項ロジスティック回帰、回帰ソフトマックス、最大エントロピー分類）のために使用されます。

2クラスのロジスティック回帰では、シグモイド関数を使用して、予測確率は次のようになります。

\begin{aligned} Pr (Y_{i} = 0) & = \frac{e^{- β_{\cdot} X_{i}}}{1 + e^{- β_{0} \cdot X_{i}}} \\ Pr (Y_{i} = 1) & = 1 - Pr (Y_{i} = 0) = \frac{1}{1 + e^{- β_{\cdot} X_{i}}} \end{aligned}

$\begin{align} \Pr(Y_i=0) &= \frac{e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} {1 +e^{-\boldsymbol\beta_0 \cdot \mathbf{X}_i}} \, \\ \Pr(Y_i=1) &= 1 - \Pr(Y_i=0) = \frac{1} {1 +e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} \end{align}$

クラスのマルチクラスロジスティック回帰では、softmax関数を使用した予測確率は次のとおりです。 $K$

\begin{aligned} Pr (Y_{i} = k) & = \frac{e^{β_{k} \cdot X_{i}}}{\sum_{0 \leq c \leq K}^{} e^{β_{c} \cdot X_{i}}} \end{aligned}

$\begin{align} \Pr(Y_i=k) &= \frac{e^{\boldsymbol\beta_k \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} \, \\ \end{align}$

以下で説明するように、softmax関数は、シグモイド関数のマルチクラスケースへの拡張であることがわかります。クラスのマルチクラスロジスティック回帰を見てみましょう。 $K=2$

\begin{aligned} Pr (Y_{i} = 0) & = \frac{e^{β_{0} \cdot X_{i}}}{\sum_{0 \leq c \leq K}^{} e^{β_{c} \cdot X_{i}}} = \frac{e^{β_{0} \cdot X_{i}}}{e^{β_{0} \cdot X_{i}} + e^{β_{1} \cdot X_{i}}} = \frac{e^{(β_{0} - β_{1}) \cdot X_{i}}}{e^{(β_{0} - β_{1}) \cdot X_{i}} + 1} = \frac{e^{- β_{\cdot} X_{i}}}{1 + e^{- β \cdot X_{i}}} \\ Pr (Y_{i} = 1) & = \frac{e^{β_{1} \cdot X_{i}}}{\sum_{0 \leq c \leq K}^{} e^{β_{c} \cdot X_{i}}} = \frac{e^{β_{1} \cdot X_{i}}}{e^{β_{0} \cdot X_{i}} + e^{β_{1} \cdot X_{i}}} = \frac{1}{e^{(β_{0} - β_{1}) \cdot X_{i}} + 1} = \frac{1}{1 + e^{- β_{\cdot} X_{i}}} \end{aligned}

$\begin{align} \Pr(Y_i=0) &= \frac{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} = \frac{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i}}{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i} + e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} = \frac{e^{(\boldsymbol\beta_0 - \boldsymbol\beta_1) \cdot \mathbf{X}_i}}{e^{(\boldsymbol\beta_0 - \boldsymbol\beta_1) \cdot \mathbf{X}_i} + 1} = \frac{e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} {1 +e^{-\boldsymbol\beta \cdot \mathbf{X}_i}} \\ \, \\ \Pr(Y_i=1) &= \frac{e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} = \frac{e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}}{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i} + e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} = \frac{1}{e^{(\boldsymbol\beta_0-\boldsymbol\beta_1) \cdot \mathbf{X}_i} + 1} = \frac{1} {1 +e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} \, \\ \end{align}$

。シグモイド関数を使用して、2クラスのロジスティック回帰と同じ確率を取得することがわかります。ウィキペディアはそれについてもう少し拡張しています。 $\boldsymbol\beta = - (\boldsymbol\beta_0 - \boldsymbol\beta_1)$

— フランク・ダーノンクール
ソース

1

私はこれに素朴ですが、私はこれを多くの時間を見てβ=-（β0-β1）それに可能な説明は何ですか？私の知る限り、シグモイドではβはベクトルになります。そして、彼らは通常、特定の実行のためのものです。では、どうしてβ0とβ1が写真に登場するのでしょうか？

— イシャンバット

1

@IshanBhatt このコメントが役に立つかもしれません。

— トム・ヘイル

奇妙なことに、私はまだシグモイドを使用してマルチクラスに回帰することができます:)

— datdinhquoc

15

実際には、一方を他方に変換できるという意味で同等です。

データが任意の次元のベクトルで表され、アフィン変換とそれに続くソフトマックスを使用してバイナリ分類器を構築したと仮定します。 $\boldsymbol{x}$

(\begin{matrix} z_{0} \\ z_{1} \end{matrix}) = (\begin{matrix} w_{0}^{T} \\ w_{1}^{T} \end{matrix}) x + (\begin{matrix} b_{0} \\ b_{1} \end{matrix}),

$\begin{equation} \begin{pmatrix} z_0 \\ z_1 \end{pmatrix} = \begin{pmatrix} \boldsymbol{w}_0^T \\ \boldsymbol{w}_1^T \end{pmatrix}\boldsymbol{x} + \begin{pmatrix} b_0 \\ b_1 \end{pmatrix}, \end{equation}$

P (C_{i} | x) = softmax (z_{i}) = \frac{e^{z_{i}}}{e^{z_{0}} + e^{z_{1}}}, i \in {0, 1} .

$\begin{equation} P(C_i | \boldsymbol{x}) = \text{softmax}(z_i)=\frac{e^{z_i}}{e^{z_0}+e^{z_1}}, \, \, i \in \{0,1\}. \end{equation}$

ソフトマックスの代わりにシグモイドを使用する同等のバイナリ分類器に変換してみましょう。まず、シグモイドを出力する確率を決定する必要があります（クラスまたは）。この選択は絶対に任意なので、クラスを選択します。次に、分類子は次の形式になります。 $C_0$ $C_1$ $C_0$

z^{'} = w^{' T} x + b^{'},

$\begin{equation} z' = \boldsymbol{w}'^T \boldsymbol{x} + b', \end{equation}$

P (C_{0} | x) = σ (z^{'}) = \frac{1}{1 + e^{- z^{'}}},

$\begin{equation} P(C_0 | \boldsymbol{x}) = \sigma(z')=\frac{1}{1+e^{-z'}}, \end{equation}$

P (C_{1} | x) = 1 - σ (z^{'}) .

$\begin{equation} P(C_1 | \boldsymbol{x}) = 1-\sigma(z'). \end{equation}$

確率が同じである場合、分類子は同等であるため、以下を課す必要があります。

σ (z^{'}) = softmax (z_{0})

$\begin{equation} \sigma(z') = \text{softmax}(z_0) \end{equation}$

置換、および面でそれらの式でといくつか簡単に行います代数的操作では、およびが次のように与えられた場合にのみ、上記の等式が成立することを検証できます。 $z_0$ $z_1$ $z'$ $\boldsymbol{w}_0,\boldsymbol{w}_1, \boldsymbol{w}', b_0, b_1, b'$ $\boldsymbol{x}$ $\boldsymbol{w}'$ $b'$

w^{'} = w_{0} - w_{1},

$\begin{equation} \boldsymbol{w}' = \boldsymbol{w}_0-\boldsymbol{w}_1, \end{equation}$

b^{'} = b_{0} - b_{1} .

$\begin{equation} b' = b_0-b_1. \end{equation}$

— D ...
ソース

@null OK、あなたがそれを尋ねると、私の説明は理解できませんでした。特定の問題に対処しましょう。データをシグモイドに供給していると言ったら、それは1次元の数値でなければなりません。シグモイドに渡すと、が2つのクラスのいずれかにある確率、たとえば：を取得します。次に、確率であるある：。それでは、シグモイドをソフトマックスに置き換えましょう。（つづく）。

x

$x$

x

$x$

C_{0}

$C_0$

P (C_{0} | x) = σ (x)

$P(C_0|x)=σ(x)$

x

$x$

C_{1}

$C_1$

P (C_{1} | x) = 1 - P (C_{0} | x) = σ (x)

$P(C_1|x)=1−P(C_0|x)=σ(x)$

— D ...

（継続）。2つのクラスを持つ分類問題にソフトマックスを適用するには、1次元データを2次元ベクトルに変換する必要があります。したがって、とを定義する必要があります。選択しましょう。以来満たさなければならない、我々はので、。これで、および。これを使用すると、であることをすぐに確認できます。

w_{0}

$w_0$

w_{1}

$w_1$

w_{0} = 1

$w_0=1$

w_{1}

$w_1$

w' = w_{0} - w_{1}

$w′=w_0−w_1$

1 = 1 - w_{1}

$1=1−w_1$

w_{1} = 0

$w_1=0$

z_{0} = w_{0} x = x

$z_0=w_0x=x$

z_{1} = w_{1} x = 0

$z_1=w_1x=0$

σ (x) = softmax (z_{0})

$σ(x)=\text{softmax}(z_0)$

— D ...

さらに、（つまり）を満たすと組み合わせはまったく同じ結果になります。これは、softmaxに1つの冗長パラメーターがあることを示しています。これは愚かに見えるかもしれませんが、パラメータ正規化を可能にし、学習アルゴリズムと推論の数値的安定性を促進するため、実際興味深い特性です。しかし、これは単なる追加のコメントです。質問に答えることは重要ではありません:)

w_{0}

$w_0$

w_{1}

$w_1$

w^{'} = w_{0} - w_{1}

$w'=w_0-w_1$

1 = w_{1} - w_{0}

$1=w_1-w_0$

w_{i}

$w_i$

— D ...

どうもありがとう。わかった。最初のコメントでは、確率はおそらくなければなりません。私は今、変換の背後にあるアイデアが何であるかを理解しています。

P (C_{1} | x)

$P(C_1|x)$

1 - σ (x)

$1-\sigma(x)$

— nullの

それを理解してくれてうれしいです;）はい、それはタイプミスです、明らかにべきです。それを指摘してくれてありがとう！

P (C_{1} | x) = 1 - σ (x)

$P(C_1|x)=1 - \sigma(x)$

— D ...

8

ニューラルネットワークでシグモイドとソフトマックスのどちらを使用するかを検索するときに、この質問に人々がしばしば誘導されることに気付きました。ニューラルネットワーク分類子を構築している人の1人である場合、シグモイドまたはソフトマックスをネットワークからの生の出力値に適用するかどうかを決定する方法は次のとおりです。

マルチラベル分類の問題がある場合=「正解」が複数ある場合=出力は相互に排他的ではないため、各生の出力でシグモイド関数を個別に使用します。シグモイドを使用すると、すべてのクラス、一部のクラス、またはいずれのクラスでも高い確率を得ることができます。例：胸部X線画像で疾患を分類します。画像には、肺炎、肺気腫、および/または癌が含まれている場合がありますが、これらの結果は含まれていません。
マルチクラス分類の問題がある場合=「正解」が1つしかない場合=出力は相互に排他的であるため、softmax関数を使用します。softmaxは、出力クラスの確率の合計が1に等しいことを強制します。したがって、特定のクラスの確率を上げるために、モデルはそれに応じて他のクラスの少なくとも1つの確率を下げる必要があります。例：手書き数字のMNISTデータセットから画像を分類します。数字の単一の画像には、真のアイデンティティが1つしかありません。同時に7と8にすることはできません。

参照：計算例など、ニューラルネットワーク設計でシグモイドとソフトマックスを使用するタイミングの詳細については、「分類：シグモイドとソフトマックス」を参照してください。

— ベリテッサ
ソース

-1

以前のすべての回答に追加-マルチクラス分類問題は、「one-vs-all」メソッドを使用して複数のバイナリ分類問題に還元できるという事実に言及したいと思います。クラス）およびすべてのシグモイドがその特定のクラスに存在するかどうかの確率であると解釈し、最大確率を取得します。

たとえば、MNISTの数字の例では、softmaxまたは10個のシグモイドを使用できます。実際、これはAndrew NgがCoursera MLコースで行っていることです。ここで、Andrew Ngがマルチクラス分類に10シグモイドをどのように使用したか（Matlabからpythonに私が適応）を確認できます。ここに、pythonでのsoftmax適応があります。

また、関数は（マルチクラス分類の目的のために）同等ですが、実装が少し異なります（特にそれらの導関数、およびyの表現方法に関して）。

単一のマルチクラス分類（つまりSoftmax）よりも複数のバイナリ分類（つまりSigmoids）を使用する大きな利点-ソフトマックスが大きすぎる場合（たとえば、辞書サイズが10K以上のワンホットワード埋め込みを使用している場合））-それを訓練するのは非効率的です。代わりにできることは、トレーニングセットの一部を取り、それを使用してシグモイドの一部のみをトレーニングすることです。これは、ネガティブサンプリングの背後にある主要なアイデアです。

— デビッド・レファエリ
ソース

関数は、ソフトマックスネットワークが出力としてクラス全体に確率分布を生成するように制約されているため、同等ではありません。ベクトルは非負であり、合計は1ですシグモイド単位は負ではありませんが、任意の数に合計できます0と間; 有効な確率分布ではありません。この区別は、2つの機能の違いを特徴付けるために重要です。

C

$C$

C

$C$

— モニカを

同等の定義は何ですか？私は次のとおりです。マルチクラス分類に問題なく使用できます。また、softmaxを使用するマルチクラス分類は、シグモイドを使用する1対すべてのバイナリ分類に変換できます。合計が1になる出力の分布に注意する必要があるのはなぜですか？

— デビッドレファエリ

マルチラベル分類に関するあなたの議論は、シグモイドとソフトマックスが同等ではない理由を示しています。softmaxを使用する場合、1つのクラスの確率を上げると、他のすべてのクラスの合計確率が下がります（sum-to-1のため）。シグモイドを使用して、1つのクラスの確率を増やしても、他のクラスの合計確率は変わりません。この観察が、シグモイドがマルチラベル分類にもっともらしい理由です。単一の例は、クラスに属することができます。sum-to-1は、softmaxがマルチラベル分類に適していない理由でもあります。

0, 1, 2, \dots, C

$0, 1, 2, \dots , C$

— モニカを

私はあなたを失った。私が知っているすべての実用的な目的のために、複数のシグモイド= 1ソフトマックス。複数のシグモイドが実際にソフトマックスよりも有利なネガティブサンプリングの場合も追加しました。

— デビッドレファエリ