softmax関数の定義

この質問はstats.stackexchange.com/q/233658でフォローアップします

クラス{0、1}のロジスティック回帰モデルは

$$\mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y = 0 \;|\; x) = \frac{1}{1 + \exp(w^T x)}$$

明らかにこれらの確率の合計は1ですを設定することにより、ロジスティック回帰を次のように定義することもできます。$w = \beta_1 - \beta_0$

$$\mathbb{P} (y = c \;|\; x) = \frac{\exp(\beta_c^T x)}{\exp(\beta_0^T x) + \exp(\beta_1^T x)} \quad \forall \; c \in \{0, 1\}$$

ただし、係数とは一意ではないため、2番目の定義はほとんど使用されません。つまり、2つの変数が互いに倍数である線形回帰のように、モデルは識別できません。$\beta_0$$\beta_1$

質問

機械学習で、クラス{0、1、...、K – 1}のソフトマックス回帰モデルが通常次のように定義されているのはなぜですか？

$$\mathbb{P} (y = c \;|\; x) = \frac{\exp(\beta_c^T x)}{\exp(\beta_0^T x) + \dots + \exp(\beta_{K-1}^T x)} \quad \forall \; c \in \{0, \dots, K-1\}$$

代わりにすべきではない

$$\begin{align*} \mathbb{P} (y = c \;|\; x) &= \frac{\exp(w_c^T x)}{1 + \exp(w_1^T x) + \dots + \exp(w_{K-1}^T x)} \quad \forall \; c \in \{1, \dots, K-1\} \\ \mathbb{P} (y = 0 \;|\; x) &= \frac{1}{1 + \exp(w_1^T x) + \dots + \exp(w_{K-1}^T x)} \end{align*}$$

補足：統計では、softmax回帰は多項ロジスティック回帰と呼ばれ、クラスは{1、...、K}です。K = 2の場合、クラスは{0、1}ではなく{1、2}なので、これは少し厄介だと思います。ロジスティック回帰の一般化ではないからです。

はい、係数ベクトルの1つが修正されない限り、識別可能性が不足していることは正しいです。これについて触れていないいくつかの理由があります。彼らがこの詳細を省略している理由について話すことはできませんが、それが何であるか、そしてそれを修正する方法の説明はここにあります。

説明文

観測と予測子とします。ここで、はからは、観測番号/インデックスを示します。次元の係数ベクトルを推定する必要があります。$y_i \in \{0, 1, 2, \ldots, K-1\}$$\mathbf{x}_i^\intercal \in \mathbb{R}^p$$i$$1$$n$$K$ $p$$\boldsymbol{\beta}^0, \boldsymbol{\beta}^1, \ldots, \boldsymbol{\beta}^{K-1}$

実際、softmax関数はとして定義されてい 微分可能性などの優れた特性を持ち、合計でになります。

$$\text{softmax}(\mathbf{z})_i = \frac{\exp(z_i)}{\sum_{l=0}^{K-1}\exp(z_l)},$$ $1$

多項ロジスティック回帰は、ベクトル上の 各観測値に対してソフトマックス関数を使用します$i$

$$\begin{bmatrix} \mathbf{x}_i^\intercal \boldsymbol{\beta}^0 \\ \mathbf{x}_i^\intercal \boldsymbol{\beta}^1 \\ \vdots \\ \mathbf{x}_i^\intercal \boldsymbol{\beta}^{K-1}, \end{bmatrix}$$

つまり、

$$\begin{bmatrix} P(y_i = 0) \\ P(y_i = 1) \\ \vdots \\ P(y_i = K-1) \end{bmatrix} = \begin{bmatrix} \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^0] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^1] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \vdots \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^{K-1}] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \end{bmatrix}.$$

問題

ただし、複数のパラメーターコレクションが同じ可能性を与えるため、可能性は識別できません。たとえば、すべての係数ベクトルを同じベクトルシフトすると、同じ尤度が生成されます。これは、ベクトルの各要素の分子と分母に定数を乗算すると変化しません。$\mathbf{c}$$\exp[-\mathbf{x}_i^\intercal \mathbf{c}]$

$$\begin{bmatrix} \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^0] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^1] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \vdots \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^{K-1}] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \end{bmatrix} = \begin{bmatrix} \frac{\exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^0-\mathbf{c})] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^k-\mathbf{c})] } \\ \frac{\exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^1-\mathbf{c})] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^k-\mathbf{c})] } \\ \vdots \\ \frac{\exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^{K-1} - \mathbf{c})] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^k -\mathbf{c}) ] } \end{bmatrix}.$$

それを修正する

これを修正する方法は、パラメータを制約することです。それらの1つを修正すると、識別可能になります。これは、それらのすべてをシフトすることがもはや許可されないためです。

2つの一般的な選択肢があります。

• セット、つまり（これについて言及している）を意味し、$\mathbf{c} = \boldsymbol{\beta}^0$$\boldsymbol{\beta}^0 = \mathbf{0}$
• set、つまりを意味します。$\mathbf{c} = \boldsymbol{\beta}^{K-1}$$\boldsymbol{\beta}^{K-1} = \mathbf{0}$

無視して

ただし、制限が不要な場合もあります。たとえば、数量信頼区間を作成することに興味があった場合、これはと同じであるため、比較的量は本当に重要ではありません。また、タスクがパラメーター推論ではなく予測である場合、すべての係数ベクトルが推定されても（制約なしで）、予測は影響を受けません。$\beta^0_1 - \beta^2_1$$\beta^0_1 - c - [\beta^2_1-c]$