マルチクラスのロジスティック回帰

によって与えられるマルチクラスのロジスティック回帰のモデルを得ました

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})}$

ここで、kはクラスの数thetaは推定されるパラメーターjはj番目のクラスXiはトレーニングデータ

分からなかったのは、分母の部分がモデルを正規化したです。つまり、確率が0と1の間に留まるということです。

1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})

$1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})$

私はロジスティック回帰に慣れていることを意味します

P (Y = 1 | X^{(i)}) = 1 / (1 + \exp (- θ^{T} X^{(i)}))

$P(Y=1|X^{(i)}) = 1/ (1 + \exp(-\theta^T X^{(i)}))$

実際、私は正規化のことと混同しています。この場合、シグモイド関数であるため、値が0未満または1を超えることはありませんが、マルチクラスの場合は混乱します。なぜそうなのですか？

これは私の参照https://list.scms.waikato.ac.nz/pipermail/wekalist/2005-February/029738.htmlです。正規化するべきだったと思います

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{\sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^T X^{(i)})}{\sum_{m=1}^{k} \exp(\theta_m^T X^{(i)})}$

logistic multinomial

— ユーザー34790
ソース

ヒント：ロジスティック回帰では、暗黙的に処理する確率が2つあります。確率と確率です。これらの確率の合計はなければなりません。

Y = 1

$Y=1$

Y = 0

$Y=0$

1

$1$

— whuber

他のいくつかの投稿に基づいて、方程式をマークアップする方法を知っています。ここのテキストの方程式は読みにくく、（添え字？）は混乱します-マークアップできますか？

L A T E X

$\LaTeX$

— マクロ

ここでは非常に多くの質問を投稿しているので、一時停止して、よくある質問をする方法に関するFAQを読んでください。マークアップのヘルプを読んで、数式を読みやすくします。

T E X

$\TeX$

— whuber

方程式を編集しました。@ whuber実は、バイナリーではなく、マルチクラスのロジスティック回帰に関連して混乱しています。ドノミネーターにすべての要素を追加すると確率が正規化されるのはどうしてか心配です

— user34790

@ user34790、各項を合計で割ると、個々のクラス確率の合計が1になります。ところで、とは何ですか？

X^{(i)}

$X^{(i)}$

— マクロ

回答:

数式が間違っています（合計の上限）。クラス（）のロジスティック回帰では、基本的にバイナリロジスティック回帰モデルを作成しつのクラスを参照またはピボットとして選択します。通常、最後のクラスが参照として選択されます。したがって、参照クラスの確率は、によって計算できます確率の一般的な形式は番目のクラスは、基準となる従ってそして $K$ $K> 2$ $K-1$ $K$

P (y_{i} = K | x_{i}) = 1 - \sum_{k = 1}^{K - 1} P (y_{i} = k | x_{i}) .

$P(y_i = K | x_i) = 1 - \sum_{k=1}^{K-1} P(y_i = k | x_i) .$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i})} .

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{\sum_{i=1}^K \exp(\theta_i^T x_i)} .$

K

$K$

θ_{K} = (0, \dots, 0)^{T}

$\theta_K = (0, \ldots, 0)^T$

\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i}) = \exp (0) + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) = 1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) .

$\sum_{i=1}^K \exp(\theta_i^T x_i) = \exp(0) + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) = 1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) .$ 最終的に、すべてのに対して次の式が得られます：

k < K

$k < K$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i})}

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i)}$

— SEBP
ソース

最大の可能性を行う場合、参照クラスの選択は重要ではないことに注意してください。ただし、ペナルティ付きの最尤、またはベイズ推定を行う場合は、確率を過剰にパラメーター化したままにし、過剰なパラメーター化を処理する方法をペナルティに選択させる方が便利な場合があります。これは、ほとんどのペナルティ関数/優先順位が、参照クラスの選択に関して不変ではないためです

— 確率論的

@sebp、は少し混乱しているようです。観察にはを使用し、カテゴリ反復には他の文字を使用することをお勧めします。

i

$i$

i

$i$

k

$k$

— garej 2017

私はあなたがタイプミスに惑わされていると思う：あなたのあるべき最初の方程式に。ロジスティックの場合に表示される1は、実際には。たとえば、番目のです。 $k$ $k-1$ $\exp(0)$ $k$ $\theta=0$

と仮定します。最後の定式化からようなロジスティック回帰バージョンに到達できることに注意してください。複数のクラスの場合、最初の2つの量の分母を指数線形予測子の合計で置き換えるだけです。 $\theta_1 X=b$

\frac{\exp (b)}{\exp (0) + \exp (b)} = \frac{\exp (0)}{\exp (0) + \exp (- b)} = \frac{1}{1 + \exp (- b)}

$\frac{\exp(b)}{\exp(0)+\exp(b)} = \frac{\exp(0)}{\exp(0)+\exp(-b)} = \frac{1}{1+\exp(-b)}$

— 共役する
ソース