タグ付けされた質問 「softmax」

このhttps://cs231n.github.io/neural-networks-case-study/で、「Softmax分類器はffのすべての要素を3つのクラスの（非正規化された）ログ確率を保持していると解釈する」と述べているのはなぜですか。 なぜそれが非正規化されているのか理解できますが、なぜログなのかわかりませんか？対数確率とはどういう意味ですか？ なぜ正規化されていない確率を言うだけではないのですか？

9 machine-learning  neural-networks  information-theory  softmax 

wikiでは、softmax関数はカテゴリカル確率分布の勾配対数正規化子として定義されています。log-normalizerの部分的な説明はここにありますが、 gradient-log-normalizerは何を表していますか？

9 softmax 

この質問はstats.stackexchange.com/q/233658でフォローアップします クラス{0、1}のロジスティック回帰モデルは P(y=1|x)=exp(wTx)1+exp(wTx)P(y=0|x)=11+exp(wTx)P(y=1|x)=exp⁡(wTx)1+exp⁡(wTx)P(y=0|x)=11+exp⁡(wTx) \mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y = 0 \;|\; x) = \frac{1}{1 + \exp(w^T x)} 明らかにこれらの確率の合計は1ですを設定することにより、ロジスティック回帰を次のように定義することもできます。w=β1−β0w=β1−β0w = \beta_1 - \beta_0 P(y=c|x)=exp(βTcx)exp(βT0x)+exp(βT1x)∀c∈{0,1}P(y=c|x)=exp⁡(βcTx)exp⁡(β0Tx)+exp⁡(β1Tx)∀c∈{0,1} \mathbb{P} (y = c \;|\; x) = \frac{\exp(\beta_c^T x)}{\exp(\beta_0^T x) + \exp(\beta_1^T x)} \quad \forall \; c …

8 logistic  neural-networks  multinomial-logit  softmax  identifiability 

私はソフトマックス関数がそのように定義されている理由を理解しようとしています： ezjΣKk=1ezk=σ(z)ezjΣk=1Kezk=σ(z)\frac{e^{z_{j}}} {\Sigma^{K}_{k=1}{e^{z_{k}}}} = \sigma(z) これがデータを正規化し、いくつかの範囲（0、1）に適切にマッピングする方法を理解していますが、重みの確率の違いは線形ではなく指数関数的に変化します。この動作が必要な理由はありますか？ また、この方程式はかなり恣意的であるように思われ、方程式の大規模なファミリーが私たちの要件を満たすことができると私は感じています。私はオンラインで派生物を見たことがないので、それは単なる定義であると想定しています。同じ要件を満たす他の定義を選択してみませんか？

8 probability  neural-networks  softmax 

私はディープラーニングが初めてで、行列に関して次の関数の導関数を計算しようとしています：ww\mathbf w p(a)=ew⊤axΣdew⊤dxp(a)=ewa⊤xΣdewd⊤xp(a) = \frac{e^{w_a^\top x}}{\Sigma_{d} e^{w_d^\top x}} 商規則を使用すると、次のようになります： ∂p(a)∂w=xew⊤axΣdew⊤dx−ew⊤axΣdxew⊤dx[Σdew⊤dx]2=0∂p(a)∂w=xewa⊤xΣdewd⊤x−ewa⊤xΣdxewd⊤x[Σdewd⊤x]2=0\frac{\partial p(a)}{\partial w} = \frac{xe^{w_a^\top x}\Sigma_{d} e^{w_d^\top x} - e^{w_a^\top x}\Sigma_{d} xe^{w_d^\top x}}{[\Sigma_{d} e^{w_d^\top x}]^2} = 0 ソフトマックス関数は一般的にディープラーニングのアクティベーション関数として使用されているため、私は何か間違っていると思います（したがって、常に導関数を持つことはできません）。私は同様の質問をしましたが、計算のこの部分については光沢がないようです。000 私は正しい方向へのポインタをいただければ幸いです。

8 machine-learning  self-study  neural-networks  derivative  softmax