勾配対数正規化器とは何ですか？

wikiでは、softmax関数はカテゴリカル確率分布の勾配対数正規化子として定義されています。log-normalizerの部分的な説明はここにありますが、 gradient-log-normalizerは何を表していますか？

ウィキペディアのページ（https://en.wikipedia.org/wiki/Exponential_family）の表記法を使用すると、指数関数ファミリーは、次のように記述できるpmfs / pdfsを持つ確率分布のファミリーです（、はベクトル値）： ここで、は自然パラメータ、は十分な統計であり、はログノーマライザ（ログパーティション関数と呼ばれることもあります）です。理由は対数正規と呼ばれます。これは、継続的なケースでこれが有効なpdfになるためには、 X F θ（X ）= H （X ）EXP [ η （θ ）T T （X ）- A （θ ）] η （θ ）= η T （X ）A （θ ）A （θ ）A （θ ）= ログ[ ∫ H （X ）EXP $\theta$$x$

$$f_{\theta}(x)=h(x)\exp[\eta(\theta)^Tt(x)-A(\theta)]$$ $\eta(\theta)=\eta$$t(x)$$A(\theta)$$A(\theta)$ $$A(\theta)=\log\left[\int h(x)\exp[\eta(\theta)^Tt(x)]dx\right],$$ および離散的なケースでは、これが有効なpmfになる、 いずれの場合も、と分布の正規化定数であるため、ログ正規化子という名前です。 $$A(\theta)=\log\left[\sum_x h(x)\exp[\eta(\theta)^Tt(x)]\right].$$ $\int h(x)\exp[\eta(\theta)^Tt(x)]dx$$\sum_x h(x)\exp[\eta(\theta)^Tt(x)]$

ここで、softmax関数と次元のカテゴリカル分布の間の特定の関係を確認するには、分布の特定のパラメーター化を使用する必要があります。つまり、をおよび、そしてを定義します（）。この分布のpmfは（ 1つのホットベクトル、つまり場合はおよびします： $k$$\theta_1,\cdots,\theta_{k-1}$$0<\theta_1,\cdots,\theta_{k-1}$$\sum_{i=1}^{k-1}\theta_i<1$$\theta_k=1-\sum_{i=1}^{k-1}\theta_i$$\theta=(\theta_1,\cdots,\theta_{k})$$x=(x_1,\cdots,x_{k})$$x_i=1$$x_j=0$$i\neq j$

$$f_{\theta}(x)=\prod_{i=1}^k\theta_i^{x_i}.$$ これを指数関数ファミリとして書くには、、、、および、 $h(x)=1$$\eta(\theta)=(\log[\theta_1/\theta_k],\cdots, \log[\theta_{k-1}/\theta_k],0)$$t(x)=(x_1,\cdots,x_{k})$$A(\theta)=-\log[\theta_k]$ $$f_{\theta}(x)=\exp[(\log[\theta_1/\theta_k],\cdots, \log[\theta_{k-1}/\theta_k],0)^T(x_1,\cdots,x_{k})-(-\log[\theta_k])].$$

今度はと書いて、書けるようにしましょう。次に、ログは 偏導関数取る、我々は見つける 対数正規化関数の勾配が確かにことを明らかにします： $\eta(\theta_i)=\log[\theta_i/\theta_k]=\eta_i$$\theta_i=\frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}}$

$$A(\eta)=-\log\left[\frac{e^{\eta_k}}{\sum_{j=1}^ke^{\eta_j}}\right]= -\log\left[\frac{1}{\sum_{j=1}^ke^{\eta_j}}\right]=\log\left[\sum_{j=1}^ke^{\eta_j}\right].$$ $\eta_i$∇A（η）=[E η $$\frac{\partial}{\partial \eta_i}A(\eta)=\frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}},$$ $$\nabla A(\eta)=\left[\frac{e^{\eta_1}}{\sum_{j=1}^ke^{\eta_j}},\cdots,\frac{e^{\eta_k}}{\sum_{j=1}^ke^{\eta_j}}\right].$$