スキップグラムword2vecのグラデーション

スタンフォード大学NLPディープラーニングクラスの課題の問題http://cs224d.stanford.edu/assignment1/assignment1_soln

私は3aの答えを理解しようとしています。ここで、彼らは中心語のベクトルの派生物を探しています。

あなたが予測単語ベクトル与えられていると仮定し、中心ワードに対応するC skipgramのために、と単語予測がword2vecモデルで見つかったソフトマックス関数で作られています。$v_{c}$

$\hat{y}^{o} = p(o | c) = \frac {exp(u_{o}^{T} v_{c})}{\sum_{w=1}^{W}exp(u_{w}^{T} v_{c})}$

ここで、wはw番目の単語を表し、（w = 1、。。、W）は語彙内のすべての単語の「出力」単語ベクトルです。クロスエントロピーコストがこの予測に適用され、単語oが期待される単語であると仮定します。$u_w$

ここで、すべての出力ベクトルの行列であり、およびlet yは単語のソフトマックス予測の列ベクトルであり、そしてyはワンホットラベルでいますも列ベクトルです。$U = [u_1,u_2, · · · ,u_W ]$$\hat{y}$

クロスエントロピーであり$CE(y, \hat{y}) = − \sum_iy_i\log(\hat{y}_i)$

だから、中心ベクトルのための勾配のための答えがある$\frac{∂J}{∂v_c}= U^T(\hat{y} − y).$

$U^T(\hat{y} − y).$

最初に、得られたものと、さまざまなベクトルの形状に関する仮定を説明します。みましょう、

1. $|W|$
2. $y$$\hat{y}$$|W|$
3. $u_i$$v_j$$D$$D$
4. $y$$|W|$
5. $\hat{y}$$|W|$
6. $\hat{y}_i = P(i|c) = \frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)}$
7. $J = -\sum_{i=1}^Wy_ilog({\hat{y_i}})$
8. $U = [u_1, u_2, ...,u_k, ...u_W]$$u_k$

これで、書くことができます。

$$J = - \sum_{i=1}^W y_i log(\frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)})$$ $$J = - \sum_{i=1}^Wy_i[u_i^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y$$k^{th}$$y_k$ $$J = -y_k[u_k^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y_k$

$\frac{\partial J}{\partial v_c}$

$$\frac{\partial J}{\partial v_c} = -[u_k - \frac{\sum_{w=1}^Wexp(u_w^Tv_c)u_w}{\sum_{x=1}^Wexp(u_x^Tv_c)}]$$

$$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\frac{exp(u_w^Tv_c)}{\sum_{x=1}^W exp(u_x^Tv_c)}u_w) - u_k$$ $$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\hat{y}_w u_w) - u_k$$

これをマトリックス表記でどのように書くことができるかを見てみましょう。

1. $u_k$$U.y$
2. $\sum_{w=1}^W (\hat{y}_w u_w)$$u_w$$U$$\hat{y}_w$$U.\hat{y}$

$$U[\hat{y} -y]$$

$u_i$$U^T[\hat{y} -y]$