word2vecの元の目的関数に対する負のサンプリング（NS）目的関数の関係はどのようなものですか？

8

私は、標準/有名な読んでいたword2vecするためのモデルをしてstandordのメモによるとcs224n：から目的関数の変化を

J_{o r i g i n a l} = - \sum_{j = 0, j \neq m}^{2 m} u_{c - m + j}^{⊤} v_{c} + 2 m l o g (\sum_{k = 1}^{| V |} e x p (u_{k}^{⊤} v_{c}))

$J_{original} = -\sum^{2m}_{j=0,j\neq m} u^\top_{c-m+j} v_c + 2m log \left( \sum^{|V|}_{k=1} exp(u^{\top}_k v_c) \right)$

に：

J_{N S 1} = - l o g σ (u_{c - m + j}^{⊤} v_{c}) - \sum_{k = 1}^{K} l o g σ (- u_{k}^{⊤} v_{c})

$J_{NS1} = -log \sigma( u^\top_{c-m+j} v_c ) - \sum^{K}_{k=1} log \sigma( -u^{\top}_k v_c )$

または

J_{N S 2} = - (\log σ (v_{w_{o}}^{T} v_{w_{c}}) + \sum_{i = 1}^{K} E_{i \sim P (w)} [\log σ (- u_{w_{i}}^{T} v_{w_{c}})])

$J_{NS2} = - \left( \log\sigma( v_{w_o}^T v_{w_c} ) + \sum^K_{i=1} \mathbb{E}_{i \sim P(w)} \left[ \log \sigma( - u^T_{w_i} v_{w_c})\right] \right)$

2つ目の目的関数はどこから来るのでしょうか。負のサンプリングはどこから来るのですか？私は厳密な証明/派生を必要としませんが、どんな種類の正当化もいいでしょう。2つ目は1つ目と似ていますか？ある意味で？ラフ、近似、直感、これを正当化するものはありますか？

速度の向上があることを理解しています。元の関数を最適化したり、適切な単語を埋め込んだりしながら、上記を導き出すための思考プロセスが何であったかを理解することに、より興味があります。

私自身の考え：

しましょう $P_{\theta}(D=1 \mid w,c)$ 与えられたペアが $(w,c)$ 単語とコンテキストはコーパスデータから取得されました。検討する $-J_{NS1} = \log \sigma( u^\top_{c-m+j} v_c ) + \sum^{K}_{k=1} log \sigma( -u^{\top}_k v_c )$ （すなわち、物事を確率を最大化するものとして見ることができます）。最初の項を最大化すると、2つの単語ベクトルが正しく出力され、 $-J_{NS1}$ 大きい方は、第1項を1に近づけることで第1項を大きくすることができます。これは、ベクトルの内積を大きくすることで達成できます。

しかし、私には、2番目の用語が実際に悪い単語表現を取り戻す動機になっているように見えます。2番目の用語が何であるかを見てみましょう。

\log σ (- u_{not context}^{⊤} v_{c e n t e r}) = \log (1 - σ (u_{not context}^{⊤} v_{c e n t e r}))

$\log \sigma( -u^\top_{\text{not context}} v_{center}) = \log \left(1 - \sigma( u^\top_{\text{not context}} v_{center}) \right)$

上記の項を増やすことで $1 - \sigma( u^\top_{\text{not context}} v_{center})$ 私たちが作ることを意味する大きな $\sigma( u^\top_{\text{not context}} v_{center})$ 小さい（ゼロに近い「確率」）。これは、シグモイドに対して非常に否定的な引数が必要であることを意味します。つまり、負の内積が大きいベクトルが得られます。内積がゼロである場合、つまり単語が垂直である場合、これはより良い目的であるため、これは私には一種の間違っているようです。なぜ彼らは代わりに他のものを選んだのですか？垂直の言葉の方がいいのでは？つまり、単語が類似しておらず相関がない場合、それらは互いに何の関係もないため、内積はゼロになります。

基本的に、否定的な内積は、ゼロである内積よりも単語の類似性の方が優れているのはなぜですか？

— ピノキオ
ソース

便利なようだ：stackoverflow.com/questions/27860652/...

— ピノキオ

1

関連：stats.stackexchange.com/questions/244616（多分重複しているかもしれませんか？）

— アメーバ

1

@amoebasaysReinstateMonicaがあなたの質問のコメントで参照している質問への回答は、これを非常によく答えていますが、2つの点を述べたいと思います。

まず、その答えのポイントを拡張すると、最小化される目的は、softmax関数の負の対数ではありません。むしろ、ノイズコントラスト推定（NCE）のバリアントとして定義されます。 $K$ ロジスティック回帰。1つはポジティブサンプル（つまり、中央の単語が与えられた真のコンテキストワード）に使用され、残りは $K-1$ 負のサンプルに使用されます（つまり、中央の単語が与えられた偽/偽のコンテキストワード）。

第2に、偽のコンテキストワードと中心のワードの間に大きな負の内積が必要な理由は、これはワードが最大限に類似していないことを意味するためです。これを確認するには、2つのベクトル間のコサイン類似度の式を考えます。 $x$ そして $y$ ：

s_{c o s} (x, y) = \frac{x^{T} y}{| | x | |_{2} | | y | |_{2}}

$s_{cos}(x, y) = \frac{x^Ty}{||x||_2||y||_2}$ これは、次の場合に最低-1になります。

x

$x$ そして

y

$y$ 反対方向を向いており、0の場合

x

$x$ そして

y

$y$ 垂直です。それらが垂直である場合、それらは同じ情報を含まず、反対方向を向いている場合、それらは反対の情報を含みます。2Dで単語ベクトルを想像すると、これは、「明るい」という単語には[1 0]という埋め込みがあり、「暗い」という単語には[-1 0]という埋め込みがあり、「おいしい」という単語には[0 1]という埋め込みがあります。簡単な例では、「明るい」と「暗い」は反対です。「明るい」ときに何かが「暗い」と予測することは、意図した情報とは正反対のことを伝えるため、最大の誤りです。一方、「おいしい」という言葉には、何かが「明るい」か「暗い」かについての情報が含まれていないため、両方に垂直な向きになっています。

これは、word2vecから学習した埋め込みが、ワードベクトルの和と差を含む類似の推論でうまく機能する理由でもあります。タスクの詳細については、word2vecペーパーを参照してください。

— ビベック・スブラマニアン
ソース

-1

乗算されるベクトルは、単語の埋め込みベクトルではありません。内積は、単語の埋め込みベクトルと、出力層の重み行列/ベクトルの組み合わせです。したがって、目的は、クロスエントロピー損失を最小限に抑えることです。インネット製品が負であるかゼロであるかは、単語の類似性について何も示しません。これは私の意見。

— タイラー傲来国主
ソース