トランスフォーマーモデルの位置エンコーディングは何ですか？

23

私はMLを初めて使用するので、これが私の最初の質問です。私の質問が愚かであるとすみません。

私は紙を読んで理解しようとしています注意はあなたが必要なすべてであり、その中に写真があります：

位置エンコーディングが何であるかわかりません。いくつかのyoutubeビデオを聞いて、それは単語の意味と位置の両方を持つ埋め込みであり、 $sin(x)$ またはと関係があることがわかりました $cos(x)$

しかし、それが何であるのか、それがどの程度正確に行われているのか理解できませんでした。だから私はいくつかの助けのためにここにいます。前もって感謝します。

— ペイマン
ソース

30

たとえば、入力シーケンス位置にある単語場合、4次元埋め込み、および場合、操作は $w$ $pos \in [0, L-1]$ $\boldsymbol{w}=(w_0,\cdots, w_{L-1})$ $e_{w}$ $d_{model}=4$

\begin{aligned} e_{w}^{'} & = e_{w} + [s i n (\frac{p o s}{10000^{0}}), c o s (\frac{p o s}{10000^{0}}), s i n (\frac{p o s}{10000^{2 / 4}}), c o s (\frac{p o s}{10000^{2 / 4}})] \\ = e_{w} + [s i n (p o s), c o s (p o s), s i n (\frac{p o s}{100}), c o s (\frac{p o s}{100})] \end{aligned}

$\begin{align*}e_{w}' &= e_{w} + \left[sin\left(\frac{pos}{10000^{0}}\right), cos\left(\frac{pos}{10000^{0}}\right),sin\left(\frac{pos}{10000^{2/4}}\right),cos\left(\frac{pos}{10000^{2/4}}\right)\right]\\ &=e_{w} + \left[sin\left(pos\right), cos\left(pos\right),sin\left(\frac{pos}{100}\right),cos\left(\frac{pos}{100}\right)\right]\\ \end{align*}$

ここで、位置エンコーディングの式は次のとおりです。（したがって原紙で）。

PE (p o s, 2 i) = s i n (\frac{p o s}{10000^{2 i / d_{m o d e l}}}),

$\text{PE}(pos,2i)=sin\left(\frac{pos}{10000^{2i/d_{model}}}\right),$

PE (p o s, 2 i + 1) = c o s (\frac{p o s}{10000^{2 i / d_{m o d e l}}}) .

$\text{PE}(pos,2i+1)=cos\left(\frac{pos}{10000^{2i/d_{model}}}\right).$

d_{m o d e l} = 512

$d_{model}=512$

i \in [0, 255]

$i \in [0, 255]$

この手法が使用されるのは、提案されたアーキテクチャでは単語の順序（最初の単語、2番目の単語、...）の概念がないためです。入力シーケンスのすべての単語は、特別な順序や位置（通常のRNNまたはConvNetアーキテクチャーとは異なります）なしでネットワークに供給されるため、モデルには単語の順序がわかりません。その結果、位置依存の信号が各単語の埋め込みに追加され、モデルが単語の順序を組み込むのに役立ちます。実験に基づいて、この追加は、埋め込み情報の破壊を回避するだけでなく、重要な位置情報も追加します。RNNの場合、単語をRNNに順次フィードします。つまり、ステップで番目の単語がフィードされ、モデルが単語の順序を組み込むのに役立ちます。 $n$ $n$

Jay Alammarによるこの記事は、優れた視覚化で論文を説明しています。残念ながら、位置エンコーディングの例は現時点では正しくありません（偶数のインデックスにはを使用し、奇数のインデックスにはを使用するのではなく、埋め込み次元の前半にはを使用し、後半にはを使用します）。 $sin$ $cos$ $sin$ $cos$

— エスマイリアン
ソース

1

：また、この優れた記事では、純粋な位置埋め込みに焦点を当てているkazemnejad.com/blog/...

— ヨハンObadia

6

位置エンコーディングは、単語の値と文中のその位置を再表現したものです（ただし、最初または最後または中央と同じではありません）。

ただし、文の長さは任意であることを考慮に入れる必要があるため、異なる長さの文がある場合、「Xワードは文の3番目です」と言っても意味がありません。3ワードの文の3番目は完全に20ワードの文では3番目とは異なります。

どのような位置エンコーダが行うことの周期性の助けを得ることですと文章中の単語の位置の情報を返す関数を。 $sin(x)$ $cos(x)$

— フアンエステバンデラカレ
ソース

2

ありがとうございました。この位置エンコーダがこれをとでどのように行うかについて詳しく説明してますか？

s i n

$sin$

c o s

$cos$

— ペイマン

1

他の回答に追加するために、OpenAIのref実装は自然対数空間でそれを計算します（精度を向上させるために、私は2進数で対数を使用できたかどうかわかりません）。彼らはエンコーディングを思いつきませんでした。次に、for-forループとしてCで書き換えられたPEルックアップテーブルの生成を示します。

int d_model = 512, max_len = 5000;
double pe[max_len][d_model];

for (int i = 0; i < max_len; i++) {
   for (int k = 0; k < d_model; k = k + 2) {
      double div_term = exp(k * -log(10000.0) / d_model);
      pe[i][k] = sin(i * div_term);
      pe[i][k + 1] = cos(i * div_term);
   }
}

— エリス
ソース