タグ付けされた質問 「attention-mechanism」

私はMLを初めて使用するので、これが私の最初の質問です。私の質問が愚かであるとすみません。 私は紙を読んで理解しようとしています注意はあなたが必要なすべてであり、その中に写真があります： 位置エンコーディングが何であるかわかりません。いくつかのyoutubeビデオを聞いて、それは単語の意味と位置の両方を持つ埋め込みであり、sin(x)sin(x)sin(x)またはと関係があることがわかりましたcos(x)cos(x)cos(x) しかし、それが何であるのか、それがどの程度正確に行われているのか理解できませんでした。だから私はいくつかの助けのためにここにいます。前もって感謝します。

23 nlp  encoding  attention-mechanism  transformer 

BERTは双方向（双方向トランスフォーマーを使用）なので、次の単語予測タスクに使用できますか？はいの場合、何を調整する必要がありますか？

11 neural-network  deep-learning  attention-mechanism  transformer  bert