タグ付けされた質問 「bert」

2
GELUアクティベーションとは何ですか?
GELU(x)= xP(X≤x)=xΦ(x)として方程式を述べる GELU(Gaussian Linear Linear Unit)を使用するBERTペーパーを調べました。0.5x (1 + tanh [\ sqrt {2 /π}(x + 0.044715x ^ 3)])に 相当します。方程式を単純化し、どのように承認されたかを説明してください。GELU(x)=xP(X≤x)=xΦ(x).GELU(x)=xP(X≤x)=xΦ(x). GELU(x) = xP(X ≤ x) = xΦ(x).0.5x(1+tanh[2/π−−−√(x+0.044715x3)])0.5x(1+tanh[2/π(x+0.044715x3)])0.5x(1 + tanh[\sqrt{ 2/π}(x + 0.044715x^3)])

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.