gelu的两种算法

gelu 是一种常见的 激活函数,在 bert 中,有两种计算方法

1
2
cdf = 0.5 * (1.0 + tf.tanh(
(np.sqrt(2 / np.pi) * (x + 0.044715 * tf.pow(x, 3)))))
1
cdf = 0.5 * (1.0 + tf.erf(input_tensor / tf.sqrt(2.0))) 
作者

mmmwhy

发布于

2019-09-20

更新于

2021-05-30

许可协议

评论