gelu的两种算法

算法学习

gelu 是一种常见的 激活函数，在 bert 中，有两种计算方法

cdf = 0.5 * (1.0 + tf.tanh(
    (np.sqrt(2 / np.pi) * (x + 0.044715 * tf.pow(x, 3)))))

cdf = 0.5 * (1.0 + tf.erf(input_tensor / tf.sqrt(2.0))) 

本文由 mmmwhy 创作，最后编辑时间为: Apr 9, 2021 at 12:56 pm