gelu的两种算法
in with 1 comment

gelu的两种算法

?> with 1 comment

gelu 是一种常见的 激活函数,在 bert 中,有两种计算方法

cdf = 0.5 * (1.0 + tf.tanh(
    (np.sqrt(2 / np.pi) * (x + 0.044715 * tf.pow(x, 3)))))
cdf = 0.5 * (1.0 + tf.erf(input_tensor / tf.sqrt(2.0))) 
Responses
  1. 你好

    你这个域名还卖不?

    Reply

From now on, bravely dream and run toward that dream.
陕ICP备17001447号·苏公网安备 32059002001895号