gelu 是一种常见的 激活函数,在 bert 中,有两种计算方法
cdf = 0.5 * (1.0 + tf.tanh(
(np.sqrt(2 / np.pi) * (x + 0.044715 * tf.pow(x, 3)))))
cdf = 0.5 * (1.0 + tf.erf(input_tensor / tf.sqrt(2.0)))
本文由 mmmwhy 创作,最后编辑时间为: Mar 9, 2020 at 10:35 am
gelu 是一种常见的 激活函数,在 bert 中,有两种计算方法
cdf = 0.5 * (1.0 + tf.tanh(
(np.sqrt(2 / np.pi) * (x + 0.044715 * tf.pow(x, 3)))))
cdf = 0.5 * (1.0 + tf.erf(input_tensor / tf.sqrt(2.0)))
本文由 mmmwhy 创作,最后编辑时间为: Mar 9, 2020 at 10:35 am
From now on, bravely dream and run toward that dream.
陕ICP备17001447号·苏公网安备 32059002001895号
你这个域名还卖不?