gelu的两种算法
gelu 是一种常见的 激活函数，在 bert 中，有两种计算方法
1 | cdf = 0.5 * (1.0 + tf.tanh( |
1 | cdf = 0.5 * (1.0 + tf.erf(input_tensor / tf.sqrt(2.0))) |
gelu 是一种常见的 激活函数，在 bert 中，有两种计算方法
1 | cdf = 0.5 * (1.0 + tf.tanh( |
1 | cdf = 0.5 * (1.0 + tf.erf(input_tensor / tf.sqrt(2.0))) |