jax.nn.gelu#
- jax.nn.gelu(x, approximate=True)[原始碼]#
高斯誤差線性單元啟動函數。
如果
approximate=False，則計算逐元素函數\[\mathrm{gelu}(x) = \frac{x}{2} \left(\mathrm{erfc} \left( \frac{-x}{\sqrt{2}} \right) \right)\]如果
approximate=True，則使用 GELU 的近似公式\[\mathrm{gelu}(x) = \frac{x}{2} \left(1 + \mathrm{tanh} \left( \sqrt{\frac{2}{\pi}} \left(x + 0.044715 x^3 \right) \right) \right)\]更多資訊，請參閱 Gaussian Error Linear Units (GELUs)，第 2 節。