zl程序教程

您现在的位置是:首页 >  其它

当前栏目

NLP-生成模型-2017:Transformer中的那些为什么

模型 生成 为什么 2017 那些 NLP transformer
2023-09-27 14:20:38 时间

1、简单描述一下Transformer中的前馈神经网络?使用了什么激活函数?相关优缺点?

前馈神经网络采用了两个线性变换,激活函数为Relu,公式如下:
F F N ( x ) = m a x ( 0 , x W 1 + b 1 )