论文部分内容阅读
Swish激活函数是一种新的激活函数,其形式为:f(x)=x*sigmod(x),Swish-β激活函数的形式则为f(x)=x*sigmod(b*x),其拥有不饱和,光滑且非单调性的特征,而测试表明Swish以及Swish-β激活函数拥有极佳的性能,尤其是与局部响应归一化配合,以及较深的深度神经网络上,表现出了对目前大多数激活函数的性能优势。