更快、更好的卷积神经网络（Convolutional Neural Networks,CNNs）架构一直是研究的热点。不管CNNs架构如何变化,激活函数都是必不可少的。修正线性单元（Rectified Linear Unit,Re LU）被广泛应用在绝大多数CNNs中。过去这些年,许多单调激活函数被提出,尝试取代Re LU。然而,这些单调激活函数在不同数据集和CNNs上表现得不稳定。Softmax也被广泛使用在CNNs中。但是,对于较大的正输入,Softmax很容易发生计算溢出由于其包含指数运算。首先,针对大多数单调激活函数在不同数据集和CNNs上表现不稳定的问题,本文提出了两个新型非单调激活函数,分别被命名为幂函数线性单元（Power Function Linear Unit,PFLU）和更快速的幂函数线性单元（Faster PFLU,FPFLU）。PFLU的负区间是非单调的,且随着负输入的减小逐渐趋于零,这样可以为负区间引入负激活值和非零导数,同时保持负区间的稀疏性。PFLU的正区间是单调的,且随着正输入的增大逐渐趋于恒等映射,这样可以为正区间带来更多非线性。和PFLU不同的是,FPFLU的正区间使用恒等映射。和PFLU相同的是,FPFLU的负区间也是非单调的。然后,针对Softmax对于较大正输入很容易发生计算溢出的问题,本文提出了计算更安全的HardSoftmax,并进一步提出了基于HardSoftmax的并行选择核（Parallel Selective Kernel,PSK）注意力。不同于选择核（Selective Kernel,SK）注意力将全局特征的提取和转换放在特征融合之后,PSK注意力将全局特征的提取和转换单独放在一个分支,与具有不同核大小的多个分支构成并行结构,且全局特征转换使用分组卷积,从而减少参数量和计算量。同时,PSK注意力通过HardSoftmax注意来关注不同核大小的多个分支。一系列的图像分类实验表明,PFLU趋向于比现有的、最高级的非单调激活函数表现得更好;FPFLU在实验中也比大多数非单调激活函数运行得更快。实验也表明,只是简单地用HardSoftmax替换Softmax,也能保持或提升原注意力的性能。HardSoftmax的运行速度在实验中也比Softmax更快速。PSK注意力能够以更少的参数量和计算量追平或超越SK注意力。本文的部分成果也已发表在SCI期刊和中文核心期刊上。