互学习神经网络训练方法研究

来源 :计算机学报 | 被引量 : 0次 | 上传用户:shengweizheng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于BP神经网络具有表达能力强,模型简单等特点,经过近30年的发展,在理论和应用研究上都取得了巨大的进步,然而容易陷入局部最优和泛化能力差等问题却限制了神经网络的发展.同时,大数据的出现和深度学习算法的提出与应用,为神经网络向更类脑的方向发展提出了新的要求.针对上述问题,该文从模拟生物双向认知能力的角度出发,构造了一种新的神经网络模型——互学习神经网络模型,该模型在标准正向神经网络的基础上,引入了与其具有结构对称性的负向神经网络,利用正、负向神经网络分别模拟生物的顺向和逆向认知过程,并在此基础上提出了一种新的神经网络训练方法——互学习神经网络训练方法,该方法通过网络连接权值转置共享,正、负双向交替训练的方式对互学习神经网络模型进行训练,从而实现输入数据和输出标签之间的相互学习,使网络具有双向认知能力.实验表明,互学习神经网络训练方法可以同时训练正、负两个神经网络,并使网络收敛.同时,在此基础上提出了"互学习预训练+标准正向训练"的两阶段学习策略和相应的转换学习方法,这种转换学习方法起到了和"无监督预训练+监督微调"相同的效果,能够使网络训练效果更好,是一种快速、稳定、泛化能力强的新型神经网络学习方法.
其他文献
通过实际观测和一系列试验 ,研究了影响西武当泉水氡遥测资料质量的主要干扰因素及排除方法 .发现供电系统对遥测电子仪器工作稳定性影响较大 .脱气装置工作正常与否是影响水氡观测质量的另一个因素 .加大供电系统功率及脱气装置的局部保暖和整体保温是保证该泉点水氡观测资料质量的有效方法 .
本文用倍周期叠加黄金分割法对西北地区的8级地震进行了验证性的预测,发现有很好的吻合性,因而本方法可用作对未来西北地区8级地震的时间预报。文中对未来100年可能发生8级地震的年份用本方法进行了预测。
肺动脉高压(PAH)是一类以肺血管阻力进行性增高为主要特征,最终导致右心衰竭、乃至死亡的疾病,其发病机制尚不明确,治疗效果一直不理想.微小RNA是一种内源性保守进化的非编码RN
数字信号的传输是数据通信的关键 .用调制解调器 (MODEM )既能把数字信号变换成模拟信号 ,又能把收到的模拟信号恢复成数字信号 .研究分析了V·2 4接口的工作原理 ,同时还介绍了MODEM的基本原理 .