论文部分内容阅读
卷积神经网络(CNN)是深度学习的一种,已经成为图像处理和识别方面的研究热门。它的权重共享特点可以明显降低网络结构的繁琐程度,减少需训练权重的数量。该模型可以直接输入原始图像,没有了普通分类算法中特征提取和数据重修的过程。这种网络结构在图像处理和识别中得到不错的表现。本文主要的研究方向是基于卷积神经网络的图像处理和识别算法,一个完整的CNN不仅能够完成图像处理的过程,不需要先对图像中对象的语义和特征进行检索和提取,而且还能将特征整合用于分类进行识别。近年来,基于卷积神经网络的图像处理和识别的研究是计算机视觉、数字图像处理与深度学习领域最热门的研究方向之一。同时,由于卷积神经网络技术的飞速发展,大量优秀的优化CNN的方法以及其他技术已经被引入到图像处理和识别的过程当中。本文正是围绕此方面做了研究,利用dropout正则化法和模拟退火算法优化卷积神经网络结构,并将其用于解决图像处理和识别的问题,主要研究成果如下:1.针对CNN产生的过度拟合和模型平均方法不够全面等问题,dropout方法主要思想是数据在训练时一部分激活单元被抑制,在下一次训练时又有可能被激活,该方法削弱了神经元节点间的联合适应性,增强了泛化能力,避免了过拟合问题。但也有不容忽视的缺点,模型平均的方法只是考虑了抑制概率的影响,本文提出了改进的dropout正则化方法,并提出了一种新的模型平均的方法。2.为了获得更为泛化的网络结构,提出了一种基于交叉熵损失函数的模拟退火算法改进的卷积网络模型。将启发式方法用于优化卷积网络模型的识别能力,目前研究成果还很少,本文使用基于交叉熵损失函数的模拟退火算法对dropout正则化CNN进行优化训练,对最后一层的权值调优,再利用反向传播算法对前面层的权值进行更新。实验证明:基于模拟退火算法改进的卷积神经网络的图像识别率有着很好的效果,不仅能够得到更好的识别率而且更能防止过拟合的问题。3.针对训练时间过长的问题,为了能够高效快速的收敛,本文还提出了一种自适应学习率算法的卷积神经网络。传统神经网络中学习率是一个全局的常量,选取大的学习率不利于得到损失函数的最小值,小的学习率有会消耗大量的训练时间。提出了根据损失函数选取学习率的方法。实验结果证明该方法是有效的且实用的,能够快速收敛逐渐达到最佳。