【摘 要】
:
深层卷积神经网络因其优秀的学习能力受到广泛关注。但深层卷积神经网络模型中通常具有大量冗余参数,这些冗余参数不仅会消耗大量内存和运算资源,阻碍模型向移动端的移植,还会带来过拟合问题。近年来,网络模型剪枝算法已经被证明可以有效减少模型参数,压缩网络规模。现有剪枝算法大多通过人工设计的评价标准来判断一个网络结构是否应该被剪枝。这种判定方法具有较强主观性,因此获得的评价结果可能存在较大误差。为解决此问题,
论文部分内容阅读
深层卷积神经网络因其优秀的学习能力受到广泛关注。但深层卷积神经网络模型中通常具有大量冗余参数,这些冗余参数不仅会消耗大量内存和运算资源,阻碍模型向移动端的移植,还会带来过拟合问题。近年来,网络模型剪枝算法已经被证明可以有效减少模型参数,压缩网络规模。现有剪枝算法大多通过人工设计的评价标准来判断一个网络结构是否应该被剪枝。这种判定方法具有较强主观性,因此获得的评价结果可能存在较大误差。为解决此问题,本文提出基于混合型进化算法的深层卷积神经网络剪枝算法,以自适应的方式获得剪枝策略,避免使用手工设计的评价标准,减少剪枝过程中的人工参与。本文认为,剪枝算法不应独立判断各待剪枝结构是否应被剪枝,而应从组合角度联合判断各网络结构的重要性。因此本文将剪枝问题转化成组合优化问题,提出了基于粒子群优化算法的深层卷积神经网络剪枝算法,以寻求更高的剪枝后模型精度为目标,通过粒子群进化寻找剪枝问题最优解。虽然该剪枝算法具有一定剪枝效果,但跳出局部最优解需要大量的运算。此外,剪枝算法不应单纯考虑剪枝后模型精度,还应同时考虑剪枝后模型规模,使得剪枝后的模型达到精度与规模的平衡。因此本文进一步将剪枝问题转化为多目标组合优化问题,提出基于遗传算法的深层卷积神经网络剪枝算法,在寻求更高剪枝后模型精度的同时,要求剪枝后的模型包含更少的参数。此外,在该剪枝算法中引入注意力机制来帮助获得剪枝问题的最优解,减少遗传算法所需种群迭代次数,从而减少进化算法对时间和运算资源的消耗。本文面向CIFAR数据集对Res Net、VGG等网络模型进行了剪枝,来验证所提出剪枝算法的有效性。实验结果表明,面向CIFAR-10数据集,基于粒子群优化算法的剪枝算法可以在减少Res Net模型中58%以上参数量和计算量的情况下,将模型精度损失控制在1%以内。对于同一数据集,基于遗传算法的剪枝算法可以在减少Res Net模型中73%以上参数量和计算量的情况下,将模型精度损失控制在0.6%以内。
其他文献
资源受限项目调度问题是项目管理领域中的重要问题之一。该问题假设在所有活动工期及其所耗资源数量已知的情况下,求得一种以项目工期最短为目标的调度方案,是一种NP-hard问题。对大规模资源受限项目调度问题的求解仍然是难点。此外,由于实际项目环境中存在着大量不确定性因素,以模糊数形式表达这些不确定性因素形成的模糊资源受限项目调度问题又会让问题的复杂度进一步提升。本文主要研究内容如下:首先针对资源受限项目
铰接式拖挂机器人具有载货量大、机动灵活、运货成本低以及能源消耗低等优点,目前已广泛应用于各大货运场景中。然而传统铰接式拖挂机器人可操纵性差,尤其面对狭窄路况时,挂车的位姿难以精确控制,整车灵活度及避障能力受到很大限制。为解决这些缺陷,本文提出一种新颖的主动铰接式拖挂机器人结构,并开展其建模与运动控制策略的研究。首先,为了对运动控制策略的研究奠定基础,进行了主动铰接式拖挂机器人系统建模。通过分析该移
SLAM技术作为实现巡检机器人智能化应用的关键技术之一。本文以自主研发设计的四轮独立驱动与独立转向防爆巡检机器人为研究对象,通过搭载激光雷达和惯性传感器分别作为环境感知和定位传感器,利用ROS平台搭建了一套完整的SLAM系统框架,实现防爆巡检机器人在天然气调压站内自主定位与地图构建功能。首先,根据天然气调压站作业环境及防爆要求,设计了一款适应性强、安全性高的四轮独立驱动与独立转向防爆巡检机器人,针
在航空燃气涡轮发动机中,涡轮部件承受了最大的机械负荷、空气动力负荷和热负荷,因此在发动机运行过程中最容易产生各种故障,甚至引起安全事故。本文为了解决航空发动机故障知识获取难、推理慢的问题,降低排除故障的代价,提高航空发动机的健康检测和故障诊断水平,设计了航空发动机涡轮部件故障诊断专家系统并进行了实现。首先,研究了故障知识获取。采用知识约简算法进行知识获取,利用分辨矩阵对离散化的专家知识数据进行属性
现如今,多智能体系统已经成为人工智能中的一个研究热点。单个智能体的计算及决策能力有限,导致其不能处理复杂的任务,因此越来越多的学者开始研究能够应用于多智能体系统的技术。随着深度强化学习在单智能体系统中取得成功的应用,越来越多的工作开始将单智能体强化学习的思想扩展并应用到多智能体系统中。在单智能体强化学习中,智能体所在的环境相比多智能体所在的环境是稳定的。在多智能体强化学习中,环境是更加复杂的,因此
目标跟踪的主要任务是评估被跟踪对象在视频序列每个场景中的轨迹模型,它在自动驾驶、目标行为分析等多个研究中发挥了积极的作用,是目前计算机视觉领域最重要的任务之一。目标跟踪任务需要跟踪器能够连续、准确地估计目标的位置及形状变化,然而实际场景中由于受到遮挡、背景干扰等多种因素的影响,实现准确、鲁棒的目标跟踪仍然存在很大挑战。本文以基于深度孪生神经网络的跟踪算法为基础,从特征提取和目标预测这两个角度出发,
随着我国交通领域的快速发展,尤其是在铁路运输方面,列车车轴作为最基本也是最重要的部件之一,长期处于高负荷、高强度的工作状态,极易发生磨损裂纹等故障,并且故障发生位置不易发现,如果不能及时排查解决,不仅会给乘客的经济和人身安全带来极大的隐患,还会对国家相关行业的安全公信力带来难以估计的损害和影响。因此对车轴进行及时且精确的检测显得尤为重要。声发射(AE)检测技术,最为一种常见的无损检测方法可以在不对
交通流预测任务是智慧交通系统的重要组成部分。准确高效的交通流预测,对交通规划与调度具有重要意义。然而由于交通流数据存在复杂非线性的时空关联,使得交通流预测任务具有很大挑战性。现有交通流预测方法对时空特征利用不充分,无法挖掘交通流中的深层次时空关联。此外,数据缺失问题在实际交通场景中十分常见。缺少充足的数据样本对预测模型进行优化,同样增加了交通流预测任务的挑战性。现有小样本交通流预测方法,仅针对网格
互联网基础设施的完善加速了信息数字化进程,现实生活中的可用信息不再被简单堆叠,而是被表征为图状信息网络,如交通网络、多媒体网络和社交网络等。网络数据的异质性、非线性和动态性等特点给数据挖掘任务带来了诸多挑战。网络表示学习是应对这些挑战的有效方法,它将高维稀疏的网络信息转换为低维密集的实值表示,从而提高网络分析任务的执行效率。现实系统中网络节点往往具有丰富的属性,这些属性可以为节点建立语义上的联系。
近些年来,深度强化学习在人工智能领域扮演着越来越重要的角色。但当面对高像素图像游戏的时候,深度强化学习的训练稳定性不佳。深度强化学习在Q学习训练过程中通常需要巨大的存储内存以及计算消耗,这阻碍了其在相对低端智能设备上正常运行。这仍是深度强化学习面临的一个严峻考验。针对深度强化学习算法应用在复杂图像游戏上所出现的问题,本文分析了该算法存在的不足之处,包括该算法在Q学习过程中出现过高估计Q值所带来的稳