基于空洞卷积与分段量化的卷积神经网络轻量化方法研究

来源 :辽宁大学 | 被引量 : 0次 | 上传用户:ebeggar
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着移动互联网的飞速发展,移动设备被人们广泛使用。卷积神经网络已成为计算机视觉领域的主流技术,为泛在的移动设备提供了多元化服务,而卷积神经网络模型常常具有规模庞大、层次深、复杂度高、对于硬件需求标准过高等问题。为了大规模的卷积神经网络模型能够更高效地应用于移动互联网中的边缘设备,对于轻量化卷积神经网络的研究日益增多。如何让卷积神经网络在尽可能保障模型精度的前提下减少模型参数量、降低网络复杂度,来实现网络轻量化是一个值得研究的问题。首先,本文从结构优化设计与模型压缩两个层面对卷积神经网络轻量化的国内外研究现状进行研究与分析。接着从结构优化设计层面入手,将常用于多尺度信息融合的空洞卷积应用于卷积神经网络轻量化研究。利用空洞卷积等间隔采样与扩大感受野的特性,以保障感受野与特征图大小不变为前提,提出基于空洞卷积的卷积神经网络轻量化方法,具体包括基本型、改进型与融合型,实现了模型参数量与运算量的缩减。其中基本型空洞卷积轻量化方法使用一层空洞卷积近似两层普通卷积的表达能力,轻量化效果较好;改进型空洞卷积轻量化方法在基本型的基础上,利用1×1逐点卷积压缩特征图,提升了轻量化效果但网络准确率削减较剧烈;融合型空洞卷积轻量化方法将改进型方法与普通卷积融合,利用改进型方法实现轻量化、普通卷积保障准确率,有效地权衡了速度与精度。其次,本文在模型压缩层面以量化入手,使用分段方式对原始的二幂次量化方法与相加式二幂次量化方法进行改进,提出了基于分段量化的卷积神经网络轻量化方法,包括分段相加式二幂次量化方法与结合权重剪枝的分段二幂次量化方法。其中分段相加式二幂次量化方法面向较高比特量化场景,继承了相加式二幂次量化方法均匀分配增加量化分辨率优点的同时,利用分段方式使量化函数生成的基底更贴合原始全精度权重的分布。启发于权重剪枝可以将对网络影响小的权重剪除的原理,在面向较低比特量化场景提出了结合权重剪枝的分段二幂次量化方法,在量化过程中对部分小影响权重进行舍弃表达,使低比特量化有限的量化资源尽可能多地保留网络中大影响权重的趋势信息。最后,本文在CIFAR10、CIFAR100和KITTI数据集上进行基于空洞卷积的卷积神经网络轻量化方法的实验。在CIFAR10与CIFAR100数据集上进行基于分段量化的卷积神经网络轻量化方法的实验。将基于空洞卷积的卷积神经网络轻量化方法与基于分段量化的卷积神经网络轻量化方法联合,从结构优化设计与模型压缩两个层面实现卷积神经网络轻量化,在CIFAR10数据集上进行实验。实验结果表明,本文方法可以取得较好的轻量化效果。
其他文献
元学习方法提出的初衷是为了解决标签样本量不足的问题,通过提前训练模型的初始化参数来加快模型的收敛速度。后续模型无关元学习(MAML)的出现更是显著提升了元学习思想的应用范围。一般以梯度下降法进行算法求解的模型都可以通过它来解决few-shot learning(小样本分析)问题。当前,元学习方法多应用于图片和自然语言处理场景,而化学材料数据分析也具有少样本、多任务的训练特性,属于较典型的小样本分析
事件抽取框架是构建一些特定领域知识图谱的关键必备内容,尤其是金融、医疗等新兴领域,这些领域对知识的需求量大、数据的时效性要求较高。事件抽取框架的目的是将发生的事件信息从文本中提取出来,形成包含事件信息的知识,为之后的知识图谱应用提供支持。传统的事件抽取框架中除了事件抽取方法,还会包含数据收集和数据标注部分,这些附加模块往往通过一些规则性方法来生成事件信息的标注。本文以众包的方式,使用人工标注平台,
理想的群集智能算法(Swarm Intelligence,SI)能够快速找到优化问题的一个可行解,其目的是尽快取得全局最优解,而非陷入局部最优。然而现有的群集智能算法往往存在收敛速度慢和易陷入局部最优的问题。羊群算法(Sheep Optimization,SO)是一种模拟羊群行为的新型群集智能算法,它根据群集智能算法的三种策略:全局探索、局部开发和跳出局部优化,分别通过模拟羊群的三类行为:头羊引领
自1960年代以来,基于TCP/IP协议的互联网在现代社会中发挥着越来越重要的作用,TCP/IP网络架构是一个以主机为中心的模型,该模型是根据早期互联网应用模式而开发的,例如提供连接性和共享资源。但是,随着计算机技术和网络应用的飞速发展,网络传输模式也从资源共享转变为内容分发与获取,人们关注的重点从“从何处获取内容”转变为“获取什么内容”。而最初为端到端通信设计的TCP/IP网络难以适应这种变化,
车辆驾驶过程中能否与障碍物发生碰撞直接关系到车辆的安全驾驶。由于采集的图像因外界干扰会出现图像失真,导致障碍物高度及车辆与障碍物间距的判断失误,最终发生车辆与障碍物的碰撞。因此,滤除图像中的混合噪声,更准确的判断安全行驶距离,预防碰撞事故的发生,对于汽车的安全驾驶有着重要的意义。本文针对当前采集图像中存在的缺陷设计并实现了一种基于高斯椒盐图像去噪的障碍物碰撞预警系统,为辅助驾驶人员的安全驾驶提供了
随着深度传感器与深度学习网络的发展,基于骨架数据的人体动作识别成为近年来计算机视觉领域的热门问题之一。通过传感器获得的骨架数据可以表示人体关节动态信息以适应带有噪声的复杂背景。应用图卷积网络描述人体骨架实现人体动作识别可以取得很好的识别效果,但实现过程中仍存在一些问题,如图的拓扑结构固定、会遗漏非物理连接的关节相关性、无法提取局部时空特征等。首先,参考近年来基于骨架数据与图卷积网络的人体动作识别的
现阶段,工业控制系统(Industrial Control Systems,ICSs)已经广泛应用于国家生产和发展的各个关键领域和行业。然而,随着工业化和信息化的高度融合,工业控制系统面临愈来愈多具有时间持续性、手段综合性和目标特定性的定向攻击和高级可持续性攻击(Advanced Persistent Threat,APT),并且传统的IT信息安全技术并不能很好的适用于工业控制系统。因此,基于工业
在大数据时代,数据的增长带动了信息领域的高速发展,各个领域的推荐系统在人们的日常生活中起到了更为明显的作用,能够帮助人们进行信息的筛选,提高了产品的使用体验,帮助了人们获得更好的生活。教育领域同样如此,各种在线学习网站先后流行,但与推荐引擎的结合程度还相对较低,远低于电商和娱乐领域,在数量和质量上,均有明显的进步空间。本文认真研究了相关教育学理论,充分研究了国际国内在线学习领域和个性化推荐领域的现
随着学习资源的爆炸性增长,如何在海量的数据里找到学习资源成为了一个急需解决的问题。个性化知识资源推荐是一种有效的解决办法,其本质是通过推荐算法捕捉到用户的偏好,给用户推荐潜在知识资源。据此本文提出了基于混合推荐算法的个性化知识点推荐系统研究与实现。首先本研究对推荐算法进行了深入的研究分析,将推荐算法分为传统的推荐算法和基于各类智能算法的新型推荐算法。并对这两类推荐算法下的各类具体算法进行分析,明确
互联网的发展使得人们可以通过粘贴复制,径直将网上他人的知识成果放在自己的论文里,无意间形成侵权、学术造假等事件。而学术论文不断反复套用、盗用,严重的影响了整个学术界的氛围,低水准论文满天飞。要想从根本上杜绝类似事件的发生,就要通过增强对论文的重复率度量来监督,当前国内外对文本的查重成为新的研究热点。实行版权保护时,一个高效的方法是对文档之间的相似程度进行度量。文本相似度研究在判定文章原创方面有着普