高性能二值卷积神经网络的研究与实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:a381697182
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习算法在包括计算机视觉、自然语言处理、语音识别在内的多个领域均取得了优异的性能,在过去十多年间吸引了广泛的关注。随着边缘计算的不断发展与嵌入式设备的日益成熟,出于数据安全和计算实时性等多方面的考虑,将深度学习算法直接部署在边缘端越来越必要。深度学习算法具有计算复杂度高、参数量大的特点,而终端嵌入式设备是资源受限的,因此深度学习算法通常无法直接部署在嵌入式设备上。二值化作为模型量化的极端情况,可有效地减小模型的存储占用,提高计算效率,但是会造成比较大的模型精度下降。本文旨在研究高性能的二值卷积神经网络,针对影响二值卷积神经网络精度和速度的若干问题提出高效的解决方案,并借助网络结构搜索技术,自动化地生成满足特定需求的高性能二值卷积神经网络,助力深度学习算法在终端嵌入式设备上的部署。本文的主要工作内容总结为以下两方面:从经验出发,提出高效的解决方案提高二值卷积神经网络的精度和速度。针对影响二值卷积神经网络精度的梯度失配问题,提出了一种新的梯度近似方法,它可以有效地提高二值卷积神经网络对梯度的近似精度。在多种基础网络结构和多个数据集上的大量实验表明,相比在二值化算法中广泛使用的Htanh函数和Approx Func函数,该方法可将二值卷积神经网络的预测准确率提升1.47%~5.70%;针对影响二值卷积神经网络推理速度的浮点运算,提出了一种高效的首层量化算法(First layer Quantization Algorithm,FLQA),结合浮点因子近似策略转化二值卷积神经网络中残余的浮点运算。在Vggsmall上的实验显示,在转化98%的浮点运算的情况下,模型的预测准确率仅下降0.14%;最后,在GPU平台上实现二值卷积神经网络Vggsmall底层基于位运算的推理过程,实验验证了位运算的速度优势。提出了二值网络对抗防御搜索框架(Binary Neural Architecture Attack Defensive Search,BAADS),探索高性能二值卷积神经网络的自动化设计。该框架结合网络结构搜索技术和对抗攻击防御技术,可自动化地设计兼具参数效率和抗攻击性的高性能二值卷积神经网络。相比传统的可微分网络结构搜索算法,该框架具有以下创新:1)适用二值网络的搜索空间。本文在可微分网络结构搜索框架DARTS的基础上提出了适用二值网络的搜索空间,基于该搜索空间搜索到的二值卷积神经网络在CIFAR10上的准确率相比原搜索空间提高41%;2)高效的搜索策略。通过联合多阶段搜索和稳定性搜索技术,显著地降低了搜索过程中的显存占用,减小了目标模型的性能方差;3)灵活的搜索目标。提出了一种定制化的成本约束策略,它可有效地权衡目标模型的性能和成本;4)对抗防御性搜索。在结构搜索过程中嵌入对抗防御训练,针对性地寻找具有优抗攻击性的二值卷积神经网络。BAADS算法最终搜索到的目标模型为BAADSv3,以1.95M的参数量取得了91.06%的CIFAR10预测准确率,以6.9M的参数量取得了61.5%的Image Net预测准确率。本文通过大量的实验验证了BAADSv3在参数量,准确率和抗攻击性三个方面的优异性能。
其他文献
工业控制系统的安全可靠运行对国家安全、人民生活和社会经济具有重要意义。但是,工业控制系统既面临信息化与工业化深度融合带来的传统信息安全威胁,又面临着来自内部脆弱性引发的异常情况。一旦发生异常,可能造成产品质量下降、停产甚至爆炸等严重后果。因此,研究面向工业控制系统的异常检测技术具有重要意义。本文面向工业控制系统的物理空间,进行异常检测技术的研究。具体研究以下几方面内容:(1)以田纳西一伊斯曼过程(
口臭是指呼吸时从口腔中散发出的令人讨厌的气味,会对个人形象及身心健康带来严重的影响。口臭的出现通常与口腔卫生状况和口源性疾病相关,当前已经成为口腔门诊中除龋病和牙周疾病以外主诉最多的疾病。商用的口臭检测仪器由于成本、操作复杂程度和体积等因素使用范围只能局限于医院中,因此设计一种具有个人或家庭使用前景的口臭标志物检测及口源性疾病筛查的电子鼻具有重要的意义。基于这个出发点,本文工作的主要内容和创新点如
随着生活水平的提高,人们对食物的追求不再单单局限于温饱了,对食物品质的关注度日益增加,同时,食品安全问题也越来越受到人们的重视。对于食品新鲜度的常规检测方法往往检测步骤繁琐、耗时长、部分检测结果存在主观性。电子鼻检测技术作为一种新兴的检测方法,具有便携、无损、实时的优点,而随着材料科学与计算机技术的不断发展,电子鼻技术也得到了巨大的进步,利用电子鼻的对食品新鲜度进行鉴别具有较大的应用潜力。因此,本
随着第五代(the fifth-generation,5G)无线通信系统逐渐在全球范围内部署,学术界和工业界一直在积极探索未来的无线通信系统,例如B5G(beyond 5G)和6G(the sixth-generation,6G),旨在满足更高的通信性能,例如超高数据传输率和高能效,全球覆盖率和连通性以及极高的可靠性和低延迟。近年来,智能反射面(Intelligent Reflecting Sur
学位
光电化学(photoelectrochemical,PEC)分析作为一种新兴的、有潜力的分析方法在生物传感、医疗监测、环境监控和食品分析等领域具有广泛的应用。它利用光作为激发源对光电材料施加激励,使其产生电子-空穴对,进而产生能被外电路检测到的光电流。它将激发端与接收端分离,具有低背景噪声和高灵敏度的优势。传统的光电化学传感检测研究依赖于电化学工作站和高功率光源的协同作用。即时检测(point-o
分布式数据采集系统在我国海洋科考、远洋勘探等领域应用广泛。随着美国发起的“贸易战”和“禁售事件”愈演愈烈,分布式数据采集系统核心部件的关键元器件进口受到了很大限制,暴露出采用进口器件研制的系统存在被其他国家“卡脖子”的风险。因此,自主研制国产化分布式数据采集系统具有非常迫切的需求。本文研发了基于海思处理器的分布式数据采集系统桥接子系统。该桥接子系统以海思公司Hi3798系列处理器为核心设计,通过扩
随着通信技术的发展,现代战争逐渐成为海陆空联合的信息战争,作战中的信息交互也从简单的指令扩展到文本、实时侦察图像和视频等多媒体数据,对信息交互的时延和准确性都提出了更高的要求。数据链技术的产生,大大提高了各种军事设备和人员之间的协同性,飞机、舰船、卫星和军队等可以联合成为一个整体,提升作战能力。因此,数据链技术在现代战争中起着决定性的作用,而管理和分配信道资源的媒体接入控制(Medium Acce
不论在自然界还是人类社会,群体都是非常常见的组织结构。在这样的组织结构中,存在着多种显性或隐性的交互,使得群体在整体上的智能表现并不能简单地视为多个个体的累加。当多个主体以协同的方式采取行动,群体智能则得以体现。随着当今信息技术的飞速发展,无人机(UAV,unmanned aerial vehicle)的应用越来越普遍,而囿于单个无人机相对简单的行为表现以及有限的作用范围,无人机常常以群组的方式进
学位