深度学习模型的权值交互量化算法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:duzhanghuaduzhanghua
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络因其可自我学习的特点被广泛应用于诸如图像识别,目标检测和自然语言处理等各个方面。然而,随着深度神经网络中网络层数的增加,其对存储容量和计算力的需求也显著增加,导致无法在资源有限的小型移动端设备上运行。权值量化是一种能有效减小深度神经网络尺寸和计算量的优化方法,然而,受限于量化权值产生的量化误差,权值量化在较低的量化位宽下性能不佳。为了减小权值量化方法在较低量化位宽下的量化误差,提升量化模型的预测准确率,本文提出一种权值交互量化算法,主要研究内容如下:首先,对国内外低位量化的现状进行了研究,分析了深度神经网络的及模型量化的工作原理,重点分析了传统对称均匀量化方法的积累量化误差,指出其无法控制积累量化误差增长的缺陷,并针对该缺陷,利用权值交互思想,提出了2位权值交互量化算法,改进了积累量化误差的计算方式,并通过判定量化临近值的方式降低了量化对权值分布的影响。其次,完成了对权值交互量化算法和对称均匀量化算法的通道误差和误差边界的定量分析,指出权值交互量化算法在减小积累量化误差和控制误差边界方面具有显著优势,并建立了该算法完整的数学模型。然后,针对超参数搜索过程,分析了不同卷积层的量化误差对输出层的影响,结合贪婪算法思想,提出了逐层贪婪搜索算法,通过搜寻局部最优解近似全局最优解,弥补了暴力搜索算法时间复杂度过高的缺陷。最后,在GPU软件平台和FPGA硬件平台上,对权值交互量化算法的性能进行验证:在软件平台上,设计并实现了自动量化模块和超参数自动搜索模块,通过软件仿真实验证明了权值交互量化算法能有效减小积累通道误差和控制误差边界,然后通过与国内外低位量化算法的实验结果相对比,证明了权值交互量化算法可以有效地减小由权值量化产生的预测结果损失。在FPGA硬件平台上,完成了对深度神经网络各网络层的嵌入式语言实现,实现了权值交互量化模型的硬件平台移植,通过设置对比试验证明了权值交互量化算法能以较小的预测结果损失换取计算效率的显著提高。
其他文献
我们知道,当电磁波入射至物体表面时,物体通常会反射或散射部分电磁波,这些反射或散射的电磁波能够被眼睛或其它探测器检测到,从而物体被感知其存在,不能被隐身。最近几十年,
四足机器人以四足哺乳动物为模仿对象,重点研究其解剖学结构以及运动机理。随着足式机器人的发展,为了满足四足仿生机器人在真实环境中快速性、灵活性、机动性的要求,急需解
随着计算机技术的发展,智能化成为生活的一种标志,各种智能设备也渐渐应用到人们的日常生活中。计算机视觉在监控系统、导航控制和自动驾驶等领域发挥着重要作用。然而,这些
1995年6月,《全民健身计划纲要》经国务院批准开始在全国范围内实施,此后,各级政府便格外重视对公共体育服务的供给,尤其是在基础设施建设和人才队伍的壮大方面做出了明确的
弹性波全波形反演(Elastic Full Waveform Inversion,EFWI)充分利用记录的地震波形,通过目标函数最小化处理获得接近真实模型的物性参数,可提供高精度的速度模型。随着描述复杂
棉秸秆来源丰富,但应用却非常有限。目前大部分的棉秆都是以焚烧或就地填埋的方式被利用,既浪费资源又会造成环境污染,极其不符合国家大力倡导绿色可持续发展的战略发展观。
磷酸铝分子筛是1982年美国联碳公司发现的一类新型分子筛,被誉为第三代分子筛,常用于催化、裂解、吸附等反应中。APO-11分子筛作为磷酸铝分子筛家族一员,以磷氧四面体和铝氧
随着现代通信技术的不断发展,以及移动设备的爆发式增长,无线网络在当前的通信环境中得到越来越广泛的应用。与此同时,随着个人移动设备的普及,无线网络安全也愈发引起人们的
随着信息时代到来,互联网平台产生了大量文本信息资源。这些文本信息资源蕴含了巨大的商业价值,如何有效地组织、管理和挖掘这些信息资源一直是工业界和学术界研究的重要问题
液压系统因其功率重量比大的优势,在实际生产中应用十分广泛,尤其是在大型、重型装备中。系统的可靠性决定着设备能否正常运行,对系统进行可靠性优化可实现低成本和高可靠性