论文部分内容阅读
深度神经网络因其可自我学习的特点被广泛应用于诸如图像识别,目标检测和自然语言处理等各个方面。然而,随着深度神经网络中网络层数的增加,其对存储容量和计算力的需求也显著增加,导致无法在资源有限的小型移动端设备上运行。权值量化是一种能有效减小深度神经网络尺寸和计算量的优化方法,然而,受限于量化权值产生的量化误差,权值量化在较低的量化位宽下性能不佳。为了减小权值量化方法在较低量化位宽下的量化误差,提升量化模型的预测准确率,本文提出一种权值交互量化算法,主要研究内容如下:首先,对国内外低位量化的现状进行了研究,分析了深度神经网络的及模型量化的工作原理,重点分析了传统对称均匀量化方法的积累量化误差,指出其无法控制积累量化误差增长的缺陷,并针对该缺陷,利用权值交互思想,提出了2位权值交互量化算法,改进了积累量化误差的计算方式,并通过判定量化临近值的方式降低了量化对权值分布的影响。其次,完成了对权值交互量化算法和对称均匀量化算法的通道误差和误差边界的定量分析,指出权值交互量化算法在减小积累量化误差和控制误差边界方面具有显著优势,并建立了该算法完整的数学模型。然后,针对超参数搜索过程,分析了不同卷积层的量化误差对输出层的影响,结合贪婪算法思想,提出了逐层贪婪搜索算法,通过搜寻局部最优解近似全局最优解,弥补了暴力搜索算法时间复杂度过高的缺陷。最后,在GPU软件平台和FPGA硬件平台上,对权值交互量化算法的性能进行验证:在软件平台上,设计并实现了自动量化模块和超参数自动搜索模块,通过软件仿真实验证明了权值交互量化算法能有效减小积累通道误差和控制误差边界,然后通过与国内外低位量化算法的实验结果相对比,证明了权值交互量化算法可以有效地减小由权值量化产生的预测结果损失。在FPGA硬件平台上,完成了对深度神经网络各网络层的嵌入式语言实现,实现了权值交互量化模型的硬件平台移植,通过设置对比试验证明了权值交互量化算法能以较小的预测结果损失换取计算效率的显著提高。