基于忆阻器的卷积神经网络剪枝量化方法研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:beautyyin123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,卷积神经网络作为人工智能领域的一种主要方案,已应用于机器视觉,如图像识别,图像处理等领域。随着网络功能的逐渐强大以及精度的不断提高,最新的卷积神经网络需要大量的参数和计算量。由于制造成本的增加和基础物理限制的迫近,单靠器件的扩展已经不能提供期望的性能增益,因此需要新的设备和算法。忆阻器的理论概念在2008年与物理设备相结合,一直是非冯·诺伊曼架构领域的研究热点。由于其高密度,高操作速度和低功耗的优点,忆阻器广泛的在存储、计算和类脑应用方面显示出了巨大的潜力,但在忆阻器交叉阵列中的神经网络训练的过程中,还有部分问题需要解决,即不对称性和编程位精度不稳定。当忆阻器实际用作神经网络加速器时,这些非理想特性会在训练过程中会造成严重的干扰。为了解决上述问题,本文围绕基于忆阻器的卷积神经网络的实现及其在图像识别中的应用展开研究,以忆阻器为依托,将其与卷积神经网络相结合,实现网络参数的剪枝和量化以及忆阻器的存储和计算,主要研究内容如下:(1)首先基于忆阻器的特性和卷积神经网络的传播机制,设计忆阻器权值映射模块电路。然后设计基于忆阻器的卷积神经网络运算模块电路,其包含深度可分离卷积层、全局平均池化层、全连接层、Re LU激活函数和批归一化层。(2)结合卷积神经网络的参数分布,从卷积层和全连接层两个层面对神经网络参数进行筛选,分析神经网络模型中各层对不同剪枝方法的敏感度。以此确定删除冗余权值的剪枝方案,随后谈论了两种网络再训练的方法。通过高斯混合模型-K均值聚类方法以实现参数共享,接着微调剪枝量化后剩下的连接和权值,将其映射在忆阻器上用于卷积神经网络的计算。(3)利用忆阻器阵列仿真平台以及CIFAR-10数据集对设计的忆阻器阵列加速电路进行实验验证。首先在CIFAR-10数据集上完成网络的训练及剪枝量化操作,然后利用仿真平台将权值映射到忆阻器阵列进行实验并对结果进行分析。分别从能耗、功率、延时等方面对忆阻器电路的整体性能进行分析,以充分验证基于忆阻器的卷积神经网络剪枝量化方法的可行性和有效性。
其他文献
当前,海量数据信息在每一个智能行业和业务领域发挥着关键作用。面对不断更新的海量复杂数据,选择合适的数据挖掘方法并从中获取所需要的有效信息,是我们目前面临且必须要解决的问题。众所周知,粗糙集理论可以实时处理动态数据的更新,是一种非常有效的数据挖掘方法。在信息系统中,当删除冗余属性和增加全新属性时,系统的粒结构也会随之发生变化,从而引起粗糙集的两个近似算子的更新。本文以直觉模糊信息系统为研究对象,基于
学位
随着信息技术的快速发展,具有海量、高维、动态、分布式等特征的大规模复杂数据不断涌现,如何从这些复杂的数据中获取高价值的信息显得异常重要。粗糙集作为一种处理不确定性、不精确性知识的重要工具,目前已经广泛应用于模式识别、特征提取、规则提取等领域。然而,传统的粗糙集模型要求数据是完备精确的,对于不完备、动态数据的处理具有一定的局限性。集值信息系统作为单值信息系统的重要扩展类型,是处理不完备、不确定数据的
学位
人工智能与教育的结合对于推动国家发展、建设创新型国家以及构建包含有交互式学习与智能学习的新型教育体系等方面起着至关重要的作用。而人工智能在教育领域的应用主要集中在提供个性化学习方案与改进教育评价模式这两个方面。提供个性化学习方案与改进教育评价模式都需要对学习过程中学生的状态进行监测。众多的学习状态中,认知负荷是否匹配是被广泛研究且极为重要的一组学习状态。监测学习者学习过程的认知负荷是否匹配,便于教
学位
心血管疾病目前已经成为威胁国民身体健康的首要致命疾病,发病人数逐年上升。心电信号是反映心脏活动的一种重要的生理信号,医生通过观察患者的心电图数据来对心血管疾病进行诊断。为了减轻人工检测的工作量,提高医生对心电图诊断的效率和准确率,及时保障病人的生命安全,围绕心电信号自动检测与诊断的研究具有很强的现实意义。本文深入研究了深度学习技术在心电信号检测与诊断的应用,利用双向长短期记忆网络(Bi-LSTM)
学位
<正>湛蓝的天空与赤金的阳光,搭配艳紫的薰衣草让人沉醉其中。但据记者了解,北京地区的气候环境并不适合大面积种植薰衣草,各大庄园的紫色花海也多以蓝花鼠尾草与柳叶马鞭草为主。北京不适合大面积种植薰衣草法国诗人罗曼·罗兰有一句名言:"法国人之所以浪漫,是因为他们有普罗旺斯",而薰衣草说是普罗旺斯的灵魂,一点也不为过。人们对于美好事物的向往古往今来始终如一,早在1963年我国就先后在北京、上海、西安、重庆
期刊
学位
随着智能技术的发展,高维数据日益普遍,如图像、视频、社交网络关系和用户行为数据等,被广泛应用在特征预测、视频分类和推荐系统关系挖掘等各个领域。而传统的机器学习算法需要先对数据进行向量化或矩阵化处理,这通常会破坏高维数据携带的内部结构信息,并常常会带来过拟合的新问题。近年来,将张量形式的数据应用到经典的线性回归模型中引起了广泛关注,一方面,可以尽可能地保留数据的结构信息,达到更优的预测效果,另一方面
学位
随着大数据时代的到来,互联网用户和网络新闻用户数目激增,出现了各类的新闻媒体平台,新闻文本的数量可以说是在爆炸式的增长之中。对于使用新闻客户端的用户来说,每个人都希望快速准确地从平台上找到自己感兴趣的新闻进行阅读,而对新闻媒体平台而言,将众多的新闻文本信息进行有效的分类也是做好新闻媒体平台很关键的一步。由于中文本身的复杂性,中文新闻分类的难度比起英文新闻要高不少,因此研究中文新闻文本分类对于推进新
学位
决策与我们人类社会活动息息相关,它在我们个人人生规划,企业长远发展,以至于国家行政军事等方面都起着至关重要的作用,因此被广泛应用到了各个领域。犹豫心理在现代决策理论与实践的过程中普遍存在,作为一种常见心理现象,犹豫不决往往会延长决策过程,使得决策者无法及时做出合适决策,进一步造成人力物力的浪费。犹豫模糊集理论通过对决策者的犹豫心理进行定量描述,同时处理不确定信息中的犹豫性与模糊性,为克服决策过程中
学位
随着计算机视觉的发展,图像已经成为人类信息传递的重要手段,其中图像质量是图像数据的重要指标,而在雾天等恶劣天气下,常常会出现诸如图像细节丢失、图像色差、图像对比度下降等问题,这些问题会影响成像设备获取到的图像。这些低质量的图像,不仅仅影响肉眼所见的主观感受,更为关键的是,其作为一组低质量数据会降低许多智能系统的效率甚至导致更加严重的后果。如遥感系统、安防监控、无人驾驶等,清晰的、高质量的图像是这些
学位