【摘 要】
:
随着深度学习的快速发展,人工智能已经越来越多的出现在人们的社会生活中,也越来越多地应用到以嵌入式终端为载体的安全关键领域,比如无人驾驶汽车、人脸识别等。卷积神经网络在这些安全关键应用中发挥着重要作用。但部署卷积神经网络的硬件可能由于外界的环境因素发生异常,出现电压异常导致跳变等情况,这会使得模型的权重出现比特翻转错误,这种权重错误可能导致模型的精度下降,最严重的情况可能会导致模型瘫痪。因此,本文选
论文部分内容阅读
随着深度学习的快速发展,人工智能已经越来越多的出现在人们的社会生活中,也越来越多地应用到以嵌入式终端为载体的安全关键领域,比如无人驾驶汽车、人脸识别等。卷积神经网络在这些安全关键应用中发挥着重要作用。但部署卷积神经网络的硬件可能由于外界的环境因素发生异常,出现电压异常导致跳变等情况,这会使得模型的权重出现比特翻转错误,这种权重错误可能导致模型的精度下降,最严重的情况可能会导致模型瘫痪。因此,本文选择神经网络中广泛使用的卷积神经网络作为模型,研究针对比特翻转错误导致卷积神经网络出错的容错方法,目的是提高卷积神经网络模型在各种恶劣环境下的可靠性。首先,本文提出一种基于分摊权重的卷积神经网络容错方法。该方法属于卷积神经网络的被动容错方法,在保证模型结构的情况下,提升模型的自身容错能力。本研究将影响较大的神经元权重分解为两个神经元,减少扰动对权重,通过分析使用冗余神经元在全连接中分摊关键权重的效果,并使用实例验证该思想的有效性。利用重训练的方式,将权重进行分摊从而在卷积神经网络中利用分摊权重的方法提高神经网络的可靠性。然后,考虑卷积神经网络的层粒度执行,设计了一种关键层错误感知的卷积神经网络容错方法。该方法属于神经网络的主动容错,通过改变模型结果,主动检测并纠正错误。本研究利用添加控制门获得神经网络的关键神经元,通过分析关键神经元的分布和实验验证获得网络关键层的分布。利用公式推导获得神经网络的层异常输出的界限,使用此界限作为层回滚的检测依据,实现基于关键层回滚的卷积神经网络容错方法。本文通过可视化的方法验证容错方法的有效性以及权重出错对模型层输出的影响。并在不同的卷积神经网络模型上验证本文方法的优势,说明基于层回滚的容错方法能够更好的应对更多情况的权重扰动,保证模型的可靠性。最后,面向嵌入式人工智能应用,提出一种系统级面向卷积神经网络容错优化方法。本文将层错误感知的容错方法拓展为多层回滚,使容错方法能够在资源受限的嵌入式平台发挥作用,最大限度为模型提供容错保护,本文对在多层回滚情况下的层错误感知容错方法带来的时间开销和空间开销进行建模型,以检测率作为目标函数,将该问题建模为一个约束优化问题,并改进传统的模拟退火算法,使模拟退火算法更合适解决本问题。本文在不同深度的模型中验证改进后的模拟退火算法的效果,证明改进对算法的有效性。
其他文献
分类、定位、检测、分割是计算机视觉领域最核心的任务。近年来,卷积神经网络(CNNs)技术取得了瞩目的成就,促进了目标检测技术飞速发展,越来越成为人类生活的便捷工具,在智能安防、智慧医疗、自动驾驶等领域广泛应用。尽管基于深度学习的目标检测取得长足进步,但在检测不同大小的物体存在相当大的性能差异。小目标物体由于自身尺度问题,存在被遮挡,特征不明显等问题,导致小目标难以检测。因此,小目标检测的研究也逐渐
域适应(Domain Adaptation,DA)是迁移学习的一个分支,其目的是将知识从带标记的源域迁移到缺乏标记但任务相关的目标域,为借助已有的数据知识和节约模型训练的资源成本提供了有效途径。根据目标域数据的获取形式,域适应方法可分为离线域适应和在线域适应。现有的域适应研究大多针对目标域数据全部提前收集的离线域适应场景,它们提出的方法大多从特征层面上关注如何减少两域数据分布的差异,在知识迁移的过
随着大数据时代到来,问答系统作为一种能够高效获取有效信息的手段,引起了各行各业的广泛关注。在军事装备领域,大量的装备类型、型号以及参数信息等对指挥作战人员非常有用,但这些信息却未能得到有效利用。主要原因是现有的搜索引擎给出的查询结果数目过于繁多,相关工作人员无法迅速找到自身所需的信息。针对传统搜索引擎在装备领域存在的问题,本文基于军事装备数据,构建了一个契合用户的个性化问答系统。该系统采用模块化方
目标检测通俗来说,便是找出图像中指定的目标,同时需要找出目标位置和大小。目标检测的根本内容便是“什么目标在哪里”。对于小目标的定义一般有两种,一种是COCO数据集[1]中定义的,物体像素值小于32×32,另一种定义方式是目标的宽和高均在原图十分之一以下,满足以上两种条件之一,则定义为小目标。随着科技的发展,高分辨率航拍图像可用性越来越高,其中包含了大量安全、土地开发、疾病控制、缺陷本地化、监视等相
安全外包计算技术作为云计算的一种应用方式,已经得到了个人和企业的关注。外包计算就是一些硬件条件有限的客户端将需要大量计算资源的任务外包给云服务器,以达到节约自身资源的目的。虽然外包计算在大数据时代拥有广阔的应用前景,但云服务器的不可靠行为是制约外包计算发展的重要因素。如何保证客户端外包数据的安全是设计方案时关注的重点之一。此外,方案的正确性、高效性和结果可验证性也是外包计算的基本要求。大规模矩阵乘
随着人工智能技术的成熟,语义分割方法也迎来了飞速发展的机会。语义分割作为一种像素级的预测任务,为了获得较高的性能,需要耗费大量的计算资源进行训练学习。然而随着自动驾驶和移动机器人需求的日益增长,在分割精度和分割速率之间进行平衡显得尤为重要。鉴于此,本文以自动驾驶领域作为应用场景对语义分割展开研究,兼顾分割精度和分割速率,实现快速准确的语义分割。本文主要研究内容如下:(1)针对不同尺寸特征图之间像素
近年来,在线社交网络已成为信息传播最为重要的网络平台。推特作为境外分享信息的主要社交平台,拥有海量的活跃用户与大量的推文发布,充斥着海量隐私信息并暴露于公众视野,导致了社交网络中极高的隐私泄露风险。因此,研究社交网络中的隐私信息传播具有重要意义。本文针对推特中包含隐私信息的推文,构建了隐私信息传播的级联图,对隐私信息的传播特征开展分析,在此基础上提出了隐私信息传播模型的构建方法。本文的主要贡献如下
深度学习的发展提高了计算机处理图像的能力,拓展了计算机视觉的应用。同时,基于视觉任务的端到端的自动驾驶技术也在不断地发展。但是,目前深度学习在端到端的自动驾驶领域应用较浅,基于深度学习技术构建的决策模型不能很好的完成自动驾驶任务。因此,研究基于深度学习的决策模型具有重要的理论意义与应用价值。本文基于深度学习技术,设计了一个可以根据道路图像预测出驾驶动作的模型,并在模拟器上进行了实验仿真测试。最后,
对话系统作为自然语言处理的重要研究分支,在近几年持续受到研究者的关注。海量数据的出现和深度学习的快速发展为对话系统的建模提供了重要支持。对话系统一般分为任务型和检索型,任务型对话系统需要从对话中对用户意图进行识别并完成特定任务;检索型对话系统需要根据多轮历史对话,结合深度匹配模型,从回复模板库中检索出与当前对话最为匹配的回复候选项。检索型对话系统的回复检索性能,容易受到数据集质量的影响,并且当前的
网络技术的发展,促进了社会经济的进步,同时也带来了新的安全风险,入侵检测是维护网络安全的关键技术之一。入侵检测可以看作分类问题,可从分类的角度进行研究。本文研究工作如下:(1)针对入侵检测中已知类别的检测问题,设计了权重森林算法。权重森林属于集成学习,从多样性与准确性的角度设计。权重森林多样性体现在数据样本扰动、每颗树只由一个属性生成和权重矩阵的更新方式;权重森林准确性通过激活函数与全连接层保证。