【摘 要】
:
深度学习算法在图像分类等许多应用场景中取得令人瞩目的成绩。但是,研究表明含有恶意扰动的对抗样本可以欺骗甚至操纵这些复杂神经网络模型,从而使得它们输出错误的预测结果。为了应对这种威胁,本文重点研究对抗训练和预处理防御这两种提高神经网络模型鲁棒性的方法。对抗训练,即使用对抗样本训练神经网络模型,是一种有效的防御措施。经过对抗训练的神经网络模型往往具有很强的抵御对抗样本攻击的能力,但是在训练过程中生成对
【基金项目】
:
国家自然科学基金项目 (61602125); 广西科技计划项目 (AD18281065);
论文部分内容阅读
深度学习算法在图像分类等许多应用场景中取得令人瞩目的成绩。但是,研究表明含有恶意扰动的对抗样本可以欺骗甚至操纵这些复杂神经网络模型,从而使得它们输出错误的预测结果。为了应对这种威胁,本文重点研究对抗训练和预处理防御这两种提高神经网络模型鲁棒性的方法。对抗训练,即使用对抗样本训练神经网络模型,是一种有效的防御措施。经过对抗训练的神经网络模型往往具有很强的抵御对抗样本攻击的能力,但是在训练过程中生成对抗样本会大幅增加计算成本。此外,本文通过分析对抗训练的中间过程发现,使用过量的对抗攻击迭代生成训练样本还有可能导致灾难性过拟合,从而对训练模型的鲁棒性产生严重的负面影响。为了减轻过拟合并提高训练效率,本文提出动态高效对抗训练,简称为DEAT。该算法的第一轮训练为常规训练,从第二轮开始进行对抗训练,并在后续训练过程中根据预先设计的调整策略逐渐增加对抗攻击迭代次数。实验表明DEAT算法框架的可行性与优越性,但是手工设计的调整策略严重依赖于训练任务相关的先验知识,这严重限制算法的泛化能力。为此,本文进一步揭示神经网络模型的局部利普希茨常数与它关于输入样本的梯度量级之间的关系。在该理论的基础上,本文利用梯度量级估计对抗训练的效果,并确定DEAT算法框架中增加对抗攻击迭代的时机。该基于梯度量级的调整策略特别适合DEAT算法,而且还可以被应用到现有的各类对抗训练算法中,以提高它们的训练效率。在对比实验中,所有基于梯度量级的动态对抗训练不仅在训练效率上有大幅提高,而且在各项性能测试中也取得与原算法相当甚至更好的表现。此外,实验分析还表明维持训练对抗样本的质量是进行高效对抗训练的关键。在预处理防御方面,首先分析K-means预处理防御算法所能抵抗的最大扰动半径以及K-means聚类质心的数量对防御性能的影响。我们发现预处理防御对恶意扰动的总量比其含有的语义信息更敏感。另一方面,质心的数量越少,K-means聚类提供防御的效果越好,但是它会略微降低受保护模型在干净样本上的分类准确率。除此之外,将K-means预处理防御和中值滤波、特征压缩以及JPEG压缩结合在一起,我们提出一种可以大幅提高模型鲁棒性的集成预处理防御策略。实验结果还表明预处理算法的叠加顺序对最终集成防御的表现有显著影响,而K-means预处理在大多数情况下应作为第一道防御算法。
其他文献
由于网络系统内部用户了解网络结构及其安全协议,对网络资源有访问权限以及其威胁行为难以被辨识,其发起的攻击造成的后果甚至远远大于外部攻击,这也使得内部威胁成为近年来异常检测领域最具挑战性的问题之一。现有的内部威胁检测算法存在误报率高、精度受限、对样本需求量大且很少考虑“人”作为内部威胁这一主体因素的问题,忽略用户间的相似性对发生威胁攻击的影响。基于此,论文针对内部威胁检测及预警方法进行研究,旨在提高
近年来,智能手机安全性的问题越来越受人们关注,用户识别认证在保证智能手机安全方面扮演着重要的角色。随着对便携式设备安全性要求的提高,针对智能手机已经提出了各种各样的用户身份认证技术,其中包括基于加速度计数据的身份认证。然而,基于加速度计数据采集的时间序列信号非常复杂,信号具有高度非平稳特性,信号的统计量特征随时间变化很大,因此给用户识别研究带来了挑战。在这项工作中,采用十个不同用户在步行、下楼和上
在现代军事和民事通信领域中,VHF/UHF频段车载天线应用愈加广泛,而传统的窄带天线已无法更好地适应日益复杂的电磁环境和通信需求。因此,车载天线的主要研究方向就是宽带与小型化。本文根据实际工程需要,利用多工器,设计一副单端口VHF/UHF频段宽带小型化天线。主要研究内容如下:1、VHF频段宽带天线的设计。为满足车载架设环境,该天线类型为鞭状天线。本文利用天线辐射体共用思想,设计一种单、偶极子辐射体
HDR(High Dynamic Range,HDR)图像从出现到走进大众的日常生活中,一直是显示领域的关注焦点。由于普通成像设备中光学采集模组进行实景拍摄时捕获到的动态范围远低于实景动态范围,在成像时难以将实景的光影轮廓完整显示出来。基于多曝光的高动态范围成像技术能够有效克服成像设备硬件的局限性,通过在实景中连续拍摄一组图像,利用加权融合的方式,使得图像能够记录下更高的动态范围。因此,本文对高动
图像分类技术在生产生活中有着广泛的应用。然而,在许多应用场景中,需要对外观十分相似的类别进行分类,传统的图像分类技术难以满足这一需求,因此细粒度图像分类就成了图像分类领域一个重要的研究方向。细粒度图像分类也有广泛的应用场景,比如自然保护区的生物识别、无人超市的商品识别、交通路口的车辆识别等,但是由于“类内差异大,类间差异小”等问题,细粒度图像分类仍然是一个具有挑战性的任务,尚无法满足实际应用的需求
黑客或恶意攻击者通过各种方法入侵网络,导致网络环境面临着大量具有针对性、隐蔽性和渗透性的潜在威胁,网络安全面临着严峻的挑战。入侵检测系统(Intrusion Detection System,IDS)作为安全防御系统被用来检测网络环境是否存在入侵行为,并针对各种入侵行为产生相应的报警数据,便于安全管理人员采取相应的防御措施,然而IDS在实际应用中会产生大量冗余、错误的报警,使得管理人员难以从中找到
视频中人体行为的自动识别是指从原始视频数据中自动识别出对应的人类动作。人体行为识别是进行视频语义理解、视频结构化描述的关键技术。相较于视频中的车辆的识别,人体行为由于其行为种类多,就需要更准确地识别。而且,在获取的视频中,由于存在着各种客观因素,如视频的画面抖动、复杂背景、视角变化等。对此,现有的人体视频行为识别算法对于以上这些问题的处理仍然受限。本文通过利用时空信息融合,分析视频中的关键人体行为
随着移动互联网的普及,以及在线教育的人数突破新高,越来越多的问题文本数据被上传至互联网中。网络中存在大量的未标注问题数据,对于用户的选择造成了困扰,用户很难从中分辨出问题的难度。为了使得用户能够更好地选择自己适合的问题难度,节省用户筛选问题的时间,帮助用户进行个性化学习,对于问题难度的预测变成一个亟待解决的问题。问题难度预测是教育数据挖掘领域中重要的问题之一。现有的问题难度预测模型基于专业人员对问
随着云计算与容器技术的高速发展和深度结合,给互联网行业带来了重要的技术革新,同时“智慧旅游”概念的提出,推动着传统旅游行业的进步与革新,随之诞生了大量的以“互联网+旅游”为背景的互联网产品和应用。本文研究基于模糊多属性决策,面向智慧旅游系统,主要的研究工作如下:(1)提出了一组基于q阶正交模糊数的Dombi幂分区Heronian平均算子。首先,介绍了基于Dombi T-范数和S-范数(DTT)的q
分组密码作为一种主流的加密手段,有着易于商业标准化、适用性强、密钥信息不需要同步、扩散性良好等优点,在各种安全设备中得到了广泛的应用。未受保护的密码算法在密码设备中运行时很容易遭受到侧信道的攻击,从而威胁到密码设备的安全性。如何提高现有侧信道攻击的效率和针对攻击做出相应的防护是目前国内外研究的热点和难点。本文基于国际主流密码算法AES和国密算法SM4的算法结构,研究相关功耗分析的优化方法;并研究了