面向场景文字识别的数据投毒攻击与防御研究

来源 :华北电力大学(北京) | 被引量 : 0次 | 上传用户:keiryu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从自然场景获取的图像中读取文本,也被称为场景文本识别,是一项具有挑战性的计算机视觉任务。然而,场景文本识别模型的训练需要采用大型的训练集,训练集的体量和复杂性增加不可避免的带来了样本噪音的问题。样本噪音可降低场景文本识别模型的识别准确率从而影响模型的可用性,精心制作的少量的样本噪音就可对模型的可用性造成不可忽视的破坏。这种利用样本噪音对模型完整性、可用性造成破坏的攻击方法被称为数据投毒攻击。目前对于数据投毒攻击的研究主要聚焦由于攻击和防御这两个角度。大多数现有的数据投毒攻击假定可以访问目标模型的结构和参数,而这种假设在现实场景中通常不成立。此外,目前大部分防御标签噪音的方法都是针对分类任务中的单个标签噪音的,这些方法无法处理场景文本识别任务中的序列型标签噪音。因此,与先前的工作相比,本文的创新点在于:(1)针对更贴近真实场景的数据投毒攻击问题,本文提出了一种黑盒的数据投毒攻击方法:黑盒标签投毒攻击。黑盒标签投毒攻击无需了解受害模型的结构和参数即可构造投毒样本对模型的可用性进行攻击。黑盒标签投毒攻击使用EC-DCGAN生成具有全局一致性的虚假图片,并使用了非对称投毒向量针对单个类别的图片进行攻击。本文在MNIST和FashionMNIST数据集上进行了实验。实验表明,在攻击预算相同的前提下,黑盒标签投毒攻击使数字识别系统的测试错误率提升至0.9以上,比传统标签攻击造成的错误率平均高0.2。(2)针对场景数字识别的序列型标签噪音问题,本文提出了序列置信学习方法。在序列置信学习中,序列置信度切片算法对序列标签以及序列概率进行分割,并根据序列标签噪音的随机过程模型对其进行重新组合,再利用置信学习估计噪音标签与真实标签的概率转移矩阵并查找数据中存在的噪音标签,最后根据序列型标签中含有的噪音标签数目来完成对数据集的过滤。实验证明,在含有标签的TRDG数据集与SVHN数据集上,序列置信学习能以90%以上的准确率找出噪音标签;而且采用序列置信学习对训练集中的序列标签噪音进行过滤后,VGG-Attn和TPS-ResNet-Attn模型再测试集上的表现显著提高。
其他文献
精准的定位与对环境的感知是智能移动机器人正常工作的前提条件,随着研究的深入,SLAM技术应运而生。使用单一传感器对机器人进行定位难以保证其在各种环境下长期稳定工作,越来越多的多传感器融合的定位方案正在被研究与应用。视觉传感器在短时快速运动或无纹理区域易发生特征点的缺失,无法保证良好的特征跟踪和位姿估计性能,惯性测量单元(IMU)能很好的弥补该不足,而视觉传感器信息也恰好能对IMU漂移的影响进行校正
在数字图像编辑中,图像通常由图层构成,图层则用于分离和表示图像的不同部分。图层方便了对图像的操作,例如用户可以增加或删除图层,也可以对图层进行色调的变化、图层的替换等操作,方便实现图像的编辑。然而图像一旦栅格化后,图层就不复存在。在本论文中,图层被定义为颜色近似均质的图像段。论文针对颜色层分解技术进行研究,旨在将给定的图像分解为多个高质量的颜色图层,从而方便图像编辑。论文主要工作有:(1)针对分层
如今软件技术的发展已经十分迅速,软件产品的功能和结构变得越来越复杂,并且软件的迭代周期也越来越短,可是传统的软件开发模式效率不高,不仅需要频繁的重复操作,而且容易积累较多问题,使得产品的发布时间被延迟,于是就需要一种效率更高更方便的软件开发方式。持续集成作为一种高效的敏捷开发实践,已经被广泛的使用,持续集成通过频繁的获取最新的代码并且进行构建,帮助开发人员及时的发现开发中出现的问题,从而保证开发项
随着信息技术的迅猛发展以及大数据时代的到来,数据挖掘技术得到了极大的促进与发展。然而,在训练数据挖掘模型的过程中可能会涉及到用户的个人信息,对这些数据的不当使用容易带来严重的隐私泄露问题,对个人乃至社会造成不良的影响,同时也极大的阻碍了数据的共享和挖掘技术的发展。目前,具有隐私保护的数据挖掘算法成为了一个热门的研究方向,其核心任务在于如何平衡隐私保护和模型准确性之间的矛盾。差分隐私技术提供了一种具
随着嵌入式系统技术的日益成熟,处理器的运算能力越来越强大,运算速度越来越快,人们对于嵌入式系统的应用也越来越多。但是在许多工业应用中,对于所使用工具的安全性和可靠性有极高的要求,一般的嵌入式操作系统,如Linux,安卓等还不能满足工业级别的安全要求,这就对既能够达到工业级安全认证要求,又可以快速运算的嵌入式系统产生了迫切的需求。本文所阐述的是一款同时拥有IEC 61508安全完整性三级认证(SIL
离散纵标法(SN)是常用的确定论屏蔽计算方法之一,空间网格划分对于SN方法求解粒子输运问题的计算精度至关重要。复杂屏蔽模型存在强非均匀效应,要求不同区域的几何描述精度不同。采用传统笛卡尔直角网格进行全局均匀细分往往会引入难以承受的计算成本,对输运计算效率和计算机存储提出挑战。本课题针对大尺寸复杂屏蔽问题,基于SN方法研究非均匀间断网格并行输运扫描算法,并采用角度多重网格加速方法进一步提高并行计算效
车联网(Internet of Vehicles,IoV)作为物联网(Internet of Things,IoT)的延伸,不仅可以为人们提供高效和舒适的驾驶体验,而且能够促使交通业务的多样化。为了获得高可靠性与低时延的车用无线通信技术(Vehicle To Everything,V2X)服务,广泛部署的移动边缘计算(Mobile Edge Computing,MEC)被认为是一个最有潜力的方案之
深度卷积神经网络被广泛应用于单图像超分辨率重建领域,显著提升了重建方法的性能。加深网络深度往往可以获取更高的性能。但是,当前超分辨率重建方法常采用增加卷积层层数或者卷积层个数的方式提高重建图像的性能,当卷积层层数或者个数增加时,模型的参数量,运行时间以及计算量也随之增加。现实世界中,由于硬件设备资源有限,此类方法实际应用中表现大打折扣。本文通过调研分析当前性能优越的单图像超分辨率重建方法,提出一种
隐写术是一种将信息或数据隐藏到数字图像中的技术。根据是否带有隐藏信息,可以将图像分为含密图像和载体图像。数字图像在表示上具有很高的冗余度,因此可用于隐藏数据。图像隐写术主要可以分为空间域和变换域。图像隐写术的最基本技术是利用最低有效位(LSB)替换隐写算法。存在大量可以将秘密信息或数据隐藏到数字图像中的隐写技术。每种方法各有利弊。因此,有必要建立更准确的隐写分析技术,能够检测出使用各种隐写方法所产
在数据库数据信息安全防护的过程中,不仅要避免外部攻击带来的重要信息泄露危害,同时还需要时刻关注内部违规引起数据库操作安全风险,尤其要注意数据库运维过程中带来的安全风险。现阶段运维安全审计系统对数据库的运维仅限于事故的追责,并没有对运维人员的权限及操作进行合理的管控。因此急需在数据库操作中加强运维管控技术来实现安全保障。本文从数据库运维操作的安全性出发,研究当前数据库运维操作过程中存在的缺陷和风险,