融合注意力与非局部描述特征的VLAD算法改进

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:mainonewf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
通过对图像进行特征编码获取重要信息是人工智能的一个重要领域,特征编码方法无论在传统图像方法上还是深度学习方法上都是研究学者研究的重点。一种优秀的特征编码方法能够应用于图像、视频分类或者目标检索等各个领域,其中VLAD(Vector of Locally Aggregated Descriptors)无论在传统图像处理,还是在深度学习领域中,都有大量的研究学者进行专研与改进。但二者均存在着3点不足之处,1、应用于传统图像处理领域的VLAD算法,虽然能够较好地针对图像数据特征性输出局部聚合描述性特征,但对图像特征缺乏学习优化的过程,输出特征与目标标签出现误差亦不能沿误差方向得到改善。2、能够应用于深度学习领域的改进VLAD算法,虽然解决了VLAD对图像特征学习优化的问题,但是由于聚类中心是初始化的,需要通过网络训练进行调整,如果强化图像关键区域特征,通过软分配计算,将更好地划分出具备类别辨析性的聚类中心区域,输出局部聚合特征向量以作整体表示;3、由于VLAD最终输出局部聚合的特征向量一定程度上会出现有用信息的丢失,对网络模型识别造成影响。对此,本文针对以上三个问题,提出一种混合注意力与非局部描述特征的VLAD改进算法。将基于注意力机制的Attention-NetVLAD网络结构混合一种基于特征间相关性的非局部描述特征,注意力机制强化图像关键区域特征,同时非局部描述特征计算出各局部特征间的相关性,补充了图像特征所属的聚类区域的非局部关联区域信息,完善输出图像特征描述的完整性,特征描述更具辨析度。具体的2个创新点如下:(1)提出基于注意力机制的Attention-NetVLAD,通过利用卷积操作替换传统VLAD的硬分配,转换成软分配,成为神经网络的一部分结构,具备可训练条件,同时具有去低质量特征信息的功能。将Attention-NetVLAD分为两部分,“基于空间维度的Spatial-Attention-NetVLAD”与“基于通道维度的Channel-Attention-NetVLAD”。通过注意力机制,将注意力强化后的特征图输入到Attention-NetVLAD中的改进NetVLAD部分中,将每个聚类中心与全图特征点进行差值计算输出残差分布状况,计算软分配的高质量权重信息与低质量权重信息,低质量权重信息不参与构建聚合局部特征矩阵,最后将残差分布与软分配权重相乘,通过聚合整理与归一化处理,得到聚合局部特征向量作为图像整体表示。由于注意力强化后的特征图凸显关键区域的,促使输出的特征更具辨别性。(2)提出基于特征相关性的非局部描述特征,目的是提取图像特征非局部相关信息,使图像特征描述有完善的表示,获取类中的共性特征,扩大类间差异。通过对上述注意力强化特征图进行卷积操作输出不同区域的图像特征,然后对不同区域的图像特征进行矩阵相乘,在图像特征中计算任意两点间的相关性,突破了卷积操作的局部区域的局限性,获取图像特征非局部信息,简称为非局部描述特征。最后将Attention-NetVLAD输出的软分配权重与非局部描述特征进行元素点乘,输出图像特征所属的每个聚类区域间的非局部相关区域,串行拼接到Attention-NetVLAD输出的局部聚合特征向量中,优化了特征描述,凸显图像类中共性区域。最后将提出的融合注意力与非局部描述特征的VLAD算法进行实验,实验数据集分别为Image Net数据集、UCF101数据集,对比现有的NetVLAD[17]、Ghost VLAD[32]、Action VLAD[33]算法,都有较明显的识别精度优势。
其他文献
这项研究将提供简单,容易,快速,低成本的实时激光对准模型,以手持式激光器,照相机,投影仪和个人计算机为硬件来测量管道直径。根据实验结果,这种方法将在学术研究以及处理日
随着互联网的迅速发展,大数据时代的到来,各种终端产生海量的文本数据,其蕴含的丰富语义信息对社会各行各业的发展具有重要的价值。文本分类作为自然语言处理的基础和关键技
本文针对基于CCD(Charge-coupled Device,电荷耦合器件)的全天候侧向散射激光雷达系统(全天候Clidar系统)测量大气PM2.5浓度机制作出了以下研究:(1)阐述了气溶胶的研究背景、
在悠久的历史长河中,我国留存下来众多文物古迹,这些文物古迹见证了中华民族波澜壮阔的发展历程,拥有着不可估量的价值。而文物工作的开展不仅有利于继承和弘扬中华民族优秀
微电网作为现今分布式新能源发电管理的最有效形式之一,已经受到世界各国的广泛关注和研究。光伏等新能源存在间歇性和不确定性,会对微电网稳定供电、合格供电产生影响。新能源发电通常以电力电子功率器件作为接口并入电网,如何控制这些变换器,实现网内功率平衡,保证电压频率/幅值在规定的范围内,满足用户安全用电需求是一个重要课题。本文研究一种分层控制方案,实现微电网的功率平衡控制,主要包含了以下内容:首先从问题背
随着指纹自动识别技术的广泛应用,对应指纹数据库容量不断增大,如何在大规模指纹数据中快速、准确地进行查找是指纹识别技术的热点问题。本文选取指纹细节点的特征提出了一种
党支部是党的基础组织,应当主动把不忘初心、牢记使命作为加强党的建设的永恒课题和全体党员干部的终身课题,持续加强和改进基层思想政治工作,确保党的每个细胞都始终保持先
测风雷达光源的波长要求为2μm左右,Tm:Lu YAG激光器输出的中心波长为2020nm,可以满足其需求,同时和Tm:YAG相比,其输出波长更偏离水的吸收峰,相比于Tm:Lu AG造价更便宜,所以T
随着通信技术的高速发展,在2020年5G商用计划的推动下,人们更加深入地研究5G毫米波通信系统。在毫米波大规模天线系统中,接收机的结构设计和信号处理方法是一项非常关键的研
本文以和刻本清詩總集為主要研究對象,分為五章論述日本江戶、明治漢詩壇對清詩的接觸、認知、篩選、學習的過程,並著重探討日本在清詩受容過程中的主動選擇與審美特色。第一