基于注意力双分支网络的跨模态赤足足迹检索方法研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:wlc198812
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
足迹是犯罪现场遗留与提取率最高的一种物证,具有独特性和稳定性,为侦查犯罪案件挖掘出更多有用的信息,有助于刑侦人员有效地筛选出犯罪嫌疑人,加强破案力度。受采集对象行为活动和采集环境的影响,目前足迹利用率比较低,特别是在足迹检索领域,由于当前公安部足迹采集设备具有多样化,足迹模态不一,增加了足迹检索的难度。近年来,卷积神经网络在图像分类、识别与检索等领域有着广泛应用,因此本文采用卷积神经网络进行跨模态赤足足迹检索研究。本文研究的主要内容如下所示:(1)构建跨模态赤足足迹数据集。本文以光学和压力两种模态为研究对象,设计采集流程,分别利用光学和压力足迹采集仪器进行数据采集,并对采集图像进行去噪和数据增强等预处理操作,最终构建了138人27600枚的跨模态赤足足迹数据集。(2)给出一种基于空间注意力的双分支网络模型,实现跨模态赤足足迹的检索。该网络模型包含特征提取、特征嵌入和双约束损失三个模块。为了充分学习每种模态的固有特征,在特征提取模块采用双分支结构,各分支均采用Res Net50作为基础网络,并在Layer3、Layer4层引入空间注意力机制,提取每种模态更有辨别性的特征,并将各模态输出特征向量拼接后送入特征嵌入模块;在特征嵌入模块,通过部分参数共享来学习不同足迹模态的共享空间;为了解决模态内和模态间的特征差异问题,在双约束损失模块采用交叉熵损失和异质中心损失进行约束。实验结果表明,该方法具有一定有效性。(3)给出一种基于非局部注意力的双分支网络模型,实现跨模态赤足足迹的检索。为了进一步提高检索性能,该模型在特征提取、特征嵌入和双约束损失模块等方面进行了改进。为了充分利用两种模态的足迹底层信息,特征提取模块的各分支均以Res Net50的Layer1层之前的部分作为基础网络,并将各模态输出特征向量拼接后送入特征嵌入模块;为了学习到更加全面的足迹信息,专注足迹图像整体压力分布,增强各模态的有效特征且突出跨模态的共性特征,在特征嵌入模块的Layer2、Layer3层的每个残差块处引入非局部注意力机制;为了增强网络模型的学习能力,减少对网络最后池化层输出特征向量的降维操作;为了更好地解决模态内和模态间的特征差异问题,在双约束损失模块采用交叉熵损失和三元组损失进行约束。实验结果表明,该方法进一步提升了跨模态赤足足迹检索性能。
其他文献
随着未来车联网(Internet of Vehicles,Io V)的不断发展,汽车应用数据流爆炸式增长,而车辆本身的车载单元无法满足其自身应用的计算时延的需求,移动边缘计算(Mobile Edge Computing,MEC)技术的出现能够很好的解决此类问题。MEC技术是将MEC服务器部署在靠近用户一侧网络边缘,旨在将移动云计算(Mobile Cloud Computing,MCC)的功能进行下
毒品滥用严重危害着人类身心健康,并引发一系列社会安全问题,已成为一个全球共同关注的话题,毒品的快速、高灵敏现场检测对禁毒、打击毒品犯罪以及法医学有重要的意义。毒品检测技术研究也日渐成为一个十分重要的研究领域。而离子迁移谱(Ion mobility spectrometry,IMS)检测技术具有检测速度快,设备成本低,灵敏度高,便于携带等特点,已被广泛应用于毒品检测领域。然而在实际应用中,IMS仅仅
荧光成像引导的光动力/光热疗法是近年来新兴的癌症治疗方法,这种癌症治疗方式在精确显示光敏剂/光热剂在肿瘤组织位置及无创可靠治疗方面具有显著优势。其中,如何开发出一种优异的光敏剂/光热剂是此方法研究的重点。本文设计合成一系类新型吡啶盐、花菁盐类光敏剂/光热剂应用于荧光成像引导的光动力/光热治疗,实时监控细胞活动及微环境的变化。1.以三苯胺为电子给体,带有不同长度烷基链的吡啶盐为电子受体,通过Knoe
随着信息时代的高速发展,庞大的数据如文本、音频、图像、视频等在互联网中进行传输交换,传输过程中信息的安全性受到越来越多的关注。由于光学信息处理良好的并行特征与多种复杂的自由度:如振幅、相位、偏振、波长等,早于上世纪八十年代便有研究人员结合光学信息处理技术进行信息安全领域的研究。光学信息安全即利用近代光学理论与技术对信息进行处理或变换。随着信息量的飞速增长,传统的单幅二维图像加密无法满足目前社会日益
随着5G时代的到来,通信技术迅速发展,小型电子设备逐渐普及,由此带来的电磁污染问题也逐渐加剧。这些电磁辐射会影响到精密电子器件的正常工作,甚至对人体的健康产生危害。电磁微波吸收材料可以解决由电磁污染所引发的一系列问题。同时,5G新时代的到来也给微波吸收材料的研究提出了更高的要求,质量轻、厚度薄、吸收频带宽、损耗能力强的新型吸波材料已成为目前研究热点。金属有机框架(MOFs)材料具有多孔、质量轻、形
血管生成是器官生长和修复的关键,也与很多疾病(癌症、糖尿病等)的病理发生和进程息息相关,参与了机体多个生理和病理过程。近年来,血管生成已成为治疗多种疾病的新靶点以及生命医学领域的研究热点。磁场作为一种我们日常生活中常见的物理因子,越来越多的研究发现特定的磁场处理条件下磁场可以影响生物体,并且对一些疾病的治疗具有良好的应用前景。磁场对血管生成的效应也是磁生物学领域探索和研究方向之一。本课题研究,在细
茶叶的品质和产量容易受到茶叶病害的影响,通过对病害的预警和严重程度的估计,可以指导茶农合理地喷洒农药,从而减少经济损失和农药滥用。茶炭疽菌会阻碍茶叶的健康生长,其在安徽、浙江、江西等地产茶区的影响最为严重。随着计算机视觉与图像处理技术的进步,茶叶病害严重度估计方法逐渐从茶农、农学专家人工估计过渡到利用计算机技术对茶叶叶片图像进行自动化估计,从而减少了人力成本及主观性导致的估计偏差。然而,茶炭疽菌侵
众所周知航空航天技术是国之利器并且正在高速发展,全世界有越来越多的航天器被送入太空中,而太空中存在大量的辐射,这些辐射会对航天器的内部器件造成危害,可能使得器件的性能降低,甚至严重时会造成电子系统整体失效。而不断缩小的器件特征尺寸,又给航天器带来了更加严峻的考验,其中单粒子效应更为严重。同时各种新结构、新材料的引入又给抗单粒子效应带来了更多难题。因此,本文将会围绕BOI(Body-On-Insul
近年来,功能配合物在非线性光学领域有着独特的优点,如溶解性好、光稳定性好、易修饰和良好的生物相容性等,且组成、结构易于通过现代分析测试方法精准确定,备受科学工作者的关注。本文以多光子吸收过渡金属配合物的生物成像应用为导向,设计合成多光子吸收有机配体,通过引入四苯乙烯、二丁胺苯基、磺酸盐等基团增强配体的生物相容性,结合低毒性过渡金属离子多种自旋电子构型的结构特点,低成本制备具有生物活性的多光子吸收过
高致死率的癌症一直持续危害着人类的生命健康。为了应对癌症的威胁,结合多种治疗和成像模式的癌症协同诊疗具有很好的应用前景。过渡金属二维纳米材料由于具有独特的表面化学特性、超大的比表面积和易调节的元素组成,对其进行改性可以进一步拓展其生物应用,引起了研究人员的广泛关注。然而,一些过渡金属二维纳米材料较差的分散性、稳定性与生物相容性限制了其在生物体内的应用。因此,通过对过渡金属二维纳米材料进行表面修饰,