基于自然语言的跨模态行人重识别技术研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:liuguoqiangswu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
行人重识别是近年来计算机视觉领域热度比较高的研究课题,但是一般行人重识别都是针对图像模态的单模态行人重识别,也就是以图搜图,单模态行人重识别技术是基于一个相对理想的假设,即系统拥有在充足的光照条件拍摄的高分辨率目标行人图像,但这在一些实际环境中却并不适用,由此衍生了多模态数据行人重识别的技术,也就是利用多种模态形式的行人信息完成行人的匹配搜索。行人数据存在的模态有很多种,除最常见的图像模态以外,还有很多信息可以描述行人信息,比如,文本、红外图像、深度图像和素描等,本文研究的就是基于文本信息的自然语言对图像信息进行检索的行人重识别。基于自然语言的行人重识别技术研究开始于2017年,也就是在跨模态行人重识别数据集CUHK-PEDES[10]提出之后才逐步开始发展的,但是随后提出的几个网络模型表现效果并不是很好,识别率偏低,同时CUHK-PEDES数据集本身也存在一定的采集和标注问题,这些问题都局限了研究的进一步发展。基于现有研究存在的上述问题,本论文完成的工作内容主要包含以下几个方面:(1)本文收集并标注整理了一个基于自然语言的跨模态行人重识别的数据集,该数据集基于实际监控场景,同时和现有公开数据集相比,新增500个行人身份、2000张图片和近5000条描述,有更大的数据量;(2)针对文本域和图像域跨模态行人重识别中行人的关键属性空间分布不敏感问题,本文在模型中提出了融合局部特征和全局特征的匹配模式;(3)针对常见模型对于单个单词信息和图像对的匹配程度过于敏感的问题,提出了基于名词短语和图像块的局部特征匹配的解决办法;(4)为了实现更加细粒度特征的提取,而不只是针对于图像级别的匹配,本文使用了身份级别损失函数和排序损失函数相结合的度量方式,并通过设置超参数,有机融合了两者损失函数的优点,使网络能提取到更细节化的视觉和文本特征;通过改进网络模型,分别在公开数据集CUHK-PEDES和本文提出的UESTC-CMTR数据集中进行测试,本文提出的新网络模型都以较大幅度的优势胜过现有的七种基准网络模型,具体可见实验表格,实验数据分析充分证明了所提出的框架在行人跨模态重识别任务相关数据集上的有效性。
其他文献
幸福是人类终其一生的目标,是恒久一致的追求。目前在我国政治经济的转型期间,贫富差距比较明显,各类社会问题开始显露,这势必会影响国民的整体幸福水平,因此,国家政府、新闻媒体以及社会各层次把越来越多的注意力放在国民幸福大计上。媒介作为人们认知世界的窗口,很大程度上会左右人们对生活满意度的判断,影响人们的主观幸福水平。尤其近年来,信息科技发展速度迅猛,以互联网为代表的新媒介技术迅速崛起,结合一直居于主导
硅光子集成回路依托于CMOS工艺平台,在设计方法、仿真工具和工艺流程等方面很大程度上可以借鉴和参考微电子集成电路,因此近年来硅光子集成回路得到了迅速的发展。然而,硅光集成芯片在器件性能、版图特点和制作工艺等方面与微电子集成电路依然存在差异,技术尚不成熟,其大规模制造存在一定瓶颈。光栅耦合器作为硅光子集成回路与光纤、激光器等芯片之间光耦合的接口,是硅光子集成回路中重要的无源光学元件之一。本文将以光栅
高新技术作为促进国家经济转型发展及提高国际竞争力的重要支撑手段,日益成为各国竞相发展的关键领域,我国经济的高质量发展也需要高新技术企业的大力支持。但是,由于高新技术具有显著的正外部性特征,其发展不能完全由市场调配,需要政府这只“看得见的手”的支持和引导,其中政府最常用的政策支持手段就是财税激励政策。此外,企业的发展离不开企业的投资活动,而高新技术企业的投资不同于传统企业,具有高投入性和高风险性,其
伴随着5G无线通信技术的逐步应用与完善,5G前传网对光模块的性能需求也越来越高。目前5G接入网巨大的通信带宽需求、密集的部署密度以及室外通信设备运行带来的高温都对光模块的性能提出了更高的要求。在5G接入网的应用中,采用单波25G光模块组成的前传网无法完全满足网络设计与应用的需求。为了满足5G前传网的设计与建设、对现有接入网的改造升级等需求,QSFP28-4WDM-LR光模块的应用势在必行。本文主要
随着5G通信网络建设的逐步展开,5G前传网关网络的组建形式更加多元化。5G前传网络中通信设备部署形式多样,部署密度大。同时5G网络巨大的带宽也对组网带来了巨大的压力。当前5G接入网主流的光通信方案采用的是双纤SFP28光模块直连的方案,该方案纤芯使用率较低,连接较为复杂,且应用于旧网改造升级时纤芯利用率提升不明显,为改善5G前传网中现存在的问题,提升纤芯利用率,WDM(波分复用)技术的应用最为简单
学位
自20世纪以来,生物医药产业发展势头迅猛,以基因工程、细胞工程为代表的生物技术深刻地改变着人们对于疾病的预防与控制模式,已被全球多国作为国家重点发展的战略性产业。我国也不例外,在国家的大力支持下,我国生物医药产业的发展取得了一定成效,根据中研网报告,2016年到2019年,我国生物医药市场总体规模从1836亿元增加到3172亿元,年均复合增长率达20%。生物医药产业作为具有重要战略地位的产业,创新
为进一步优化细胞外基质,建立胚胎干细胞(embryonic stem cells,ESCs)稳定的体外培养体系,试验分别采用小鼠胚胎成纤维细胞(mouse embryonic fibroblasts,MEFs)饲养层、基质胶(Matrigel)和贴附因子(attachment factor,AF)细胞培养板,以N2B27为基础培养基,评估和比较不同处理对小鼠ESCs(mESCs)自我更新及多能性维
学位