基于多模态联合学习的可见光-红外行人再识别

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:rockykimi81
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,由于公共安全的迫切需求,安防行业蓬勃发展,但是多数安防管理仍然以低效率的人防为主,智能的监控系统亟需被构建,而行人再识别技术是其不可或缺的关键技术之一,已成为计算机视觉领域的研究热点。行人再识别是非重叠视域中特定行人的检索问题,即判断在某个摄像机中出现的特定行人是否出现在其他摄像机中。目前,监控摄像机一般采用可见光-红外双模式交替以实现全时段的日夜运行,由于实际应用需要,可见光-红外行人再识别任务兴起。现有的可见光-红外行人再识别工作采用了多种新颖方法处理这一难题,其大致可以分为三类:直接提取特征,损失函数改进和模态相互生成。模态生成方法避免了前两者易受模型参数变化影响,然而这些方法通常基于空间域进行可见光和红外模态间的直接生成,不可避免地损坏原始图像信息。对此,本文从光谱差异和频域变换的角度,提出了一种可见光-频域模拟多光谱-红外三模态联合学习方法,其中借助非下采样轮廓波变换进行频域变换,并与轻量级神经网络合作,生成频域模拟多光谱(Frequency-domain simulated multispectral,FSMS)模态,将其作为过渡模态缩小了可见光和红外模态间光谱差异跨度。通过对可见光图像通道的重建,利用了图像频域中包含的关键频谱信息和边缘信息,且避免了破坏原始图像的空间结构。此外,为了进一步挖掘多模态联合学习模式的性能潜力,本文进一步设计了不同于常见单流网络和双流网络的三重网络结构,其包含三条支路,中介模态支路与可见光支路共享网络参数,与红外支路共享深层参数。并且,提出多项新颖约束,包括:a)自适应权重的三模态异构检索(THR)损失;b)模态共享分类(MSI)损失;c)跨模态不变(CMI)约束;d)模态内正则项,通过以上约束来促进跨模态不变的辨别性特征提取,稳定和加速模型的收敛过程。最后,通过在主流数据集SYSU-MMO1和Reg DB数据集上的广泛实验证明了上述方法对于可见光-红外行人再识别的有效性。
其他文献
以“大智移云”为特征的新一代信息技术的快速发展,给交通管理的信息化、智能化和科学化提供了新的机遇和挑战。国家《交通强国建设纲要》、《“十四五”现代综合交通运输体系发展规划》、《数字交通“十四五”发展规划》中明确提出,要利用大数据、人工智能、机器学习等新一代信息技术提升交通安全应急保障能力,强化交通应急救援能力。对受损路网进行合理的修复以快速打通救援生命线,保障救援队伍和应急物资能够及时输送到各需求
学位
基于文本的行人搜索技术是根据行人文本描述从图像库中匹配目标行人。行人搜索在实际应用中,会面临目标行人查询图像难以获取的问题。因此基于文本的行人搜索可以根据目击者的口头描述进行搜寻。与基于图像的行人搜索相比,它的方式更加灵活和人性化,因此成为学术界新的研究热点问题。该任务与跨模态检索任务类似,都是通过文本检索出相关图像。但是基于文本的行人搜索面临行人图像分辨率低,行人之间类间差别小等挑战,因此必须学
学位
近年来,随着现代雷达、电子对抗和通信等技术的发展,对于微波收发系统的性能也提出了更高的要求。频率源作为收发系统的核心部件,其技术指标要求也愈来愈高,并且在不同的应用场景中,对于频率源的特点需求也有所区分和侧重。在雷达及信息对抗系统中,频率源作为提供本振信号的核心部件,跳频时间直接影响目标搜索能力和抗干扰能力等关键性能。因此,具备频率捷变能力的频率源受到了广泛的关注。本文从频率源的技术基础出发,论述
学位
新体制雷达一般都综合运用多种抗干扰技术,如发射相干的信号波形和利用空间分集技术,根据接收信号在脉内、脉间和空域的相干性差异,可有效抑制干扰,对雷达干扰技术的研究提出了严峻的挑战。针对目前多假目标欺骗干扰方法对抗新体制雷达存在的问题与不足,本文以掩护重要目标为应用背景,以新体制雷达有源干扰为切入点,以理论推导和实验仿真为技术手段,深入研究了基于周期多相位调制的新体制雷达干扰方法。主要研究内容如下:(
学位
随着我国居民对供电质量要求的逐步提高,配电网的发展也面临着新的挑战。智能配变终端是配电网自动化建设中的核心设备,其性能将直接影响到配电网的供电质量。但配变终端所面临的问题仍有不少,其中如何优化配电台区自动化管理成为了目前亟待解决的问题。结合当前配变终端存在的问题,本文提出了智能配变终端管理平台的设计方案和实现方法。智能配变终端管理平台总体采用B/S架构,前端采用Vue.js框架实现,界面设计选用E
学位
学位
随着无线设备的广泛部署,使用Wi Fi信号进行人体动作识别,在人机交互等领域起到重要作用。现有的方法针对不同场景下对同一套动作的识别准确率存在差异的问题,提出利用大量的动作数据对模型进行训练。但是,人工收集大量数据耗时耗力,并且模型对大量数据训练时会导致训练周期变长。本文利用迁移学习和少样本学习方法解决上述问题,论文主要工作如下:信道状态信息受环境影响会产生不同的变化,这会导致在不同时间或不同人做
学位
随着具备多种编辑功能的音频软件的广泛流行,非专业人员为了私人目的也可以随意便捷的对音频文件进行各种编辑甚至是恶意篡改,这给检测音频的真实性带来了巨大的挑战。其中,同源复制粘贴篡改和异源拼接篡改是改变音频原始含义最重要的两种篡改方式。同源复制粘贴篡改操作是将原始音频中的某部分信息复制并粘贴到该音频的其他部分,因此原始片段与篡改片段之间高度的相似性致使检测十分困难。异源拼接篡改操作是将两段不同设备录制
学位
近年来,随着新能源汽车大规模接入电网,对电网调节能力以及能源储备的要求不断提高。全球能源短缺问题的日益凸显以及人类环保意识的日益提高,促使绿色能源开发强度不断增大。自中国在第七十五届联合国大会上提出碳达峰、碳中和的“双碳”目标以来,世界各国有关于能源转型路径的关键判断趋于一致。为了能够早日实现“双碳”目标、提高能源储备量,增强能源系统的储备与调节能力显得尤为重要。本文以车网协同技术为基础,结合主流
学位
边缘智能作为边缘计算与人工智能的结合,旨在将人工智能应用推向靠近终端的网络边缘。以深度神经网络模型(DNN)为核心的人工智能应用在边缘智能场景中存在计算时延高的问题,所以在此场景下对DNN计算进行加速是目前的研究热点。模型分割作为一种新兴技术,能有效地减少DNN的推理时长,但目前的研究仍然具有不足之处。本文研究了在“端-边”二层架构和“端-边-云”三层架构下的模型分割调度策略,针对具有截止期限的D
学位