基于外观特征和步态特征的行人身份识别问题研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:zoudehenhao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会的不断发展和进步,城市中的监控设备覆盖率越来越高。普通监控条件下的行人外观信息(包括人脸、服装、体型)和行走的步态信息都在一定时间限度内有着较高的可靠性和稳定性。同时这些信息的采集可以非常容易的获得。因此很适合在人员较多的公共场所或注重客户体验的商店中,借助人的外观和步态等信息完成身份识别的工作。本文中首先分别对行人的外观特征提取网络和步态特征提取网络进行了研究改进。之后尝试将外观特征和步态特征进行融合,以此得到一个更鲁棒的行人身份识别系统。在外观网络方面,我们采用了一个多尺度的人体特征提取网络,其设计符合客观的人体构造。在度量学习的损失函数角度,本文提出将mini-batch中图片间的拓扑关系引入已有的三元组损失函数中,即考虑属于同一类别的两张图片在特征空间中应该拥有相似的拓扑关系网络。并由此提出了两种改进的损失函数。其中,基于“参考点”的损失函数通过引入参考图片的概念,使同一类别的图像聚类更加紧密,也减少了不同类别间的重叠问题。与基础算法相比,所提的损失函数在Market1501和Duke MTMC-Reid两个公开数据集上的m AP准确率分别提高了3.75%和5.69%。在其他图片或视频的行人重识别数据集上也取得了很好的效果。然而,行人的外观信息有时具有迷惑性,仅凭远距离拍摄的一张或几张图片在行人外观发生简单改变(穿/脱外套)、不同行人服装相似、拍摄地点光线不好等情况下难以给出可靠的结果。为此我们对步态识别问题进行了一定的了解。本文中针对跨角度的步态识别问题提出了一个基于角度的步态特征“分治”学习算法。对不同角度序列的按照概率分别通过不同的网络参数学习对应角度的特征。最终得到的特征既包括负责跨角度间信息提取的通用特征,也包括精细化提取临近角度内图片共同信息的角度特征。对于网络“分化”得到的不同特征,在训练计算损失函数时会在计算最终的距离和损失值的时候“统一”起来。并按照之前的概率对不同角度的网络参数进行不同程度的优化。改进算法在公开步态数据集中,部分测试条件下原始算法的性能有了明显提升。为了讨论外观信息和步态信息在实际监控系统中的作用和应用难点。我们从实际出发,采集了一个的小型的实际监控数据集,并在公开数据集和实际监控数据集两种情况下完成了行人轮廓提取、输入图片预处理、外观特征和步态特征提取以及融合外观与步态特征的完整流程。实验结果表明在某些测试条件下综合运用外观和步态信息对行人的身份认定起到了更有力的作用。在一定程度上,可以为外观信息与步态信息的综合实际应用提供一些借鉴意义。然而,需要承认的是,在实际的数据条件下,以当前的模型进行实际应用仍存在一些问题。我们也对当前的问题和未来需要解决的困难提出了一些思考和建议。
其他文献
近年来,随着5G、IEEE 802.11p、LTE-V2X等无线通信技术逐渐成熟,节点具备在高速环境下低延时性、高可靠性传输信息的能力,车联网成为人们研究的热点。然而,车联网在帮助车辆感知路况、制定行车方案、规避风险的同时,其智能化、网联化的特点也存在一系列安全问题,诸如存在Sybil攻击、重放攻击、虚假消息攻击的风险。本文主要针对车联网中的身份认证问题和信任管理问题展开研究,主要工作如下:在车联
根据调查显示,我国人均耕地面积只有1.64亩,仅为世界水平的50.52%。耕地面积少,加之农作物生长异常会降低产量,并影响农民收入和农作物期货市场。为了及时获知农作物的异常情况,需采用高效的方式采集农作物长势信息。本文利用农作物异常生长时,叶表面温度异常变化的特性,通过无人机配备红外传感器,使用红外热成像技术检测植株冠层温度,预测农作物异常问题。尽管无人机搭载的红外摄像机能够高效地获得农作物冠层温
车联网是建设智慧交通的重要基础,在提升道路安全和提升通行效率方面具有极大的优势,然而,传统车联网的可扩展性较差,配置不够灵活,已经无法满足于新型车联网的发展需要。软件定义车联网架构的提出能够有效解决上述问题,即在车联网中引入软件定义网络(Software Defined Network,SDN)的思想,同时还为车联网带来了可编程性和可扩展性,满足了未来不断增长的车联网应用服务需求。SDN的引入带来
盾构隧道设计过程中需要考虑水压力的影响,因此明确水压力计算方法具有较为重要的工程价值。隧道设计时水压力的计算方法通常分为折减系数法、解析法、数值分析法三大类,本文对每类方法的研究进展和不足进行了归纳总结:折减系数法和解析法一般适用于稳定渗流的简单情况;数值计算法适用范围广,但可推广性不强;并建议后续对复杂条件下隧道衬砌外水压力计算方法进行深入的研究,以便更好地应用于实践中。
太原西山地区煤矿众多,煤炭开采时间长,产生的煤矸石占用了大量的土地资源。随着对西山地区生态环境的治理,部分煤矸石污染场地重新被用于工程建设。目前,大部分的对煤矸石的研究主要集中在煤矸石中的微量有毒有害元素释放以及这些有毒有害元素在土和水体中的富集,并未对受煤矸石污染前后土体的宏观物理力学性质、微观结构及污染机理进行研究。本文主要以太原西山矿区官地矿煤矸石及矸石堆周围黄土为研究对象,通过X荧光光谱分
近年来智能监控、人机交互、智能家居、自动驾驶等领域的发展对于人物及其行为的检测与跟踪的研究提出了需求。识别和跟踪人体的骨架结构是人物动作分析的重要基础,目标检测与跟踪技术也迎来了新的发展需求——人体姿态估计与跟踪。姿态估计要求准确识别和定位图像中人体骨架关键点的位置;姿态跟踪则是利用视频中前后帧的关系检测和跟踪视频中的人体关键点。本文主要研究在自主识别目标人物基础上的单人姿态估计与跟踪,即利用目标
为保障广州地铁某区间盾构隧道正穿上软下硬灰岩地层高速涵洞桩基过程中高速涵洞的安全,选取3种不同加固处理方案进行综合比选后,采取斜向旋喷桩+筏板+复合地基加固处理方案。利用三维有限元对桥梁桩基沉降进行计算预测分析,并与盾构掘进施工监测数据进行比对分析判断。理论计算分析及施工监测结果表明:1)多角度全方位旋喷加固地层可有效避让既有桩基;调整排泥量、控制地内压力及控制喷射注浆引起的地基隆起与下沉等成桩特
数字散斑干涉(DSPI,Digital Speckle Pattern Interferometry)作为一种全场非接触式光学测量技术,在物体形变、位移、振动等物理量测量方面具有广泛的应用。而散斑干涉图像处理作为数字散斑干涉测量的关键一环,对形变测量精度、测量量程具有重要影响,因此对散斑干涉图像处理技术的研究十分重要。本文介绍了数字散斑干涉形变测量基本原理以及散斑干涉图像处理基本方法,对散斑干涉图
唇语识别是一种可以仅根据说话人的唇部运动状态中预测出说话人说话内容的技术,在计算机视觉和自然语言处理的交叉应用中具有极其重要的意义。比如在嘈杂环境中或远距离交流时唇语识别可以使用视觉信息预测说话人试图表达的内容,并可以与音频识别配合增强识别的准确率。唇语识别也可应用于音视频对齐,利用视觉特征与听觉特征的序列匹配实现对音视频的修正。另外,唇语识别还可以被应用于抵抗重放攻击的活体检测器,作为其他生物特
自动驾驶是智能交通与人工智能技术融合的交叉领域,旨在实现无人操控的智能化车辆行驶,往往需要结合多种人工智能技术。最早应用在自动驾驶系统中的技术为基于二维图像的目标检测技术,然而粗粒度的推理任务在应用中无法准确预测物体的真实形状,并且相机图像的局限性也增加了预测的不确定性。因此,探究鲁棒的三维点云数据形式结合细粒度的实例分割推理任务对自动驾驶技术的研究具有重要意义。本文的研究内容便是自动驾驶场景下基