基于语义信息和注意力的行人重识别表征学习研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:averyhut
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今社会对公共安全的意识愈发强烈、需求愈加迫切。以安防系统采集到的视频数据为基础的行人检测和行人重识别研究在维护公共安全等方面有重大的应用价值。相比于传统人工方法,行人重识别算法在从海量数据中检索特定人员的任务中有着节省人力、提升效率等巨大优势。因此,对行人重识别进行充分的研究具有十分重要的理论价值和实际价值。近年来,基于卷积神经网络的行人重识别研究取得了一定的进展。数据集方面,Market-1501、DukeMTMC-reID和MSMT17等大型数据集相继被提出;算法方面,表征学习和度量学习两大分支下各种巧妙而有效的研究进行的如火如荼。但是由于行人重识别固有的检索难度以及姿态、光照、遮挡等外部问题导致其研究距离实际应用还有一定的距离。就表征学习方向而言,研究者们利用全局和局部特征时往往没有考虑到行人区域本身有一定的细粒度信息以及网络的层级信息。另外,注意力模型在行人重识别领域也被证明对从行人框背景中分离出行人是有效的,但是往往模型中注意力掩膜的获得比较笼统,并没有针对位置的权重做编码。针对以上问题,本文在前人研究的基础上进行了拓展性的探索。在行人语义信息的探索上,本文针对行人属性和卷积层的层级信息加以利用;另外,提出了一个利用平面间相对位置关系的注意力模块。本文所有的网络结构均在包括Market-1501、DukeMTMC-reID和MSMT17三大数据集上进行了充足的实验论证其可行性和有效性。具体工作分为如下两方面:1.考虑到行人的属性对于识别行人具有鲁棒性和参考价值,提出了一个多分支多任务模型,即基于部件的属性感知网络(PAAN),以充分利用全局可见的行人类别标签和行人属性标签。其中一个属性分支可以进行行人属性识别,另一个分支用以预测行人类别标签。在属性分支中利用提出的分层划分策略,抽取适当位置的行人表征预测不同的属性类别。总的目标函数由两个分支的交叉熵损失通过系数线性偶合。此外,为了增强网络分支前的共享卷积层的行人表征,设计了一个语义桥架构,用以融合卷积层中高层的语义信息。2.为了使所学习到的行人表征更加精确,本文提出了一个弱空间注意力模块(WSAM)。此模块主要通过格拉姆矩阵得到模块输入各空间位置的相对重要性,以此为掩膜作为输入的权重,最后得到的输出通过可学习的参数线性组合进模块的输出。通过对模块的可视化分析可以看出模块的输出相比输入在定位行人位置上更加准确,印证了模块设计的初衷。此模块可以方便的集成到基础网络的各个卷积层中,提高行人重识别检索性能。
其他文献
目的:回顾性研究分析经食道超声心动图引导行室、房间隔缺损外科微创封堵术的手术效果,并就相关手术经验加以总结。方法:回顾性分析南昌大学第一附属医院心脏大血管外科2009年10月至2019年10月间928例在食道超声引导下经胸或经皮-股静脉途径(以下简称经皮途径)行室间隔缺损(Ventricular septal defect,VSD)、房间隔缺损(Atrial septal defect,ASD)外
「だらけ」与「まみれ」的用法,有相似之处,也有细微的不同。仅靠词典的简单解释,学生在做能力测试题时,很难正确判断。本文基于「少納言」「現代日本語書き言葉均衡コーパス
<正> 一农作物品种资源的抗逆性鉴定是品种资源工作的重要研究内容之一。评价不同品种的抗逆特性,对于充分利用种质资源具有十分重要的意义。农作物品种抗逆性鉴定的研究是一
《瞭望》周刊披露梁耀华走私集团犯罪事实的长篇报道中,有一个细节引起广泛关注。梁耀华曾经在风光秀丽的白云山上搞了一处建筑,作为腐蚀拉拢包括公安部原副部长李纪周在内的一
通过Solidedge对采煤机摇臂柔性轴三维建模,采用ANSYS对其有限元分析。通过加载、求解,得到了柔性轴动态及静态应力、应变云图,并对相应云图做了详尽分析。为优化设计采煤机
本英汉翻译实践报告选取了由温迪·霍尔姆斯(Wendy Holmes)编写,并由美国库马瑞出版社(Kumarian Press)于2003年出版的《保护未来:对无家可归及受战争影响地区人群的艾滋病防
目的:探讨置入微型钛板的C3-7颈椎后路单开门椎板成形术(cervical open-door expansive laminoplasty,LAMP)治疗多节段颈椎病(multilevel cervical spondylotic myelopathy,mCSM)和颈椎后纵韧带骨化症(cervical ossification of posterior longitudinal ligament
雷蒙德·卡佛(1938-1988)是一位美国短篇小说家和诗人,在20世纪七八十年代,他的五部短篇小说集为美国短篇小说的复兴做出极大贡献。《大教堂》(1983年)为其第三部短篇小说集,侧重反映主人公们情感焦虑和精神交流,与其它作品相比,少了些阴郁和束缚。此外,《大教堂》以极为平静的笔触,着眼于草根阶层的日常生活,描写他们的家庭困境和内心的挣扎,反映出卡佛对战后美国社会中困惑的人们的关注,因为卡佛也是
唐代家具可谓我国家具史上最耀眼的明珠之一,在唐代家具装饰工艺所囊括的各种技法中,相较雕刻和镶嵌,唐代家具的彩绘装饰技法还未能引起大量重视,其彩绘工艺中有部分因故未能流传下来,导致存在大量内容亟待发掘,从而具有一定的研究空间与研究价值。日本在唐朝时期倾心学习中国文化艺术,因此保存在日本正仓院的一批制造时间约在7-9世纪的唐式家具藏品成为了研究我国唐代时期相关艺术的不二之选。本文力图全面审视唐代家具彩
「和語」是日本固有的词语。「ぅま(馬)」「ぅめ(梅)」「ゃなぎ(柳)」这样的从中国古代传入的词语以及「てち(寺)」「かさ(笠)」「しま(島)」这样的从朝鲜传入的词语也属于「和語」。
期刊