【摘 要】
：
随着深度学习和计算机视觉的高速发展,人们越来越需要深入理解图像。人-物交互检测是计算机视觉领域继目标检测、场景分割和目标追踪后的又一基础任务,该项任务的目标是定位并且推理图像中人与其周围物体的交互关系,对理解人类行为至关重要。人-物交互检测的难点主要在于机器无法知道人具体和哪些物体存在交互关系,现有方法常常对大量非交互对也进行了推理。此外,现有方法常常受到训练样本长尾分布的影响而损失检测效果。针对
论文部分内容阅读
随着深度学习和计算机视觉的高速发展,人们越来越需要深入理解图像。人-物交互检测是计算机视觉领域继目标检测、场景分割和目标追踪后的又一基础任务,该项任务的目标是定位并且推理图像中人与其周围物体的交互关系,对理解人类行为至关重要。人-物交互检测的难点主要在于机器无法知道人具体和哪些物体存在交互关系,现有方法常常对大量非交互对也进行了推理。此外,现有方法常常受到训练样本长尾分布的影响而损失检测效果。针对以上问题,本文基于双阶段检测方法进行了一系列研究,主要内容如下:1、阐述了人-物交互检测的主要任务和基本方法。针对人-物交互检测系统性的介绍了双阶段检测和一阶段检测方法,包括它们的检测流程、经典方法和优缺点。然后详细介绍了人-物交互检测的评价标准和数据集。2、针对现有方法对非交互对进行推理的问题,本文提出了一种基于关系推理的交互实例推荐网络来适应人-物交互检测任务,利用人和物体的视觉关系中潜在的交互关系来推荐人-物对。此外,本文还设计了一个跨模态信息融合模块,对不同的上下文信息根据其对检测结果的影响程度进行融合,以此提高检测精度。3、针对现有方法受到训练样本长尾分布的问题,本文提出了一种零次学习人-物交互检测方法来解决。首先,本文训练一种视觉-语义嵌入空间来学习各交互类别的视觉特征和语义特征之间的相似性,并利用这种相似性由可见类别预测不可见类别。其次,本文构建了一种交互知识矩阵,通过先验的交互知识来抑制非法的交互对,有效的提升了零次学习人-物交互检测的效果。4、本文在HICO-DET和V-COCO数据集上进行了充分的实验来验证所提出的方法,并与若干种现有方法进行了对比,结果表明,本文所提出的两种方法检测准确率均有提升,证明了本文方法的有效性。此外,本文还对提出的各模块进行了完备的消融实验,结果表明,本文所提出的各模块均达到了应有的效果。
其他文献
中国聚变工程实验堆（CFETR）是中国自主设计和研制的衔接EAST和ITER的下一代聚变反应堆。CFETR堆芯部件运行在,高温、强磁场、中子辐照的恶劣环境下,其结构造成不同程度的损伤甚至是失效,严重时影响装置的正常运行。为了确保聚变堆的安全运行,需要定期对堆芯部件进行维护。遥操作是替代人工在恶劣环境下对内部部件进行远程维修的技术。在此背景下,中国科学院等离子体物理研究所遥操作维护团队设计了一款多功
强化学习作为机器学习的重要分支,因其良好的决策能力,近年来受到了广泛关注。将强化学习融合到多智能体系统形成了多智能体强化学习,其已经成为人工智能领域的研究热点。传统的多智能体强化学习算法仅考虑外在动机,即根据环境的外在奖励引导智能体进行策略学习。当外在奖励稀疏或分配不明时,会导致智能体学习缓慢甚至无法学习到有效策略,这就是多智能体强化学习普遍存在的稀疏奖励问题和全局奖励贡献分配问题。本文提出了基于
区块链通过可追溯的分布式账本和非对称加密技术等手段,在不依赖于任何第三方可信机构的前提下,解决了分布式信任问题。因此,基于区块链提供可信的物联网数据已受到了越来越多的关注。共识作为区块链中的核心,需要大量的计算资源,因此资源有限的终端设备无法进行共识。将终端设备的计算任务卸载给边缘计算服务提供商（ESP）或云计算服务提供商（CSP）被认为是移动区块链共识的一种可行的解决方案。本文研究了基于区块链的
传统的视觉同时定位与建图（Simultaneous Localization and Mapping,SLAM）无法完成与环境之间的交互任务,而且当环境中存在动态物体时,系统的定位精度会大幅下降,融合了语义信息的SLAM系统能够较好地解决上述问题。获取周围环境中的语义信息是语义SLAM的重要任务,然而,采用语义分割或实例分割网络会影响系统的时间性能,采用目标检测方法又会损失一部分精度。因此,本文提
对话问题生成旨在根据给定长文本和对话历史生成对话式问题。在日常生活中,对话式问答更为常见,人们之间进行连续问答来传递信息。对话问题生成可广泛应用于教育、医疗和商业服务等领域,具有较大的应用前景。目前研究对话问题生成的主流方法是基于深度学习技术设计神经网络模型,然而模型生成的对话问题距离应用仍有很大的差距。本文主要基于序列到序列模型和预训练模型来分析如何提升对话问题生成的性能,本文主要的工作如下:（
随着无线通信技术和先进传感器制造技术的发展,车载自组织网络（Vehicular Ad hoc Networks,VANETs）中的V2V通信越来越受到业界和学术界的关注。这种以高速移动的车辆为通信节点的无线通信机制受到信道资源有限和网络拓扑结构不稳定的限制。为有效提高网络性能和通信的稳定,本文首先在对车辆进行分簇的前提下,通过合理控制车辆在高节点密度环境下的通信发射功率,提出一种基于串行干扰消除（
小样本语义分割的目的是在仅有少量带标注的训练数据可用的情景下训练模型,让模型学习到具有通用性的分割能力,从而在新类上也能保持较好的分割效果。现有的小样本语义分割模型往往使用单一原型描述整个类别,然而由于样本量匮乏和类内变化的存在,生成的单一原型往往不具有代表性,存在语义模糊的问题。此外现有方法使用全局平均池化提取类别原型,忽略了对于背景信息的使用,然而前景和背景特征之间往往存在语义关联。针对以上问
在互联网技术高速发展的当代,各行业领域在日常的生产生活中都产生了海量数据,而能够有效挖掘数据信息且进行形式化表达的因果关系发现问题已成为当前学术界的研究热点之一。因果发现被广泛应用于生物医疗、故障检测和自然语言理解等领域。然而,目前的因果发现算法不能有效地处理服从非线性非高斯分布的连续数据集,大多存在精度一般、计算方式复杂及时间成本高等不足。为此,本文主要研究了加性噪声模型下基于相关系数的因果结构
小样本学习旨在训练一个具有良好泛化性能的模型,在样本数量极少时仍具有良好的分类效果。小样本学习方法主要包括数据增强、元学习、多模态融合以及度量学习四类方法。大多数度量学习的模型仅仅关注图像实例级别或者类级别的特征,却忽视了图像的局部细节特征。近年来,许多基于局部描述子的度量网络充分考虑了图片像素级别的局部细节特征,但仍然存在着局部描述子之间缺乏关联性以及分类器易受局部噪声干扰的问题,因此本文对基于
铁路道岔是一种使机车从一股道转入另一股道的线路连接设备,列车行驶中出现的挤岔、脱轨事故多由驾驶员对道岔状态的错误判断引起。因此利用计算机视觉实现道岔场景的准确识别对列车无人行驶和铁路运输智能化发展具有重要意义。传统的铁路道岔分类算法受制于铁路环境复杂等原因,在分类速度和准确度方面不尽人意;而基于深度学习的铁路道岔分类模型一般在高能见度条件下进行大量数据标注和训练,虽克服了人工特征提取的弊端,但是在