基于多任务学习的场景识别研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:kyoukini
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
场景识别是机器人环境理解和行为规划的基础,对人类的便捷生活也有着巨大的应用价值,是计算机视觉的重要研究方向。相比于其他计算机视觉任务而言,场景图像具有更高的类间相似性及类内差异性等问题,使用一般的分类方法处理场景识别问题比较困难。目前场景识别的研究多集中在局部特征的增强来提升场景识别效果,而这些方法大多需要较好的局部监督信息,实现比较复杂。本文旨在通过对场景与物体的相关性研究,提出更高效的场景识别方案。本论文创新性地使用多任务学习的方法来研究场景识别问题,使用单个网络同时处理场景识别和物体识别任务,实现其特征共享和相互促进,以提升场景识别率。首先,本论文对场景与物体识别关系进行了研究。通过对数据集,研究方法以及场景与物体在CNN内部的关系等方面进行了研究,发现显著性物体对场景识别具有重要影响,同时场景识别模型具备无监督的物体定位能力,得出场景与物体具有高度关联性的结论。场景与物体是同一现象的不同描述,将场景识别与物体识别问题同时处理具有可操作性。其次,通过对单任务场景识别进行研究,验证所提出的SceneBlock等网络对场景识别问题的适用性。设计了 SceneNet网络来实现单任务场景识别,SceneNet由基本单元SceneBlock组成,该结构是在ResNet网络直连结构(shortcut)上的创新,提出具有门控单元的直连结构SceneBlock。同时,SceneNet通过全局平均池化(GAP)层来保存网络的定位能力。实验结果显示,所提出的SceneBlock结构具有更丰富特征提取功能,GAP结构对保持网络定位能力具有有效性,同时SceneNet对场景识别效果具有显著提升。最后,通过场景与物体识别相关性的特征,提出使用多任务学习的策略同时训练场景和物体识别模型,并在SceneNet网络基础上提出SceneObj-CNN来实现多任务学习。该网络具备更丰富的特征提取功能,场景与物体识别任务共享中低层特征,通过场景模型无监督物体定位能力提升物体识别效果,同时利用物体类别进行局部特性监督,促进场景识别效果。最终的实验结果显示,多任务学习的方法对提升场景识别效果具有显著作用,同时能实现物体识别。所提出的网络结构和实验方法对场景识别和物体识别问题都有借鉴意义。
其他文献
ERT技术具有低成本、非入侵和响应速度快等特点,是目前两/多相流检测领域的研究热点之一。三维ERT系统实现对被测物场三维信息的检测,解决了二维ERT系统对物场中离散相的几何形状、相对位置、空间分布等三维信息提取不足,具有重要的研究价值。目前三维ERT系统普遍存在着测量精度低和实时性差的问题,其严重降低了重建图像质量。本文以三维ERT测量系统为研究对象,针对三维ERT系统极板边界电压微弱、动态范围大
架空输电线路的安全、可靠是保证电力输送系统运行的保障。而架空输电线路因外界环境等各类因素而导致线路故障,对电力系统的安全运行造成威胁,引发的事故和损失也越来越大,为了保证架空输电线路的安全运行,就必须加强对架空输电线路的运行与维护。架空输电线路的检测主要以人工和直升机巡检方式为主,此类检测方式存在成本高、劳动强度大和效率低等缺点。近年来,很多研究机构对架空输电线路巡检机器人做了很多研究,但是实际应
随着“美丽乡村”建设的如火如荼开展,对于传统村落的关注度在近年来持续走高。历经百年变迁仍保留旧时风貌与民俗文化的传统村落,以传统文化与村民的凝聚力作为传统延续的内生动力缓慢进化演变。但在乡村振兴的时代背景下,如何以最妥善的理论与最小程度的介入方式进行传统村落的保护与更新成为颇受争议的议题。闽南传统村落因其历史文化价值得到了学术界的广泛关注,本文以闽南村落文化的集大成者——诚峰村为研究对象,用典型个
量化工程环境中的不确定因素对机构运动轨迹的影响,结合误差界限来评价机构失效概率的过程被称为机构的运动精度可靠性分析。工程实际中,为了对机构的运动轨迹进行整体评价,通常将连续的轨迹离散为一系列的机构位置,直接对这些位置的最大误差进行系统可靠性分析。由于获取极值函数时执行了导致函数不规则的操作,造成了极值统计量的求解困难,因此需要发展出更为精确、高效的可靠性算法来处理这类基于极值函数的可靠性模型。本文
高炉炼铁是钢铁工业的重要生产环节,是现代炼铁的最主要方式。高炉炼铁需要准确判断整个高炉运行态势,及时调整布料制度、热风制度等相关操作制度及工艺参数,使炉内煤气分布合理、热量充分利用、渣铁顺利排放,实现高炉生产的优质、高产、低耗和长寿运行。但是,高炉内部存在复杂的物理化学反应,高温高压,强耦合,非线性,工况时变且存在固、液、气多态,冶炼环境十分恶劣,难以对其进行实时监测和有效控制。目前,出铁口的铁水
我国作为农业大国,秸秆产量位居世界首位,其中水稻秸秆为1.15亿吨。然而废弃秸秆大部分直接在田间就地焚烧,既浪费了资源又造成了环境污染。随着现代农业的高速发展,秸秆还田机的研究变得越来越重要。秸秆还田机的功耗也一直是国内外学者们的研究热点,以降低功耗为目标,对秸秆还田机主要工作部件的重要参数进行优化设计。作为一种现代机械优化设计方法,遗传算法的研究热度不减,而且随着优化问题的变化,遗传算法的机理也
随着我国轨道交通行业的飞速发展,高速、舒适、节能、环保的发展理念成为了轨道交通运输业发展的重要议题。枕梁作为地铁车体的重要承载结构,在地铁安全评估中起着十分重要的作用。由于结构在焊接过程中的不均匀受热,通常会使材料的均匀性以及材料参数发生改变,同时,伴随着焊接残余应力的产生,焊缝部位相比于其他位置更容易产生局部裂纹。本文以车体铝合金焊接结构为研究对象,对典型焊接接头的残余应力、材料参数进行了测试,
夹层板结构具有较高的弯曲刚度重量比,在相同边界、加载条件下,它比单层金属板有更小的横向变形、更高的屈曲阻力和更高的固有频率。因此,通过合理设计夹层板厚度,可以在整体重量较低的情况下,得到类似单层金属板强度和屈曲性能的夹层结构。同时,考虑到材料属性广泛存在着空间随机性的特点,本文利用随机有限元方法,研究车身轻量化的工作,主要研究内容包括:(1)单层板与夹层板模型建立与分析基于单层板与夹层板的理论分析
在计算材料学领域基于反应力场的分子动力学模拟方法扮演着非常重要的角色,反应力场的质量将直接影响到最终的性质结论的准确性,因此如何获得高质量的反应力场成为计算材料学领域中一个非常重要的研究课题。由于反应力场形式复杂不易确定,只能通过将其参数化然后对参数进行优化的方法来获取最优反应力场参数,这需要付出更大的计算代价并且严重影响最终获得的反应力场质量。针对当前反应力场参数优化方法中所存在的问题,本文对国
混合动力系统是一类以两种或两种以上驱动系统进行结合,功率质量比大、效率高、环境友好的新型驱动系统,目前在汽车领域逐步普及,在机器人领域也不断扩大应用。可穿戴助力机器人是一种通过人机交互实现运动控制的机器人,在军事国防、医疗康复、农业运输、工业生产等方面都有着十分重要及广泛的应用需求。而针对搬运任务的助力机器人是其中一个重要的研究方向,其目标在于减轻从事搬运工作的劳动人员肢体在重复动作过程中的肌肉负