基于无监督深度学习的视觉里程计技术研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:ok695304259
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉里程计通过分析处理图像序列来感知周围场景的三维信息,并确定运动相机的位姿,在机器人定位导航、自动驾驶,虚拟现实、增强现实和三维重建等领域都发挥着基础性的作用。近年来,深度学习与卷积神经网络在图像识别与跟踪等计算机视觉领域取得巨大成功,这也使得研究人员开始将深度学习应用于视觉里程计的技术研究中。本文对基于无监督深度学习方法的视觉里程计进行研究,设计了一个能同时完成场景深度估计与相机位姿估计任务的网络框架,并在设计过程中,对现有方法存在的问题,完成了有针对性的优化工作。本文工作具体内容与创新性归纳如下:1.提出一种基于遮挡掩码的深度估计优化方法。现有方法在使用图像重建损失函数对网络进行训练的过程中,忽略了空间域左右图像对之间遮挡区域存在的错误图像重建现象,而这一现象会带来损失函数的计算误差,进而影响最终训练好的网络框架的深度估计性能。为解决这一问题,本文提出一种二进制遮挡掩码的计算方法,并利用该掩码优化整体框架空间域的图像重建损失函数,将遮挡区域从损失函数计算中滤除,以消除遮挡区域带来的不利影响,从而提升深度估计的性能。利用KITTI公共数据集进行实验,实验结果表明此方法使得本文框架在场景深度估计各项性能指标上,相比现有同类方法均有较大幅度的提升。同时,位姿估计性能指标也能得到提升,表明利用此方法得到的更优的深度估计结果能够间接提升框架的位姿估计性能。2.提出一种基于光流的位姿估计优化方法。作为图像间的估计任务,相邻时刻图像间的像素匹配信息对位姿估计十分重要,而现有方法中的位姿估计网络更趋向于对图像中纹理特征的提取,导致网络的位姿估计性能不理想。为解决这一问题,本文的位姿估计网络在包含特征提取模块与位姿估计子模块的基础上,增设光流估计子模块作为辅助模块。光流估计与位姿估计子模块共享特征提取模块,并设计相应的时间域损失函数,采用联合训练的方式引导特征提取模块能够获取更多适合于位姿估计任务的像素匹配信息。在KITTI公共数据集上的实验结果表明此方法能较大幅度提升本文框架的位姿估计性能。同时利用Malaga-Urban公共数据集以及Uav-Town无人机场景数据集进行实验,本文框架也能取得较好的位姿估计结果,表明此方法能够提升位姿估计网络在不同场景中的泛化能力。
其他文献
助听器是医学界广泛认可的听障患者听力干预和康复的有效手段之一。目前助听器的听力改善效果并不理想,其中一个主要原因是置身于复杂多样的声音环境通常会使得助听器的性能出现很大的偏差,为了解决此问题需要对音频环境进行可靠的检测,为助听器根据不同场景进行自动切换提供环境信息。基于此本文提出了一种用于数字助听器的自动声场景分类算法。本文对目前使用的特征提取方法和特征分类方法进行了研究,提出了一种由基于全相位滤
随着自动驾驶、军事等领域对高速、高精度传感器需求的进一步提高,传统逐帧扫描图像传感器时间误差大、数据冗余等一系列缺点逐渐暴露出来。随后人们提出仿生图像传感器的概念,并且脉冲型仿生图像传感器与传统逐帧扫描图像传感器相比,具有冗余数据少、时间精度高和功耗低等优势,可应用于动态检测和高速目标追踪等领域。然而,随着传感器阵列增大和场景复杂度提升,脉冲型仿生图像传感器的输出时间误差和光强量化误差开始增大,并
随着CMOS图像传感器(CMOS Image Sensor,CIS)技术的不断发展,CIS如今已被广泛应用于各种成像领域。但典型的滚筒快门CIS在拍摄高速运动的物体时存在固有的图像失真问题,而这种问题在全局快门CIS中得到了很好的解决。因此,全局快门CIS在机器视觉、工业测量等领域具有极其重要的应用价值。但随着全局快门CIS中像素阵列的不断扩大,其设计复杂度也逐渐增加,从而导致了一系列非理想效应。
近年来,深度学习凭借其特有的优势,在计算机视觉等多个领域被广泛关注。本文概述了机器学习、深度学习及其相关算法,分析了经典的神经网络模型,并且详细介绍了常见特征提取算法和数据处理技术。本文建立了一种多源深度迁移学习分类模型MS-DTL,该模型在对深度学习算法创新的基础上,充分发挥了迁移学习的优势。为在源域中实现多任务学习的目标,模型MS-DTL采用多源训练策略,通过增加训练数据多样性,来提高预训练模
党的十八大以来,以习近平同志为核心的党中央高度重视教育工作。党中央、国务院不仅出台了一系列深化教育改革、推动教育发展的方针政策,习总书记也发表了一系列关于教育的重要论述,为新时期教育的发展指引了前进方向,提供了根本遵循。2014年5月30日,习总书记参加北京市海淀区民族小学庆祝"六一"国际儿童节活动时发表重要讲话,他要求:"学校要把德育放在更加重要的位置,全面加强校风、师德建设,
期刊
随着机器人技术的普及和发展,机器人的应用场景也在不断扩大。为了适应复杂多变的环境并能自主完成任务,机器人必须具备同步定位与地图构建(SLAM)能力。光束平差法(BA)是SLAM技术中最有效的一种解决方案,但是其庞大计算量带来的高延迟和高功耗的问题制约了其在嵌入式系统中的应用。为解决这一问题,本文在光束平差法的硬件设计上做了先行的探索。本文提出并实现了光束平差法的FPGA加速器。针对光束平差算法中计
风格迁移是计算机视觉中极具创造性的一个领域,随着深度学习重回大众视野,大量的神经网络结构被用于这一领域的探索。虽然优秀的相关算法不断面世,但是距离高效率的,有鲁棒性和泛化性的模型仍然有巨大的提升空间。一是在局部风格迁移过程中,如何平衡图像的语义内容信息和风格特征信息,高效率地获得迁移结果;二是如何在不同层级的特征空间整合有效信息,处理多域的风格迁移问题。针对这两点,本文基于神经网络提出两种改进的风
随着数据采集技术的发展,获取数据的方式越来越多样化,所得到数据通常具有多个视图,从而形成多视图数据。如何高效利用多视图数据所包含的信息进行学习是多视图学习的研究目标。为了更好地利用多视图数据,促进多视图学习在实际中的应用,必须要考虑多变量相关性。针对单视图数据的多变量相关性问题,本文基于单输入单输出的矩阵信息通道,提出了多变量输入的张量信息通道,该通道可以研究多变量如何共享信息,与矩阵信息通道相比
近年来,多智能体系统在许多领域都有广泛应用,比如无人飞行器的协同控制、编队控制和耦合振子同步等;多智能体系统的分布式协调控制已经吸引了越来越多的科研工作者的关注.目前关于多智能体系统分布式协调控制的研究,大多都是假设智能体之间是连续通信的,而对于间歇通信下多智能体系统的研究还相对较少.本文分别研究了间歇通信下一般线性多智能体系统的一致性和鲁棒镇定问题,主要内容和贡献如下:1.分别研究了间歇通信下连
以控制架构为主的中央处理器(Central Processing Unit,CPU)无法深层次优化卷积神经网络的计算,在速度和功耗方面难以满足应用的要求。而计算密集的现场可编程门阵列(Field Programmable Gate Array,FPGA)适合并行计算的开发,并且具有可配置、开发周期短、成本低等特点,所以成为了部署卷积神经网络的热门平台。但卷积神经网络模型庞大、计算复杂,且FPGA的