多视图像增强的RGB-D室内高精度三维测图方法

来源 :武汉大学 | 被引量 : 21次 | 上传用户:werr2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
精细的室内三维测图已经成为支撑室内三维制图,室内定位导航及增强现实等应用的重要的技术手段。目前,常用的室内场景三维测图手段主要有激光扫描(Terrestrial Laser Scanning)和基于视觉图像序列的三维重建技术。激光扫描技术进行室内三维制图时需提前设置拍摄点和标靶,在复杂室内环境中容易出现场景细节丢失,数据采集不完整的问题,同时激光扫描设备价格昂贵,难以得到普及。基于视觉图像序列的三维重建技术可通过数码相机拍摄的二维图像序列来恢复室内三维场景,其丰富的视觉信息可很好的增强闭环检测。然而该方法建模时间长,而且在室内昏暗环境或者纹理匮乏区域工作不稳定。因此发展一种能够快速响应环境变化,便携性高,数据处理工序简单,高精度实时的三维制图的方法具有重要意义。近年来,RGB-D传感器,如Kinect和Structure Sensor,在室内即时定位与地图构建应用上被广泛使用。其主要的优势是可实时获取和更新三维空间信息,且具有极大的便携性和低成本特性。本文利用RGB-D传感器,提出一种多视图像增强的RGB-D室内高精度三维测图方法。该方法分为两部分,一部分是RGB-D三维SLAM方案,一部分是基于RGB-D点云的三维重建。RGB-D三维SLAM部分,在高精度相机校正基础上,针对视觉SLAM累积误差问题,本文深入分析RGB-D传感器深度和视觉图像数据特点,联合视觉特征和几何特征,提出从粗到细的RGB-D 3D SLAM方法。针对RGB-D相机深度传感器量测距离和视角局限性导致远距离,大范围室内场景三维建模困难问题,提出二三维特征点联合的光束法平差优化方法来恢复RGB图像序列相机姿态,用以恢复远距离三维结构,有效弥补深度传感器的缺陷,实现近远距离三维场景无缝融合。基于RGB-D点云的室内三维重建方面,本文深入分析RGB-D传感器数据采集及数据集特点,提出知识约束的RGB-D点云三维重建方法,可实现室内基本组件快速建模。大幅度降低人工建模成本,提高RGB-D传感器建模效率。具体研究内容包括:1.提出高精度RGB-D多传感器校正方法。一方面深入分析RGB-D设备工作原理,实现RGB-D传感器深度相机和RGB相机同步校正,获取对应相机的内外方位元素。另一方面,对RGB-D深度数据误差进行分析,构建深度信息误差模型,实现RGB-D深度数据高精度校正,提高深度数据精度。2.提出视觉与几何特征融合的RGB-D即时定位与地图构建(3D SLAM)方法。在相机追踪方面,该方法考虑深度数据测量误差的不确定性,基于高精度RGB-D深度校正模型,根据特征点量测精度对不同深度下的特征点赋权,调整其在相机追踪算法中的贡献。针对纹理稀疏区域,创新性的提出三维线要素描述算子,采用三维线匹配方法优化相机姿态,解决纹理匮乏区域相机追踪问题;全局优化方法中,基于视觉的闭环检测,相机姿态约束的闭环检测,知识约束的闭环检测联合的闭环检测方案被用于检测闭环约束,构建图优化模型。同时考虑到相机追踪时产生的随机误差,采用边界权重的图优化算法,该算法对不同类型的闭环约束赋予不同的权重,降低闭环误差的不确定性,进而提高算法收敛度,有效降低累积误差。3.提出二三维特征点联合的光束法平差优化方法。针对RGB-D相机深度传感器量测距离和视角局限性导致远距离,大范围室内场景三维建模困难问题,本方法拟将RGB-D传感器同步获取的RGB图像序列用于远距离场景恢复,提出二三维特征点联合的光束法平差优化方法来恢复RGB图像序列相机姿态,该算法在相机校正的基础上,将RGB-D SLAM获取的深度相机姿态作为RGB相机初始姿态,将特征点分为二维特征点及三维特征点,通过迭代优化两类特征点的总投影误差优化RGB相机轨迹。该方法可进一步优化相机姿态,在长距离相机追踪情况下可有效减少累积误差。4.提出知识约束的RGB-D点云三维建模方法。针对手工室内三维建模费时费力问题,深入分析RGB-D传感器数据采集及数据集特点,在数据采集阶段,通过交互式定义的方式对特定数据帧赋予特定语义信息,该语义信息可降低在组件提取复杂度;,在组件提取方面,针对室内空间要素,如墙面,地板,天花板,考虑到RGB-D点云容易存在漏洞,数据完整性不高,采用三维-二维-三维的方式获取室内轮廓,针对门窗要素,采用基于色彩的点云分类方法实现门窗要素快速提取。本文提出的室内重建方法可大幅度降低人工建模成本,提高RGB-D传感器建模效率。本文以TUM公开的Kinect v1 RGB-D数据集及Structure Sensor数据集作为实验数据,部分Lidar点云作为绝对精度评估参考数据。为验证本文提出多视图像融合的RGB-D室内三维测图方法的精度及有效性,分别从相机轨迹精度,点云绝对精度,远近场景融合,及RGB-D点云三维重建能力四方面进行精度评估。通过与现有主流RGB-D SLAM算法获取的对比,结果显示本文提出的3D SLAM系统获取的相机轨迹精度更高且能适应不同环境变化。将RGB-D获取的点云与激光点云对比,实验结果显示在0-50m2范围内,本文的3D SLAM方案获取的RGB-D点云平均误差在1cm以内,在0-70m2范围内,点云平均误差在5cm以下。通过近远距离三维场景融合实验,结果显示二三维特征点融合的光束法平差优化方法可进一步优化相机轨迹,降低累积误差,且可用于SFM恢复远距离场景可有效弥补深度传感器量测距离短的缺陷。RGB-D室内三维重建方面,实验结果显示本文提出的知识约束的RGB-D点云重建方法可准确恢复出墙面,天花板,地板,门窗等室内组建。
其他文献
对于朱子哲学中的天理概念,既往的研究已经做了非常深入、全面的考察。但天理概念的哲学内涵,仍有晦暗不明之处。本文从"所以"、"当然"和"必然"等概念入手,通过细致的文本解
视频中人体动作识别作为计算机视觉与模式识别领域中的一个重要分支,在智能视频监控、人机交互、运动分析、视频检索等诸多领域,具有广阔的应用前景,受到了国内外学者广泛关
通过对兰坪盆地内三种主要成因类型(沉积-热液改造型、热水沉积-热液改造型和热液脉型)的铜银多金属矿床硫、碳、氢、氧同位素的研究,揭示了成矿作用过程的某些重要信息:矿石中的
活动轮廓图像分割方法于1987年由M.Kass等人最先提出,在过去几十年中逐渐成为图像处理领域特别是图像分割领域的研究热点。随着研究的不断深入,大量的活动轮廓模型先后被提出
随着大数据时代的到来,人们所采集的数据量已达到ZB级规模。为了精确查询数据,越来越多的搜索引擎采用知识图谱作为底层数据支撑。知识图谱是描述现实世界中地点、人物、城市
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
选取260例于2012年5月~2013年5月我院接收的龋齿患儿,共患有邻面龋或面龋乳牙448颗,根据洞型充填材料的不同将患齿分成A组、B组、C组、D组,A组、B组均为Ⅰ类洞,A组充填材
本文主要深入探索PDDM理论的内涵,建立完善的PDDM设计方法的理论及应用体系,为自售货机设计的设计、管理过程提供新的方法论,从而缩短新产品开发的时间、提高产品质量、降低
摘要:现代学徒制人才培养方案是学徒制的核心内容,那么如何制订现代学徒制专业人才培养方案?本文以工业机器人专业为例,较详细地介绍了人才培养方案的制订过程。  关键词:现代学徒制;机器人;人才培养方案  中图分类号:G710 文献标志码:A 文章编号:1674-9324(2019)21-0245-03   人才培养方案是现代学徒制专业教学活动安排的基本依据,也是学徒制试点的重要文件。在实际运作