论文部分内容阅读
三维重建是计算机视觉中的研究内容之一。准确快速地获取场景中的三维信息(深度)在逆向工程、机器人、导航、增强现实等领域中有着重要作用。在获取场景深度信息的方式上,相比于较为昂贵的激光雷达、结构光扫描仪等仪器,被动式立体匹配方法通过较为廉价的设备(双目相机)即可获取相对较高精度的深度信息。本文借鉴深度学习、数理统计等理论和方法,深入研究了相机标定以及双目立体匹配算法,并将其用于高精度三维人体模型重建。本文主要研究工作和创新点包括:
·提出了一种基于立体匹配置信度的相机标定方法。该方法针对棋盘格标定图像,改进立体匹配的Census变换匹配代价,用以计算标定图像上每个控制点的置信度,将该置信度应用到标定能量函数最小化过程中,从而减小标定重投影误差。通过对真实拍摄的标定图像进行实验,结果表明基于立体匹配置信度的标定能够实现更高的标定精度。
·提出了一种视差自适应计算方法。首先通过立体匹配局部和非局部代价聚合算法分别获取两张视差图,随后进行视差选择,进而得到一张更高精度的融合视差图。该方法提出了两种选择视差的机制:(1)通过判断参考图像中像素点纹理强弱,强纹理像素选择局部算法得到的视差,弱纹理像素选择非局部算法得到的视差;(2)通过定义全局能量函数的形式,将两张视差图构建为一个新的图模型,得到基于图模型的能量函数,采用“融合移动”算法最小化能量函数得到每个像素点的视差。实验结果表明,无论采用哪种选择机制,得到的融合视差图精度均高于单张视差图,且两种融合视差图机制的时间开销均较低。
·提出了一种视差异常值检测及修正方法。该方法通过检测立体匹配算法中产生的异常视差值,并对这些异常视差进行修正来提高立体匹配精度。具体提出了两种方案:(1)提出“匹配固定点跳变”算法,该算法能够快速检测到异常值的初步范围,进而提出“高概率异常值检测”模型,精确检测到异常值。该方案无需计算右视差图,能够高效检测立体匹配产生的异常值;(2)基于异常值像素间区域联系,改进传统左右一致性检验算法,将异常值进行更精确的分类。异常值被分为遮挡以及误匹配两类,对于两种不同类型异常值,采用针对性的视差修正策略,能够较合理修正异常值。实验结果表明,两种异常值检测以及修正方法均能够较好提升立体匹配精度。
·针对高精度三维人体模型重建中皮肤弱纹理问题,提出置信度关联的双目立体匹配算法。基于人体皮肤光滑的先验知识,建立图像像素点与邻域像素点的置信度关联,通过全局优化算法,得到精确的人体重建结果。此外,通过提取不同尺度下的像素特征信息,较好地克服了人体皮肤弱纹理较难重建的问题。实验结果表明,该方法的人体重建结果平均误差在1毫米到2毫米之间,相较于传统人体重建方法具有较大精度提升。
本文的重点为研究高精度双目立体匹配方法,并将其应用到人体重建流程中。通过被动视觉方法进行三维重建,以相对低的成本实现高精度的三维重建。
·提出了一种基于立体匹配置信度的相机标定方法。该方法针对棋盘格标定图像,改进立体匹配的Census变换匹配代价,用以计算标定图像上每个控制点的置信度,将该置信度应用到标定能量函数最小化过程中,从而减小标定重投影误差。通过对真实拍摄的标定图像进行实验,结果表明基于立体匹配置信度的标定能够实现更高的标定精度。
·提出了一种视差自适应计算方法。首先通过立体匹配局部和非局部代价聚合算法分别获取两张视差图,随后进行视差选择,进而得到一张更高精度的融合视差图。该方法提出了两种选择视差的机制:(1)通过判断参考图像中像素点纹理强弱,强纹理像素选择局部算法得到的视差,弱纹理像素选择非局部算法得到的视差;(2)通过定义全局能量函数的形式,将两张视差图构建为一个新的图模型,得到基于图模型的能量函数,采用“融合移动”算法最小化能量函数得到每个像素点的视差。实验结果表明,无论采用哪种选择机制,得到的融合视差图精度均高于单张视差图,且两种融合视差图机制的时间开销均较低。
·提出了一种视差异常值检测及修正方法。该方法通过检测立体匹配算法中产生的异常视差值,并对这些异常视差进行修正来提高立体匹配精度。具体提出了两种方案:(1)提出“匹配固定点跳变”算法,该算法能够快速检测到异常值的初步范围,进而提出“高概率异常值检测”模型,精确检测到异常值。该方案无需计算右视差图,能够高效检测立体匹配产生的异常值;(2)基于异常值像素间区域联系,改进传统左右一致性检验算法,将异常值进行更精确的分类。异常值被分为遮挡以及误匹配两类,对于两种不同类型异常值,采用针对性的视差修正策略,能够较合理修正异常值。实验结果表明,两种异常值检测以及修正方法均能够较好提升立体匹配精度。
·针对高精度三维人体模型重建中皮肤弱纹理问题,提出置信度关联的双目立体匹配算法。基于人体皮肤光滑的先验知识,建立图像像素点与邻域像素点的置信度关联,通过全局优化算法,得到精确的人体重建结果。此外,通过提取不同尺度下的像素特征信息,较好地克服了人体皮肤弱纹理较难重建的问题。实验结果表明,该方法的人体重建结果平均误差在1毫米到2毫米之间,相较于传统人体重建方法具有较大精度提升。
本文的重点为研究高精度双目立体匹配方法,并将其应用到人体重建流程中。通过被动视觉方法进行三维重建,以相对低的成本实现高精度的三维重建。