高精度双目立体匹配及其人体重建应用研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:yjf987
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维重建是计算机视觉中的研究内容之一。准确快速地获取场景中的三维信息(深度)在逆向工程、机器人、导航、增强现实等领域中有着重要作用。在获取场景深度信息的方式上,相比于较为昂贵的激光雷达、结构光扫描仪等仪器,被动式立体匹配方法通过较为廉价的设备(双目相机)即可获取相对较高精度的深度信息。本文借鉴深度学习、数理统计等理论和方法,深入研究了相机标定以及双目立体匹配算法,并将其用于高精度三维人体模型重建。本文主要研究工作和创新点包括:
  ·提出了一种基于立体匹配置信度的相机标定方法。该方法针对棋盘格标定图像,改进立体匹配的Census变换匹配代价,用以计算标定图像上每个控制点的置信度,将该置信度应用到标定能量函数最小化过程中,从而减小标定重投影误差。通过对真实拍摄的标定图像进行实验,结果表明基于立体匹配置信度的标定能够实现更高的标定精度。
  ·提出了一种视差自适应计算方法。首先通过立体匹配局部和非局部代价聚合算法分别获取两张视差图,随后进行视差选择,进而得到一张更高精度的融合视差图。该方法提出了两种选择视差的机制:(1)通过判断参考图像中像素点纹理强弱,强纹理像素选择局部算法得到的视差,弱纹理像素选择非局部算法得到的视差;(2)通过定义全局能量函数的形式,将两张视差图构建为一个新的图模型,得到基于图模型的能量函数,采用“融合移动”算法最小化能量函数得到每个像素点的视差。实验结果表明,无论采用哪种选择机制,得到的融合视差图精度均高于单张视差图,且两种融合视差图机制的时间开销均较低。
  ·提出了一种视差异常值检测及修正方法。该方法通过检测立体匹配算法中产生的异常视差值,并对这些异常视差进行修正来提高立体匹配精度。具体提出了两种方案:(1)提出“匹配固定点跳变”算法,该算法能够快速检测到异常值的初步范围,进而提出“高概率异常值检测”模型,精确检测到异常值。该方案无需计算右视差图,能够高效检测立体匹配产生的异常值;(2)基于异常值像素间区域联系,改进传统左右一致性检验算法,将异常值进行更精确的分类。异常值被分为遮挡以及误匹配两类,对于两种不同类型异常值,采用针对性的视差修正策略,能够较合理修正异常值。实验结果表明,两种异常值检测以及修正方法均能够较好提升立体匹配精度。
  ·针对高精度三维人体模型重建中皮肤弱纹理问题,提出置信度关联的双目立体匹配算法。基于人体皮肤光滑的先验知识,建立图像像素点与邻域像素点的置信度关联,通过全局优化算法,得到精确的人体重建结果。此外,通过提取不同尺度下的像素特征信息,较好地克服了人体皮肤弱纹理较难重建的问题。实验结果表明,该方法的人体重建结果平均误差在1毫米到2毫米之间,相较于传统人体重建方法具有较大精度提升。
  本文的重点为研究高精度双目立体匹配方法,并将其应用到人体重建流程中。通过被动视觉方法进行三维重建,以相对低的成本实现高精度的三维重建。
其他文献
电网中的异常检测指电网在未受到攻击的情况下,由于个别或部分元件发生故障,导致网内其他设备表现出偏离平衡状态的情况。严重的电网异常容易引发大规模停电事故,从而造成巨大的经济损失。因此,分析人员需要快速、准确的检测电网异常,以此为基础做进一步的故障原因诊断、影响分析,并采取对应的修复措施。已有的电网异常检测工作多基于聚类、分类等自动化方法,然而随着检测准确率的不断提高,误报与漏报率仍居高不下。传统的漏
学位
光谱图像是一种通过捕获数个频率范围的电磁波进行成像得到的图像。光谱图像除仅有一个波段的单色图像外,还有包含三个到数十个波段、光谱分辨率较低的多光谱图像,与光谱分辨率在10nm范围内、常有数十至数百个波段的高光谱图像,这种含有丰富光谱信息的图像在科学研究种具有重要的作用。然而,由于超越可见光波长范围的波段无法被人类直接观察、且大量的波段数据本身也加重了计算负担,光谱图像的可视化与降维融合成为了十分重
随着科学技术的发展,每个人的生活都离不开各式各样的互联网服务。但是,互联网的服务系统却面临着信息爆炸带来的信息过载挑战。个性化推荐系统则是解决这一问题的核心方法。  现阶段面向大规模互联网服务系统中的个性化推荐主要面临着以下三大块棘手的问题:海量移动用户访问日志难以识别;项目受短期热点的影响激增;不同的协同过滤推荐应用很难利用同一个算法来提升效果。  第一个问题,是来源于用户层面的挑战。数据的获取
在信息化的时代,人们获取大量数据,从中提取关键信息,并据此做出决策。各个领域的从业者,包括科学家、分析师、记者、设计师,乃至普通大众,均意识到数据和数据分析的重要性。其间,数据可视化和可视分析作为发掘数据中有效信息、传达见解和交流与协作的高效工具被广泛运用于商业智能、城市规划、新闻传播等。  伴随着互联网、传感器、物联网等技术的不断发展,人们获取信息的能力和分析数据的需求不断增长。这样的趋势对于可
手势交互可以通过多种交互设备进行,如深度相机、彩色相机、数据手套、表面肌电电极等。基于表面肌电的手势交互凭借其易穿戴、对光照环境的鲁棒性以及对残疾用户运动意图较强的识别力等优点,成为人机交互领域的新型研究热点之一。  在基于表面肌电的手势交互中,其核心问题是如何准确地对肌电信号建模并识别出用户输入信号中所表达的含义。研究者们已基于经典机器学习和深度学习的框架对表面肌电手势识别进行深入研究,但依然存
随着计算机技术的快速发展,互联网积累了海量的时序数据,如问答数据、社交网络数据和电商交易数据等。如何对这些时序数据中内隐因素之间的交互进行建模,理解个体用户或群体用户在时序数据中所蕴含的意图和行为,是当前人工智能领域研究的热点和难点。本文以问答系统中时序数据理解为研究对象,提出了若干算法模型并进行验证。  一般而言,问答时序数据中丰富的内隐交互信息可以分为结构时序交互和语义时序交互。结构时序交互表
学位
随着云计算、大数据和物联网等信息技术的飞速发展,全球数据呈现出海量集聚的特点。这些从不同来源所获取的海量数据反映着人类社会的生活和规律,如群体出行和交通流量。因此,如何对多源数据进行分析与理解,以更好地全面了解这些多源数据所蕴含的丰富信息,是一个值得研究的重要问题。  多源海量数据本质上是序列数据,这些从不同来源获得的序列数据之间相互补充、彼此交互,刻画着人类社会中群体的行为习惯和生活模式。本文针
学位
问答系统是体现人工智能的一种通用方法,是自然语言处理领域非常重要的一个方向。随着多种媒体数据的积累和深度学习在各个领域取得的突破性进展,跨媒体智能给问答系统带来了新的机遇和挑战。以视觉问答为典型代表的跨媒体问答方向得到了广泛的关注和研究。  视觉问答(Visual Question Answering,VQA)是回答关于图像问题的任务,输入为一幅图像以及关于该图像的开放自由的自然语言问题,输出为文
学位
图像及视频数据包含大量的视觉信息,人类可以利用这些信息进行学习和推理,进一步理解活动规律和社会行为。随着数据的海量涌现,如何从获得的海量冗余的视觉数据中甄别和遴选出关键视觉信息,并为后续视觉语义内容理解和分析提供支持,是当今计算机视觉领域所关注的热点问题,具有十分重要的研究意义。  在这些热点研究中,如何在去除图像、视频数据中冗余背景信息基础上,甄别发现具有丰富语义信息的视觉目标物体,即显著性目标
由于影视和游戏制作等领域的需求驱动,三维人脸重建一直是计算机图形学中重要研究方向。与设计师人工建模不同,三维人脸重建主要从输入数据中自动塑造人脸几何。输入类型主要有:2D数据(图像或视频),2.5D数据(立体图像或视频、深度图),3D数据(点云、网格等)等。其中基于单张图像的三维人脸重建输入设备最简单,输入数据量最少,互联网上的素材量最大,因此在面向普通用户的消费级的应用中也最具有潜力。近年来,随