论文部分内容阅读
让计算机拥有像人眼一样感知三维空间的能力是计算机视觉的基础任务之一。人眼深度感知是多种深度线索共同作用的结果,而传统视觉算法以多视图像上的视差线索为主。由于从二维图像重建三维信息问题的病态性,视差深度线索存在像素匹配的鲁棒性不足和二义性等问题。近年来光场成像的广泛应用为深度估计算法带来新的变革,由于光场成像设备能同时获取光线的亮度和角度采样,其中蕴含的三维信息使光场在场景深度估计问题上具有深度线索提取和融合上的优势,因此基于光场数据的三维重建技术是光场理论研究的关键和计算机视觉未来的发展方向。本文从人眼视觉的深度线索感知和融合机理出发,围绕光场表示模型研究光场图像中的深度线索提取和线索融合,针对复杂场景的深度和几何结构估计问题研究了全局优化框架下基于场景先验模型的场景几何推断以及在此基础上的场景稠密深度获取和优化算法,取得以下创新性研究成果:(1)针对传统匹配方法深度线索的鲁棒性问题,提出了一种全局优化框架下的代价函数融合策略。提取传统视差线索以特征的匹配代价函数为评价标准,但单一的代价函数容易受到各种不利因素的影响,具有互补性质的代价函数融合能够增强全局优化的数据项的鲁棒性和局部可信度。并针对相机阵列光场提出像素匹配的可视性约束,解决多视条件下的场景稠密深度估计和局部平滑。算法在相机阵列平台拍摄的真实场景和Middleburry立体匹配数据集上的深度估计实验证明了该方法的有效性。(2)针对光场数据中的场景几何建模问题提出了一种基于EPI表示的平面场景检测方法。光场数据中隐式的包含了场景的几何结构信息,平面结构在EPI图像上体现为恒定的线性关系。算法采用EPI矫正和EPI上特征点提取的交叉验证策略,可以在不显式求出场景深度的前提下获得平面场景的几何参数。算法在光场数据中成功区分自然场景和其对应的照片,在EPFL光场数据集上的定量实验也达到了优于对比算法的检测正确率。利用平面结构检测还可实现光场在任意平面上的重聚焦和平面上的稠密深度估计。(3)为了获取场景平滑曲面的表面几何结构估计,在场景平面模型的假设基础上,提出了一种逐像素随机平面拟合的深度估计算法。算法采用全局优化框架,代价函数为提取光场表面相机表示模型上的深度线索,平滑函数为基于平面法向的二阶平滑先验,逐像素的以平面标签拟合场景深度和表面几何结构。算法在Middleburry立体匹配数据集和HCI光场数据集上进行了深度估计实验,结果验证了算法在场景深度和几何结构估计上的有效性,同时在HCI数据集上进行了深度估计精度的量化实验,结果明显优于对比算法。(4)提出光场深度线索在全局优化框架下的线索融合方法。针对遮挡和非朗伯体表面等复杂场景的深度估计问题,提出了在光场表面相机模型基础上的掩模匹配深度线索约束。为了提高场景局部深度线索的鲁棒性,构建了 EPI上深度线索的全局代价函数以及EPI深度线索与表面相机深度线索的融合代价函数模型。算法在HCI光场数据集和HCI 4D光场基准测试项目上进行深度估计实验并与当前最优的一些光场深度估计算法进行定量对比,在多项指标上都达到了当前最优。在斯坦福光场数据集上的实验结果也证明了算法在复杂场景下的有效性。