论文部分内容阅读
3D电视是近年来兴起的一种能够增强视频观赏体验的新型媒体介质。多视点视频技术是3D电视的基础,它能够通过基于深度图像绘制(DIBR)技术来合成一定范围内的任意视点的视图,从而使3D电视系统具有交互性和立体感。本文研究的目的,就是通过对多视点视频中基于深度图像绘制的视图合成的原理、技术和方法进行研究,为它在3D电视中的应用提供理论和技术支撑。论文首先介绍了多视点视频中视图合成的理论基础——针孔摄像机模型;然后在该模型的基础上,研究了深度图像获取和基于DIBR视图合成所涉及的关键技术。在深度图像获取方面,重点研究立体图像对的极线校正;在视图合成方面,论文首先提出了一种空洞填充算法;然后研究了基于图像重投影的视图合成,以及任意视点的基于DIBR的视图合成方法;最后研究了基于深度图像的3D视频去隔行。论文的主要研究成果包括:①针对深度图像获取过程中的极线校正问题,研究了图像重投影,并在此基础上提出了一种立体图像对的极线校正方法。该方法结合了基于基本矩阵的极线校正方法和无需基本矩阵的极线校正方法,有效地避免了最优化时陷入局部最优的可能,同时又不过分依赖基本矩阵的精度。实验表明该方法具有较高的校正精度,图像的扭曲也比较小。②提出了一种新的空洞填充算法。该算法总是先填充那些4邻域像素集中不空的像素大于等于本轮域值的空洞点;并且每填完一遍空洞点之后都重新搜索4邻域像素集中所有像素都不空的空洞点以开始下一轮填充。实验表明该算法能较好地填充较小的空洞,特别是对纹理单一区域中的空洞能产生良好的填充效果。该算法适用于经过平滑深度图像处理后剩余空洞的填充,也便于硬件实现。③针对摄像机绕光心旋转的特殊情形,给出了单应矩阵具有的性质,并结合三维图像变换技术提出了一种摄像机绕光心旋转时新视图的合成方法。由于充分利用了单应矩阵的性质,该方法不但能够生成质量较好的新视图,而且绘制速度也得到了加快。④提出了一种基于DIBR的视图合成方法。该方法执行两次三维图像变换,第一次变换采用平滑后的深度图像,得到含有较小空洞的目标图像;第二次变换采用原始的深度图像,得到含有较大空洞的目标图像。然后以第二次变换得到的目标图像为基准将两幅目标图像融合,最后对得到的目标图像进行空洞填充。该方法能在消除空洞的同时保证不会降低非空洞区域图像的质量,从而尽可能地保留视图的真实性,适用于3DTV中的立体图像对的合成。⑤研究了基于深度图像的3D视频如何在现行的电视系统中传输的问题,提出了3D视频隔行化的概念,并提出了一种适用于DIBR的去隔行算法。由于该算法采用了基于方向的场内插值算法,因而能得到画质较高的逐行新视图,适用于基于深度图像的3D视频的去隔行。作为一项具有创新性意义的工作,论文在研究方法与思路上力求有所突破,其研究成果将为多视点视频的视图合成在3D电视中的应用提供具有实用价值的新方法。