论文部分内容阅读
随着3D视频技术的发展,越来越多的3D视频应用进入到我们的生活中,改变着我们观察世界的方式,其中就包括3D立体电视和自由视点立体电视等。在3D内容制作和传输的过程中,基于深度图渲染方法(DIBR)的立体显示技术已经成为最重要的方法。基于DIBR算法的立体显示技术基于双目视差原理,利用参考视角彩色图像和其对应的深度图像合成虚拟视角图像,并且通过在立体显示器上播放适应不同视角的图像,从而给观众带来立体感受。虚拟视角图像的合成质量受到多个因素的影响。在使用DIBR算法进行新视角合成的过程中,由于去遮挡效应的存在,使得合成图像中会出现所谓的空洞,包括边界空洞和非边界空洞两大类。除此之外,基于DIBR算法的虚拟视图合成效果还会受深度图质量的影响。通常来说,深度图在编码传输过程中会被压缩,导致图像分辨率下降和深度精度不足,进而会引起DIBR算法过程中像素的不正确位移,导致合成图像中出现小的“裂纹”。此外,深度图可能包含噪声,这会导致合成图像中出现不同类型的伪影。当深度图和彩色图中的像素位置不匹配时,经常会有本属于前景的像素被投影到后景部分,从而产生伪影。以上这些都会影响最后的立体合成效果。目前已经有多种方法,用来减少虚拟视角合成过程中的失真,以提高图像质量。例如,3D-HEVC的开发平台HTM中采用两个参考视图分别合成同一个虚拟视角的两幅图像,再进行图像融合已达到空洞填补的目的。这种方法虽然能够改善图像质量,但由于用到两个参考视角的图像,所以会提高复杂度和带来额外的带宽损耗。在本文中,我们采取新的策略来应对这些问题。考虑到深度图在编码阶段被压缩,使得传输后的深度图中边缘部分变得模糊,从而降低图像合成的质量。我们对深度图进行边缘锐化滤波,以恢复其清晰度和边缘锐度。此外,我们结合彩色图像对深度图进行修复,确保彩色图中所有的前景像素对应于深度图中的前景区域。最后,我们采用基于后景的空洞填补算法进行图像后处理。实验结果表明,本文提出的方法能有效提高合成图像的质量。