论文部分内容阅读
随着3D产业的快速发展,人们不再满足于2D场景的体验,越来越追求置身于3D场景中身临其境的享受。在市场与技术的驱动下,电视技术也经历着重大变革,从单一功能、单一色彩的传统电视逐渐过渡到具有高度分辨率和多媒体功能的智能电视,再到传统的3D电视(3DTV),现在迎来了处于发展势头的自由视点电视(FTV),每一次变革都给用户带来更好的观看体验。自由视点视频是在视频加深度(V+D)的虚拟视点绘制框架基础上产生的,由于受到视频传输带宽的限制,基于深度图的虚拟视点绘制技术(DIBR)成为其中被普遍采用的方法,但是生成的虚拟视点图像上会出现“伪影”和空洞,影响用户的视觉观看体验。其次,目前大部分DIBR技术的解决方法都局限在处理单帧图像上,忽略了图像序列帧与帧之间的关联,所以生成的虚拟视点图像序列也会有时间不连续的问题,体现在频繁出现的闪烁现象。针对以上DIBR方法中出现的问题,本文提出了基于时空连续性的虚拟视点合成框架。首先,本文充分利用视频序列中的时域信息,通过结合结构相似度判断方法和深度信息,提取了整个场景的静态背景图像;其次,本文去除前景边缘的干扰,提取到真正的“伪影”区域,并利用本文提取到的全局静态背景图像对“伪影”区域进行消除;最后,本文提出了基于静态背景的加权融合空洞填补方法。实验证明,本文提出的方法能很好地修复虚拟视点图像质量,一方面使空洞和“伪影”大大减弱,很好地保持了图像的空间连续性。另一方面,本文方法也很好地保持了虚拟视点图像序列的时间连续性。