论文部分内容阅读
3D视频由于带给人们更加真实的视觉体验而被广泛关注，越来越多的3D视频开始进入市场，例如3D电影、3D电视、3D动画等等。为了更好地表示3D视频，一种新的3D视频格式，即多视点视频和其对应的深度图序列(Multiview Video plus Depth，MVD)视频格式被提出而且被广泛地应用，在MVD中，纹理视频和深度图是对同一场景的描述，纹理视频即为原来的2D视频，而深度图表示的是物体与摄像机之间的距离，是对拍摄场景进行深度的描述。为了进一步增强3D视频的视觉体验，可以对3D视频中的纹理视频进行帧率提升，即在原始视频序列之间插入一些帧，使得原始的3D视频帧率提高，画面变得更加流畅。3D视频中的深度图可以提供辅助的信息，来帮助纹理视频的帧率提升，提高插值帧的质量。所以如何利用深度图提供的信息来帮助3D视频中纹理视频的帧率提升成为本文的主要研究内容，本文分析了传统的2D视频帧率提升的方法和3D视频的特性，利用3D视频中纹理视频与深度图之间的相关性，提出了针对3D纹理视频的帧率提升方法。本文针对帧率提升中运动估计、运动矢量滤波和基于运动补偿的插值分别提出了改进的方法，本文的主要工作和创新之处在于：1.提出了深度限制的双向运动估计方法。本文分析了基于运动补偿的帧率提升中运动估计的过程，基于双向运动估计的方法，借助于3D视频中深度的信息，提出了深度限制的双向运动估计的方法，把提出的方法用于3D视频中纹理视频的帧率提升中。2.提出了深度指导的运动矢量滤波方法。本文分析了运动矢量的滤波的必要性，基于运动矢量中值滤波的方法，借助于3D视频深度图提供的指导，利用纹理视频与深度视频之间运动的相关性，提出了受深度指导的运动矢量滤波方法，在保持运动矢量场局部一致性的基础上，增强了局部的深度一致性。3.提出了针对帧率提升中遮挡问题的插值方法。本文首先指出了帧率提升过程中遇到的遮挡问题，分析了在这种问题下一些插值方法的不足，提出了考虑遮挡的插值方法，该方法利用了纹理视频与深度视频运动的相关性，依赖于3D视频提供的深度信息对是否存在遮挡进行判断，有选择性地参考前向或后向参考帧进行插值。