论文部分内容阅读
随着3D电影、3D电视广播、裸眼3D显示技术等3D视频技术的提高,3D视频技术成为了学术界和工业界的研究热点。从2001年起,国际标准化组织ISO的运动图像专家组MPEG发起了制定自由视点电视(Free-viewpoint Television, FTV)国际标准的长期目标,其允许在自由改变观看视点的条件下观看3D视频。其中,多视点视频编码(Multi-view Video Coding, MVC)是FTV制定的第一阶段,三维视频3DV是FTV标准的第二阶段。国际电信联盟ITU的第16工作组VCEG和MPEG共同发起了JCT-3V工作组,专门制定新一代的3D视频编码技术,其中基于新一代高效视频编码技术H.265/HEVC的3D视频编码扩展为3D-HEVC。在3D-HEVC框架中,3D视频以多视点视频加深度信息(Multi-view Video plus Depth, MVD)的形式表示。编码端在H.265/HEVC的基础上对非独立视点和深度信息增加了新的编码工具。本论文对基于HEVC的3D视频编码3D-HEVC方案进行研究。首先,文本详细介绍了基于HEVC的3D视频编码方案3D-HEVC的基本框架和关键技术,并介绍了3D视频编码技术中的三个重要研究难点：纹理图编码、深度图编码和深度估计。其次,本文在3D-HEVC的框架基础上提出了基于深度图的纹理图快速模式判决算法。该算法利用3D视频中深度图与纹理图的关系,根据深度图将相应的纹理图分为前景、主景和背景部分,对相应部分的模式判决进行精简；引入运动矢量与深度值的关系,进行视点间和视点内模式的快速选择；接着,论文着重介绍了3D-HEVC中的深度图编码。根据深度图大范围平滑区域和尖锐边缘的特性,在深度图的帧内预测模式中提出了四种新的预测模式；根据深度图辅助虚拟视点合成的特性,提出了深度数据视点合成优化的模式判决函数。论文的实验部分对基于HEVC的3D视频编码方案3D-HEVC进行系统的实验。首先比较和3D-HEVC和同播(simulcast)技术的性能,其次对基于深度图的3D-HEVC纹理图快速模式判决算法进行实验验证,在保证视频质量的前提下,纹理图编码在原编码方案基础上实现时间上29.3%的精简。最后,在Linux平台下,利用QT和H.265/HEVC标准参考代码,开发了H.265/3D-HEVC的码流分析软件,实现了H.265和3D-HEVC码流的解码、回播、分量显示和基本的码流信息显示。