目前多视点联合深度(Multiview video plus depth, MVD)格式的三维视频数据在编码时,经常在编码前对深度图进行降采样处理,以达到降低码率的目的。然而引入的降采样失真将会影响合成视点的质量,而如何有效地在解码端进行深度图上采样就成为了这种编码方案需要解决的关键问题。因此本文提出了在深度图上采样过程中利用深度图的时间连续性、空间相关性及与其对应的视频纹理图像的相关性的深度图上采样方案,提高了上采样算法的性能和最终合成虚拟视点的质量。另外,在MVD格式三维视频编码中提高深度视频编码性能的最终日的是为了提高合成虚拟视点的质量,因此在深度图编码过程中衡量编码性能应基于合成的虚拟视点的质量,失真函数的计算应该是基于最终合成虚拟视频的失真而非深度视频的失真,因而利用传统的率失真函数模型来控制降采样深度图编码的码率分配已不适用。为此本文优化了基于深度图下采样的深度编码方案中的率失真计算函数,大大提高了深度图编码的效率,同时也减小了合成虚拟视点的失真。总结本文主要工作如下：(1)提出了在视频纹理图像指导下利用深度图的空时相关性对深度图进行上采样的算法和奇偶分帧降采样算法,并且利用深度序列在时域的连续性和空域冗余大的特性在视频纹理图像的指导下对深度图进行上采样,以减小深度图的失真。(2)提出了基于视频纹理图与深度图时空梯度信息的深度图上采样算法,在深度图上采样过程中,通过利用深度图的时间梯度、水平梯度和垂直梯度来确定深度图的时空相关性,进而决定像素点上采样的方法,该方法更加充分的利用了深度图的特性,提高了深度图编码的性能。(3)在基于深度下采样的三维视频编码方案中,优化了深度图编码过程中的率失真函数。在下采样后的深度图编码过程中为了减小最终合成视点的失真,提出了一种高效并基于虚拟合成视点的率失真计算函数,在率失真优化过程中,将深度图下采样、图像映射和渲染等过程对深度图编码的影响考虑在内,优化合成视点的质量。实验结果验证了本文提出的率失真计算模型大大提升了编码的性能,并提高了最终合成的虚拟视点的主客观质量。