论文部分内容阅读
随着信息技术和互联网的飞速发展,新一代高效视频编码技术已经成为近年来学术界和工业界的研究热点之一。目前主流的H.264/AVC、AVS编码标准的压缩性能比以往的任何标准都提高了一倍以上。但是在网络带宽受限情况下,这些视频编码技术仍旧难以达到令人满意的效果,而且在传输过程中容易发生错误。因此如何在带宽受限情况下进一步提高视频编码的效率以及提高错误隐藏的性能引起人们越来越多的关注。从信号处理的角度,可以先对输入信号进行下采样(在空域或者时域)并编码下采样后的信号,然后对重构的下采样信号进行上采样(空域上称之为插值,时域上称之为帧率转换)以恢复到原来的分辨率或者帧率。帧率转换和插值算法性能的好坏直接影响到这种视频编码方案的压缩效率。从信息论的角度,帧率转换、插值和错误隐藏都可被视为统计推断过程:从已知的观察值来预测和估计一些未知量。推断效率的高低取决于描述原始信号的模型的准确性。传统的帧率转换和错误隐藏算法采用平移运动模型来描述连续帧之间的相关性,但是这种模型不能准确刻画局部图像的特性,因此会造成原始信号和预测信号之间较大的误差。为了提高预测精度,本文从统计推断的角度出发,对帧率转换、插值和错误隐藏的若干问题进行了深入的研究。具体地,本文的主要内容包括如下:第一,传统的帧率转换大都利用平移运动模型为待插帧寻找准确的运动信息,但是这些方法不能刻画图像的局部特性。为了提高帧率转换的性能,本文提出了基于时空自回归(STAR)模型的帧率转换方法。在提出的STAR模型中,待插帧内的任一像素都可以表示成一个样本空间内所有像素的加权和。该样本空间包括其前、后邻近帧内以对应位置为中心的一个方形邻域和当前帧内由已经插值出的部分像素组成的邻域。为了提高插值帧的质量,本文提出了一种自反馈算法用来逼近最优的STAR系数。在每次迭代过程中,待插帧内各个训练窗内的像素首先由其前、后向邻近帧对应像素和待插帧内已经插值出的像素的加权和得到。然后原始帧训练窗内的真实像素也可以由前一步骤中相同的STAR系数和样本空间得到。训练窗内的STAR系数可以通过最小化其对应的插值误差和(包括前、后向插值帧内本次和上次迭代后的误差以及当前真实帧和此次迭代后的误差)得到。实验结果表明该模型能有效提升插值帧的主观和客观质量,尤其是对一些细节丰富的区域。第二,在STAR模型中,前后帧的邻域以当前帧相同位置的像素为中心。因此,对运动中等或者剧烈的序列难以准确刻画运动物体的局部特性。为了解决STAR模型的不足,本文提出了基于运动对齐的自回归(MAAR)模型的帧率转换算法。MAAR模型中,待插帧内各个像素可被看作是由前向运动对齐自回归(Fw-MAAR)模型和后向运动对齐自回归(Bw-MAAR)模型生成结果的平均。Fw-MAAR中,待插帧内各个像素可由其前向邻近帧内以运动对齐像素为中心的一个方形邻域内所有像素的加权和得到。为了得到较为精确的Fw-MAAR权值系数,假设相邻帧Fw-MAAR的权值系数相同,后向邻近帧内运动对齐的对应像素也可看作是待插帧内运动对齐的邻域内像素的加权和。这样后向邻近帧内运动对齐的像素可被看作是其前向邻近帧内一个较大邻域内所有像素的加权和。Bw-MAAR与Fw-MAAR类似,唯一不同之处在于前者是沿着与后者相反方向进行插值的。为了得到更好的插值结果,本文提出一种阻尼牛顿算法来得到较为精确的MAAR权值系数。实验结果表明MAAR模型能够获得比STAR模型更为鲁棒的结果。第三,针对错误隐藏问题,本文提出一种基于自回归模型和加权最小二乘法的错误隐藏算法。该错误隐藏算法首先从周围正确解码的块中选取出错块最优的运动矢量。出错块内每个像素都被恢复为以最优运动矢量所指向的像素为中心的方形邻域内所有像素的加权和。然后本文分别在空域连续限制和时域连续限制条件下提出两种算法来得到自回归模型最优的加权系数。在空域连续限制条件下,通过最小化周围正确解码块内所有像素样本的加权误差平方和来得到一组最优的系数。周围块中每个样本的置信权重与该样本和出错块的距离成反比。在时域连续限制条件下,通过最小化前向帧内扩充后的运动对齐块中所有像素的加权误差平方和来得到另一组最优的系数。扩充像素样本的置信权重与运动对齐块的距离成反比。融合这两种方法得到的结果可以得到出错块最终的隐藏结果。实验结果表明该算法能有效提高恢复块的质量。第四,传统的图像下采样方法致力于去除下采样图像的混叠效应,然而这些方法忽略了对低分辨率图像进行上采样(插值)后的影响。针对这一问题,本文提出了插值依赖的图像自适应下采样(IDIDS)算法来获得较高质量的上采样图像。IDIDS通过最小化输入图像和对应的插值图像之间的误差平方和来得到最优的下采样图像。对固定系数的插值算法,可以直接利用最小二乘法得到最优解。对自适应插值算法,本文还设计了内容相关的自适应下采样算法以获得较好的结果。此外,本文还提出了逐块的下采样算法以减小时间和空间复杂度。实验结果表明该算法能显著地提高上采样图像的质量。