论文部分内容阅读
基于立体视频技术的多媒体系统能提供给用户深度立体感,使用户在体验过程中能有置身其中的真实感。然而,在图像/视频的处理过程中,由采集,编码,传输,绘制以及显示等过程引入失真的问题是不可避免的,因此需要研究相关的质量评价技术以改进系统在图像/视频处理的性能,提高视觉感知。本学位论文研究了人眼视觉感知对客观质量评价模型的影响。主要研究内容如下:(1)从立体感知角度出发,考虑双目感知特点,结合了双目视觉的掩蔽效应以及视网膜对应点的特点,建立相关的立体图像质量评价模型。首先利用联合恰可察觉模型模拟人眼的双目掩蔽效应,调整失真立体图像对,接着评价处理后的左右视点图像质量。同时,根据视网膜对应点方向一致的特点以及人眼对相位敏感的特点,利用视差建立相关的立体感知模型。最后将左右视点质量与立体感知质量结合预测立体图像质量。该方法与主观感知性能较一致,CC值达到0.9293,SROCC达到0.9339,RMSE为5.8640。(2)从颜色感知与时空感知角度出发,提出用于视频质量评价的客观算法模型。考虑到颜色信息在视觉感知的重要作用以及多维数据的处理问题,用张量分解对彩色的视频帧进行处理,对颜色进行降维,得到新的三维视频;此时三维小波变换就可应用于这个三维视频得到时空信息。根据三维小波信号特点,利用乘法的原则将二维小波变换得到的对比敏感度权值扩展到三维。进一步用三维结构相似度衡量其相似度并结合时域的不对称感知得到最终的评价结果。所提出的这个客观方法在LIVE和CSIQ两个视频库上的CC和SROCC值都达到了0.8以上。(3)从人眼对视频的运动感知敏感的角度出发,研究了基于张量分解域时变信息的无参考立体视频质量评价方法。本文的研究发现立体视频的张量域的运动信息具有统计特征,其统计分布能明显区分不同的失真类型及失真等级。此特征包含更长的时间信息,一定程度上能处理短时失真可被人眼感知忽略而但却被作为失真的情况。首先,采用张量分解对颜色、时间、视点进行降维,得到表示不同视点内时变信息和不同视点间时变信息的运动信息图。然后,提取运动信息图中与视频质量相关的感知特征:广义高斯模型(generalized Gaussian distribution,GGD)与非对称广义高斯分布(asymmetric GGD,AGGD)模型的参数、空间熵、谱熵以及立体感知的谱熵;最后,采用随机森林融合感知特征得到最终的视频质量。实验同时与像素域进行对比分析,并分析了所张量的时间维大小对算法性能的影响。实验结果表明,其CC值达到0.8611,SROCC值达到0.8394,证明此模型的评价结果与主观感知具有较好的一致性。