论文部分内容阅读
立体图像质量客观评价算法主要用于评价各类立体图像处理系统中立体场景显示质量的优劣,能够为各种图像处理系统提供参数设置、性能优化等的基本依据,具有广泛的研究和应用价值。立体图像质量客观评价算法的核心设计目标是自动地获取立体图像的感知质量。然而,目前人类视觉系统复杂的工作原理并未被完全掌握,设计出与人类视觉系统评价结果一致的预测模型具有极大挑战。当前的立体图像质量评价研究探索了视觉系统的部分功能与特性,但仍存在着对双目感知特性考虑不充分,非对称失真立体图像质量的预测准确性不高,以及特征提取时间过长等问题。为此,本文在现有研究的基础上,进一步探究人类双目视觉的感知特性,提出多个无参考的双目感知立体图像质量预测模型,提升感知特征的提取方法与映射方法的性能。本文的主要研究工作如下:(1)针对无视差类立体图像质量评价方法,因未考虑双目感知特性,导致预测非对称失真立体图像质量时准确性不高的问题,提出基于未匹配子带合成图像的无参考立体图像质量评价算法。该方法利用人类视觉系统对频率和方向信息敏感的视觉特性,将立体图像进行多尺度和多方向分解;在不使用视差图的情况下,将左、右视点相同尺度和方向的小波子带图像融合为未匹配子带合成图像;采用非零均值广义高斯模型与皮尔逊线性相关系数等方法,提取具有较强描述能力的图像质量感知特征。实验结果表明,所提出方法提高了非对称失真图像评价准确性,且具有较高执行效率。(2)针对全参考类立体图像质量评价算法中使用的参考立体图像在实际应用中很难获取的问题,提出基于双目结构相似性与单目特征融合的无参考立体图像质量评价算法。该方法结合人眼对结构信息敏感的视觉特性,计算左、右视点之间的双目结构相似性映射图,获取能够描述双目图像结构变化的统计特征;同时,从彩色与灰度空间提取能够描述单目图像结构变化的单目统计特征,并利用单目图像的信息熵和标准差计算特征融合系数,将两个视点的单目统计特征融合为双目融合特征。采用支持向量回归模型将双目结构相似性特征与双目融合特征映射为立体图像质量值。此外,还利用左、右视点之间的双目差异性特征及双目结构相似性特征,实现了对非对称失真和对称失真立体图像的分类。实验结果表明,所提出算法进一步提升了立体图像质量的预测准确性。(3)针对基于融合图像的立体图像质量评价模型普遍采用一幅融合图像来模拟双眼信息在人脑中的汇聚,无法模拟眼优势柱中两类双目细胞功能的问题,提出基于眼优势的无参考非对称失真立体图像质量评价算法。该算法利用两个视点图像的梯度幅值响应模拟双眼视觉输入刺激,基于眼优势原理将左、右视点分别作为主视图来合成两幅不同的融合图像,用于提取双目感知特征。针对传统支持向量回归模型稳定性较弱的问题,建立自适应增强的支持向量回归预测模型,实现感知特征向量到图像质量的映射。另外,利用两个视点之间的多种特征距离,实现对称失真与非对称失真立体图像的分类。实验结果表明,所提出方法能更进一步提高非对称失真图像的准确性。(4)针对深度学习类的立体图像质量评价方法中,现有立体图像质量评价数据库规模较小难以有效训练卷积神经网络,获得的特征有效性不足的问题,提出一种基于深度卷积神经网络的无参考立体图像质量评价方法。该方法通过三个并行的迁移特征提取模型,从左、右视点,以及由左、右视点的灰度图像与视差图构成的混合图像,获取立体图像的感知特征。具体地,首先将在大规模图像分类数据库训练好的深度卷积神经网络迁移到立体图像质量评价的应用中;然后结合统计特征提取与全局均值池化方法,从迁移深度卷积神经网络的不同网络层次获取数量较少、数目固定的特征;最后,将从三个并行的迁移CNN中提取的特征整合为感知特征向量用于立体图像质量映射。实验结果表明,所提出方法可以进一步提升对称与非对称失真立体图像的预测准确性。总体来说,本文结合人类视觉系统对频率和方向信息敏感的特性、对结构信息变化敏感的特性、眼优势功能柱以及神经网络,探索了建立符合人类视觉特性的无参考立体图像质量评价方法。所提出模型能够获取描述能力更强的质量感知特征,从而提高立体图像质量评价算法的准确性。