论文部分内容阅读
随着多媒体图像处理技术的进步和发展,图像数据快速的增长,如何高效地从这庞大的图像数据中提取出人们感兴趣且有价值的信息,并有效地滤除掉过多的冗余数据成为了目前图像处理和计算机视觉领域亟待解决的问题。近年来,视觉显著性检测作为计算机视觉中的重要分支之一,能够辅助并改善一系列的视觉处理任务,已经被广泛地应用到了场景分类、视觉跟踪、目标重定向、语义分割等众多领域中,成为了一个炙手可热的研究课题。虽然在特定测试数据集以及简单场景下,对于单模态图像显著性检测的研究已经达到了很高的水平,但是由于其算法缺乏泛化性,在图像光照条件差、恶劣天气、颜色相近以及图像包含噪声等复杂场景下的显著性检测精度仍有待提高。近年来,由于各种成像技术的不断成熟,其他类型的光谱成像获取的数据越来越多(其中热红外图像就对光照不敏感),使得相关领域的科研人员开始尝试融合多个不同但互补的多模态信息,如可见光和热红外信息(RGB-T),这在一定程度上提升了显著性检测的精度和鲁棒性。因此,本文将围绕图像显著性检测及多模态图像显著性检测展开研究,具体来说,我们的主要工作如下:(1)传统的关于显著性的研究立足于对图像的结构划分并且构建图模型,然后在图模型的基础上进行显著性平滑、分布的研究。现有的图像显著性检测算法的大多是运用两个先验信息:背景先验和边界先验,来辅助其他的显著性线索(比如对比度),以达到良好的显著性检测结果。然而,它们对边界先验的使用较为脆弱与简单,同时与其它线索的融合基本上为启发式。针对这一问题,本文在图模型的基础上引入考虑边界连通性的背景度量方法来提高模型的鲁棒性和精确性。此方法可以对图像区域相较于图像边界的空间布局进行直观描述,并将其与经典的流形排序的显著性检测模型相结合,集成一个整体的显著性优化框架,进而对诸多低层级线索与背景度量方法进行整合,从而得到更具有鲁棒性、精确性的检测结果。然后利用不同基准数据集展开实验并进行对比分析,实验结果证明我们显著性检测算法的有效性。(2)针对单一模态的图像无法应对低光照、恶劣天气等复杂场景下的图像显著性检测,我们考虑融合多个模态的图像信息来改善这种情况。但是现有的以图模型为基础的图像显著性检测算法很多都是依赖单一图模型的,对于多种模态,显然需要获取多种图结构进行并行的学习。因此,本文还将研究基于多图学习的多模态图像显著性检测。具体来说,本文从多图学习的角度出发,利用可见光谱和热红外光谱两种模态的数据来进行多图学习,并使用马氏度量融合不同光谱数据以构建联合的多模态图模型。然后,并将其与流排序的图像显著性检测模型相结合构建显著性优化框架,结合多模态图像可以协同提取差异性模态显著性特征并自适应的融合获得更加良好的显著性检测结果。通过在两个多模态数据集上的进行对比实验以及结果分析,得出借助于联合多模态图模型相较于单模态的图模型而言,在图像显著性检测精度方面有了较为明显的提升。