基于多图学习的多模态图像显著性检测算法研究

来源 :安徽大学 | 被引量 : 0次 | 上传用户:shumoljw
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体图像处理技术的进步和发展,图像数据快速的增长,如何高效地从这庞大的图像数据中提取出人们感兴趣且有价值的信息,并有效地滤除掉过多的冗余数据成为了目前图像处理和计算机视觉领域亟待解决的问题。近年来,视觉显著性检测作为计算机视觉中的重要分支之一,能够辅助并改善一系列的视觉处理任务,已经被广泛地应用到了场景分类、视觉跟踪、目标重定向、语义分割等众多领域中,成为了一个炙手可热的研究课题。虽然在特定测试数据集以及简单场景下,对于单模态图像显著性检测的研究已经达到了很高的水平,但是由于其算法缺乏泛化性,在图像光照条件差、恶劣天气、颜色相近以及图像包含噪声等复杂场景下的显著性检测精度仍有待提高。近年来,由于各种成像技术的不断成熟,其他类型的光谱成像获取的数据越来越多(其中热红外图像就对光照不敏感),使得相关领域的科研人员开始尝试融合多个不同但互补的多模态信息,如可见光和热红外信息(RGB-T),这在一定程度上提升了显著性检测的精度和鲁棒性。因此,本文将围绕图像显著性检测及多模态图像显著性检测展开研究,具体来说,我们的主要工作如下:(1)传统的关于显著性的研究立足于对图像的结构划分并且构建图模型,然后在图模型的基础上进行显著性平滑、分布的研究。现有的图像显著性检测算法的大多是运用两个先验信息:背景先验和边界先验,来辅助其他的显著性线索(比如对比度),以达到良好的显著性检测结果。然而,它们对边界先验的使用较为脆弱与简单,同时与其它线索的融合基本上为启发式。针对这一问题,本文在图模型的基础上引入考虑边界连通性的背景度量方法来提高模型的鲁棒性和精确性。此方法可以对图像区域相较于图像边界的空间布局进行直观描述,并将其与经典的流形排序的显著性检测模型相结合,集成一个整体的显著性优化框架,进而对诸多低层级线索与背景度量方法进行整合,从而得到更具有鲁棒性、精确性的检测结果。然后利用不同基准数据集展开实验并进行对比分析,实验结果证明我们显著性检测算法的有效性。(2)针对单一模态的图像无法应对低光照、恶劣天气等复杂场景下的图像显著性检测,我们考虑融合多个模态的图像信息来改善这种情况。但是现有的以图模型为基础的图像显著性检测算法很多都是依赖单一图模型的,对于多种模态,显然需要获取多种图结构进行并行的学习。因此,本文还将研究基于多图学习的多模态图像显著性检测。具体来说,本文从多图学习的角度出发,利用可见光谱和热红外光谱两种模态的数据来进行多图学习,并使用马氏度量融合不同光谱数据以构建联合的多模态图模型。然后,并将其与流排序的图像显著性检测模型相结合构建显著性优化框架,结合多模态图像可以协同提取差异性模态显著性特征并自适应的融合获得更加良好的显著性检测结果。通过在两个多模态数据集上的进行对比实验以及结果分析,得出借助于联合多模态图模型相较于单模态的图模型而言,在图像显著性检测精度方面有了较为明显的提升。
其他文献
目的:本研究通过混合餐测试评估由胰腺外分泌疾病引起的3c型糖尿病(type 3c diabetes mellitus,T3cDM)患者的胰腺内、外分泌功能,探讨其内、外分泌间的相互联系。并与2型糖尿病(type 2 diabetes mellitus,T2DM)比较,为T3cDM的早期诊断及临床鉴别提供依据。方法:(1)研究对象通过既往住院患者随访、在院患者、社会招募等多种方式募集,研究对象根据诊
研究比较了抗裂荔枝品种‘怀枝’和易裂品种‘糯米糍’果皮中钙的含量,并用电子探针技术(X-射线电子散射能谱,X-Ray electron d ispersive spectrum)分析了两者钙的显微分布
<正> 我国的诉讼费用的历史发展大致如下:新中国成立后的50年代初,我国局部地方一度试行诉讼收费。不久便因接二连三的政治运动而废止。80年代初,上海、重庆、福建和山东等地
专家如是说 “不能限制私企做大” 岳颂东 国务院发展研究中心副局长 大型私营企业“私”到一定程度上会变成“公”。首先,上交的各种税金起码占1/10成了国库的公款;其次,建
随着我国对外开放和市场经济的不断发展,非诉讼业务已经成为律师业务中非常重要的组成部分。非诉讼业务与诉讼业务在服务形式、内容方面有较大的差异,对从事这一业务的人员在
【正】在新的历史条件下,邓小平紧紧把握国内大变革与世界格局大转折的脉搏,坚持历史与现实的有机统一,创造性地运用马克思主义的立场、观点和方法分析新情况、解决新问题,进
目的:探讨金雀异黄素(gen)衍生物5,4'-二-正辛烷氧基-7-二氟亚甲基异黄酮(5,4'-Di-noctoxyl-7-gem-difluoromethylenegenisteinDOdFMG)体外选择性抑制人乳腺癌细胞增殖和诱导凋亡作
目的:探讨骨桥蛋白(OPN)和基质金属蛋白酶MMP-9在宫颈癌组织中的表达及其与宫颈癌临床病理特征的关系。方法:采用免疫组化链霉素抗生物素蛋白-过氧化物酶连接染色法(SP法),检
您有否想过,电脑作为一种工具在为您服务的同时,它在工作的时候也是一个辐射源,会源源不断地向外发放辐射。如果您的机箱防辐射效果不佳.那么您就会整天暴露在辐射之下,身体健康就
【正】江泽民同志在中共十五大报告中指出:“实践证明,作为毛泽东思想的继承和发展的邓小平理论,是指导中国人民在改革开放中胜利实现社会主义现代化的正确理论。在当代中国,