基于深度优化的时空一致性显著物体检测研究

来源 :河北工业大学 | 被引量 : 0次 | 上传用户:yanzhijianer
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频显著物体检测旨在利用计算机快速有效地从视频中获取感兴趣区域,有助于后续的目标提取或者定位等处理。视频由于摄像机抖动、光线变化、镜头突变切换和摄像机运动等因素,容易产生物体形变,模糊和无意义背景干扰等问题,这使得显著物体的检测任务面临着巨大的挑战。视频显著物体检测分为基于手工特征方法和基于深度学习的方法。基于手工特征方法采用无监督机制,准确率较基于深度学习的方法低。基于深度学习的方法大多是有监督的方法,需要大量数据标注。现有的方法中有结合手工特征和深度学习进行视频显著物体检测,但是仍然存在复杂场景中的显著物体检测精度较低的问题。针对上述问题,本文提出了一种基于深度优化的视频显著物体检测模型,在深度学习模型中融合时空一致性,能够提高对复杂场景中的显著物体检测准确度。本文主要的工作和创新点如下:通过对基于手工特征进行时空建模的研究,本文提出了时空一致性的视频显著物体检测模型,包括时空域、空域和时域三个模块,进行显著性分析,抑制背景噪声,提取共同显著的物体。在时空域中,利用全局运动信息检测出运动变化显著的区域,为了降低运动背景的干扰,利用背景加权方法与自适应融合时空梯度流场图方法得到时空变化一致的显著区域(时空显著图);在空域中,利用局部和全局对比度检测与背景特征差异明显的区域,得到使物体边缘更加精细的空间显著图;在时域中,通过对比相邻帧间颜色和运动特征的相似性获得时间域一致显著的物体(时间显著图)。最后通过非线性融合三个模块生成的显著图获得时空一致性增强的视频显著图。针对基于手工特征的模型中物体边缘模糊和细节缺失的现象,本文构建了双通道显著物体精细化网络进一步提高显著物体的完整性和准确性。该网络分为并行的两个通道(初始特征通道和优化特征通道),通过神经网络内嵌(Neural Network Embedding,NNE)从原始视频和视频显著图中获取像素和前景/背景特征,映射到同等度量空间以匹配最邻近的属性。初始特征通道采用VGG-16特征提取器来感知图像局部信息,为了增强特征的抽象表征能力,在初始特征通道的基础上添加特征优化模块(Feature Optimization Module,FOM)构成优化特征通道,以解决类间近似的特征映射后出现差距增大的问题。为了获得更好的分类效果,损失函数结合了双通道像素分类的输出结果,促使网络准确有效地捕获边缘清晰和细节精细的显著物体。本文在DAVIS、Segtrackv2和Vi Sal数据集上进行了定性和定量评估,实验表明,基于深度优化的时空一致性模型进一步提高了基于时空一致的模型准确性,与先进的视频显著物体检测算法相比,本文方法在复杂场景中的显著物体检测更具鲁棒性。
其他文献
伴随着互联网行业的迅速崛起,当下社会正在实现从信息时代到大数据时代的转变。作为集成大量学生校园行为数据的校园一卡通系统,在高校信息化的发展中已经得到了广泛应用,给学生带来了极大便利,也积累了海量的学生校园行为流水数据。学生学习成绩作为衡量学校教学质量的一个重要指标,对于学生的成长发展和教师检验教学成果均十分重要。挖掘隐藏在校园一卡通数据背后的信息,分析学生行为与成绩之间存在的潜在规律,成为高校和研
鲁迅在《且介亭杂文二集·“题未定”草七》中说:“我总以为倘要论文,最好是顾及全篇,并且顾及作者的全人,以及他所处的社会状态,这才较为确凿。要不然,是很容易近乎说梦的。”作者创作这两篇散文的社会状态分别是这样的:《记念刘和珍君》写于1926年,正值全国革命高潮的到来,
期刊
近年来,我国持续推动绿色发展,不断促进经济发展与生态文明建设的统一,提出了诸多重要部署以打好生态环境治理攻坚战,这要求我国充分发挥制度优势,在构建污染防治行政机制的同时,也要重视生态产品价值实现机制的创新构建,促进生态补偿制度的多元化与市场化,从而让生态产品投资行为获得足够回报,深刻践行“两山”理念。本文将结合《生态产品价值实现:路径、机制与模式》一书,简述生态产品价值实现的理论基础,同时探
期刊
基于捷联惯导原理的MEMS惯性导航定位技术日益受到重视,由于MEMS陀螺仪精度的限制和捷联惯导的积分解算方式,使得载体姿态估计的误差不断累积,难以实现长时间的精准定位。本文针对室内惯性定位的应用场景,研究采用单目视觉校正惯性姿态估计误差的方法。论文主要工作如下:(1)视觉绝对姿态辅助惯性定姿算法。通过视觉系统获取室内特征参照物的图像,结合已知的参照物姿态,利用透视投影原理,获得当前时刻基于视觉信息
近年来,随着我国经济建设和社会生产力的快速发展,空气污染已经成为大众和政府特别关注的重要话题。利用日趋成熟的数据挖掘手段,通过关联性理论方法,从空气质量数据中挖掘有价值的隐藏信息,通过分析,得到隐含在海量数据中的关联规则,对空气环境治理决策的制定具有重要意义。基于频繁模式增长(FP-growth)算法思想提出的关联规则算法,存在建树过程复杂,计算支持度繁琐的问题,导致挖掘效率较低。为此,论文提出了
皇冠梨在出口海外市场的过程中,会产生内部腐败变质而外观无明显变化的现象,从而导致商品会被全部拒收,造成巨大的经济损失。另外,在其品质检测过程中一直使用有损检测技术的感官评定方法,该方法一方面检测样本较少,覆盖面较小;另一方面其结果可靠性差、可重复性差。因此,本文特提出一种新型的无损检测技术,分别建立基于电子鼻嗅觉特征和视觉图像特征的皇冠梨分类模型,并将基于电子鼻技术和机器视觉技术的融合技术应用于皇
因果关系反映了事情之间先后相继、由因及果的发展关系。专利文本中的因果关系体现了专利的技术核心,有助于精准挖掘专利信息,也有助于专利知识图谱的构建。虽然因果关系抽取是自然语言处理领域一个经典的研究方向,但针对专利语料方面的研究较少。目前用于因果关系抽取的方法中,存在隐式因果关系抽取困难,边界识别模糊的问题。针对这些问题深入研究,主要工作包括:(1)构建专利因果指示词表。针对隐式因果关系抽取困难问题,
空间分析一直以来都是研究的热点课题,课题研究人员针对空间分析研究过程中遇到的各种问题提出了大量的解决方法。空间数据通常包含位置信息以及感兴趣的属性信息,空间数据分析是对空间数据提取或创建一组关于地理特征的新信息以对地理区域中的数据进行常规检查、评估、分析或建模的过程。对空间数据建立空间分析模型,有助于增强空间数据的估计和预测能力,提高数据的解释性和理解性。本文研究了栅格数据回归模型、地理统计数据回
During Photovoltaic solar cells manufacturing,visual defects inspection is carried out to guarantee the product quality and life span of solar cells.Solar cell surface defects can be classified into c
学位