【摘 要】
:
视频目标分割任务是计算机视觉领域中一个非常基础但又充满挑战性的问题。这个问题可以描述为:已知视频中目标在第一帧的分割掩膜,求解后续每一帧内对应目标分割的结果。视频分割技术作为大数据处理应用中的重要一环,在当代生活中发挥着越来越不可替代的作用。与此同时,视频目标分割技术已经在视频监控、虚拟现实、异常检测和自动驾驶等领域获得了广泛的应用。现存的方法主要有两个问题需要面对:第一点是在遮挡、外观变化大、背
论文部分内容阅读
视频目标分割任务是计算机视觉领域中一个非常基础但又充满挑战性的问题。这个问题可以描述为:已知视频中目标在第一帧的分割掩膜,求解后续每一帧内对应目标分割的结果。视频分割技术作为大数据处理应用中的重要一环,在当代生活中发挥着越来越不可替代的作用。与此同时,视频目标分割技术已经在视频监控、虚拟现实、异常检测和自动驾驶等领域获得了广泛的应用。现存的方法主要有两个问题需要面对:第一点是在遮挡、外观变化大、背景杂乱和光照变化等多种复杂环境下,很难将视频序列中的目标从背景中分离出来。第二点是这些方法需要在给定视频的第一帧的掩膜上对分割模型不断微调,这种做法不但耗时,而且非常低效。为了处理这些问题,本文提出了一种基于元学习的视频目标分割方法。具体来说,本文所提出的方法是通过超参数优化建立一个自适应的学习过程。下面从置信模式、元学习策略和网络设计三个方面改进现存的方法,具体如下:(1)基于双流置信模式的视频目标分割为了在自适应模型在线学习的过程中获取更准确的指导信息,本文引入了双流置信模式,用来对表观信息和运动信息进行建模。这里本文所提出的模型使用检测的方法建模表观信息,使用光流算法建模运动信息。论文所提出方法同时使用表观和运动信息构建双流置信模式约束的原因在于:使用这两部分信息相互约束获得的置信模式往往有更高的置信度,这对取得更好的分割结果非常有帮助。(2)基于超参数优化的快速视频目标分割现有的基于深度学习的视频目标分割方法主要是在测试视频序列第一帧上对分割模型进行适应微调,这是一种很耗时的方法,并且不能很好地适应当前的目标视频。为了更快更好地适应测试视频,本文利用不同视频/帧中的置信模式构建了在线自适应学习策略,并引入基于超参数优化的元学习方法来加速模型适应于特定目标,并把这种方法叫做元学习策略。本文利用元学习策略来评估网络在线自适应置信模式信息的能力,该策略可以综合运动信息和表观信息,在线指导网络权重的学习更新步骤。元学习策略包括四个阶段:预训练阶段、元学习训练阶段、元学习微调阶段和元适应阶段。(3)基于网络结构自优化的视频目标分割网络模型网络结构的设计对于深度学习方法来说非常的重要。一个合理的网络结构可以带来很大的的效果提升,所以本文也尝试了很多方法来优化网络模型。近年火热的网络架构搜索可以说属于广义上元学习的范畴,通过平衡模型大小和模型效果,找到最优秀的网络结构。最后,本文介绍并使用了通过基于梯度的网络架构搜索方法来设计的网络模型。实验部分,本文通过测试四个数据集,并综合了与其他现存比较先进的方法相比较得出的结果,证明了本文所提出的框架在单目标和多目标分割任务中都具有一定的优势。
其他文献
医疗图像分类是计算机辅助诊断领域的一个重要研究方向,该项技术通过处理医疗影像为医生提供辅助诊断意见,以提高诊断的准确率,从而帮助患者避免进行痛苦又耗时的病理分析。本文主要针对多模态脑瘤图像的分类问题展开研究。首先,本文认为现存的自然图像分类模型不能可靠地应用于脑瘤分类场景下,因为脑瘤在位置、形状、结构等方面具有不确定性,而且其核磁共振影像样本匮乏;其次,本文所研究的脑瘤数据包含多个模态(FLAIR
基于手机图像的人民币鉴伪方法的研究有助于维护人民币在国际上的声誉,保障我国金融安全,维护社会正常的经济秩序以及维护社会的稳定性,推进反假鉴伪工作,同时有助于人民币鉴伪在移动手机端的扩展,具有重要的研究意义和应用前景。本文基于手机人民币图像进行鉴伪技术研究与实现。具体工作如下:(1)建立了一个手机人民币图像真假数据集。通过对手机人民币图像鉴伪部位的分析,使用5种配置(三种手机四种分辨率,魅族16pl
雾霾中的目标识别、海底探测、水下成像、生物医学诊断以及酒水生产中的异物检测等实际应用场景中,均涉及浑浊介质中的目标检测问题。浑浊介质中散射粒子的后向散射导致目标信息被掩盖,目标检测、目标识别等工作的开展较为困难。本文将图像处理与偏振成像技术相结合,提出了基于偏振差分成像的浑浊介质中目标检测方法。首先,本文对基于偏振差分成像的浑浊介质中目标检测的研究背景及意义,以及国内外研究现状进行了分析。其次,阐
人脸肤质作为个人形象气质的重要表征,伴随着美容护肤意识逐渐深入人心,各种关于人脸肤质检测的产品也开始被市场接受。针对市场上主流的基于单一传感器的肤质检测仪功能较少的问题,以及功能完备的大型肤质检测设备成本高、体积大的问题,本文基于“硬件+软件”的思路设计了面向个人日常美容检测的肤质检测与评价系统,实现了对面部常见的肤色、油份、水份、纹理、毛孔、色素沉淀以及皮肤炎症7项肤质指标的准确检测与评价。首先
衍射光谱计算成像技术是计算光学成像的重要组成部分,在光学遥感领域具有重要的应用价值。不同于传统的成像光谱仪,衍射透镜成像光谱仪利用衍射光学元件同时实现色散和成像功能,具有光通量大、结构紧凑、性价比高、可凝视成像、易小型化、稳定性高等特点,发展前景广阔。但是在数据采集的过程中,准焦波段图像会受到其他离焦谱段图像的干扰使其变得模糊,如何从污染严重的光谱图像中恢复出清晰图像成了限制衍射光谱计算成像技术发
驾驶员姿态估计是人体姿态估计中的一个重要应用场景,在高级辅助驾驶系统中起着关键作用。作为一个中间层信息,驾驶员姿态估计可以帮助驾驶员状态检测系统识别驾驶员状态,判断驾驶员行为是否恰当且安全。一般来说,驾驶员3D姿态估计能够比2D姿态估计提供更多的信息。因此,驾驶员3D姿态估计成为了我们的研究方向。传统的人体姿态估计是基于可见光图像或深度图像,对于驾驶员姿态估计来说,可见光图像容易受到昼夜变化和环境
自进入信息时代以来,各种良莠不齐的信息充斥着人们的生活,不少境外势力和不法分子通过互联网散布和传播一些敏感信息,以煽动并引导网络舆情。以微博为代表的各种网络媒体包含了大量关于暴力事件、恐怖袭击事件、政治时事等话题的文本,这些文本反映了用户对事件的态度,观点和倾向。敏感信息识别作为避免网络舆论被恶意引导的重要手段,近几年成为了一个重要研究问题。本文针对网络文本中的暴恐敏感信息识别任务中的情感分析和敏
近年来,物联网发展迅猛,物联网设备已经走入千家万户,其数量规模呈爆发式增长。然而,物联网设备的普及在带来便利的同时也带来了安全隐患。物联网嵌入式设备大多在计算能力、存储能力等方面受限,这使得他们往往缺乏自我保护的能力。大量的物联网设备直接暴露在攻击者的视线内,导致物联网安全事件频发,物联网设备安全受到了广泛关注,保护物联网设备的安全成为物联网安全研究中的重点。远程证明允许一个可信实体验证远距离的、
对于大多数Android应用程序而言,网络在提供应用程序功能方面起着至关重要的作用,同时网络使用导致的错误占了应用程序崩溃的很大比例。由于许多与网络相关的错误只能在特定条件下触发(例如,当网络速度较慢时,网络响应需要较长的等待时间),因此现有的常规或GUI测试方法很难将其检测出来。据统计,较少有测试应用程序中网络使用情况的工作。为解决上述问题,本文从移动应用网络相关的错误展开研究,借助软件定义的思
子空间聚类是传统聚类问题的拓展,目的是将位于多个子空间的并集上的数据点分割到其相应的子空间中。稀疏子空间聚类(SSC)和基于低秩表示(LRR)的算法是最有代表性的两种子空间聚类算法。为了获取结构更加理想的系数矩阵,本文提出了基于图正则化的子空间聚类算法。子空间聚类算法的基本方法是,建立模型寻求数据理想的表示系数矩阵,然后通过增广拉格朗日乘子法求解模型,并根据系数矩阵构建相似度矩阵,最后用谱聚类的方