基于网络调制的协同目标分割算法研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:cynosure
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
协同目标分割是一种对多张相关图片中的共同类别物体进行分割的技术,其着眼于多张图片中的共性特征,挖掘同类别图像间的共同模式,在计算机视觉领域有着广泛的应用场景。传统方法大多根据图像的明暗、色彩或者手工设计的边缘特征对不同的区域聚类,受制于有限的特征表示能力,在图像模糊、不均匀光照等复杂场景下难以实现正确分割。近年来深度学习的兴起,基于卷积神经网络的算法凭借海量数据和强大的特征表示能力,在性能上大幅领先。本文利用深度卷积神经网络的技术,在基于网络调制的协同目标分割方法上做出探索性和创新性的研究,并取得了以下成果。本文提出了一种结合空间调制和语义调制的深度协同目标分割网络框架,思路新颖且性能优异。首先通过主干网络提取多尺度的图像特征作为分割网络的输入,其次设计了一个空间调制器模块用来捕获多张图像特征描述间的相关程度,通过无监督学习学到的一组粗糙的掩码可以在抑制背景的同时,定位共性的前景目标位置。考虑到协同目标其实拥有着共同的类别,于是将语义调制器模块建模为一个图像分类的任务,提出了一种级联的二阶池化模块用于图像特征的转换,通过监督学习得到协同目标的类别预测向量。最后,两个调制器模块的输出和主干网络的多尺度图像特征,以调制的方式共同作用于分割网络上,将特征聚焦于协同目标从而实现分割。该方法为端到端训练且无需任何后处理,在四个公开的协同分割基准数据集上取得了优越的分割精度,在其中难度最大的PASCAL-VOC数据集上对比同期方法提升2.7个百分点。在上一个工作实现的协同分割算法的基础上,本文进一步加深研究,探索实例级的协同目标分割,即对协同物体的每一个实例得到一个分割结果。首先,借助协同峰值搜索技术找到协同分割结果中的峰值点,然后利用峰值反向传播在原图上得到实例级的响应图,通过无监督方法获得图像的多个实例建议区域。最后,对协同分割结果、实例响应图和建议区域进行综合打分排序,选择得分高的为最终分割结果。该方法不需要图像的实例分割标签来训练,降低了对训练数据的要求,有效地拓展了从协同目标分割到实例级协同目标分割的研究深度。该方法在两个公开的实例级协同分割基准数据集上的指标均大幅超越了基准方法,在其中难度较大的VOC12数据集上提升了5个百分点。
其他文献
作物株高的测量是农作物自动观测中的重要环节,它能直接反映作物的生长情况。本文将图像处理和FPGA硬件架构结合起来实现自动的实时作物株高测量系统,并将其广泛应用于农作物或景观植物的自动观测中,通过测量的株高信息反馈植物生长态势,指导进行人工干预的时机。本系统通过摄像头采集标尺图像,通过识别未被遮挡的标尺实现作物株高测量。本文首先研究了标尺图像识别及株高测量的具体算法并对其进行仿真验证;然后设计实现了
乳腺癌具有极高的发病率和死亡率,是一种对女性健康具有重大威胁的恶性肿瘤。在患者确诊为乳腺癌后,如何快速准确的针对不同的患者制定合适的治疗方案至关重要。临床上新辅助化疗正逐渐成为乳腺癌的主要治疗方式,且治疗后达到病理完全缓解的病人五年生存率很高。由于不同患者在新辅助化疗后治疗效果各异,化疗无效的患者极可能错过最佳治疗时机。因此急需一种无创式的评估和预测方法,对患者的治疗效果进行预测,辅助医生选择合适
目标跟踪作为计算机视觉中的一个热点问题,广泛应用于导弹定位、视频监控和无人机侦察等众多领域。近些年来,尽管基于孪生网络的目标跟踪算法蓬勃发展,但是在速度和精度上仍然受到一些复杂场景的限制,以至于无法得到有效的实际应用。其主要问题在于孪生网络算法的特征提取框架太浅以及无法在线学习,导致模型的判别性较弱。为解决上述问题,本文主要研究基于孪生网络的目标跟踪算法,主要贡献如下两点。首先,为了解决全卷积孪生
近年来,随着现代无线通信技术的发展,无线通信系统必须适应不断增长的用户数量,才能满足对新业务的需求。在这种背景下,基于多输入多输出(Multiple Input Multiple Output,MIMO)的通信系统能够在发射机和接收机上提供高速传输,同时保证服务质量引起了很多学者的关注。本文主要围绕MIMO信道建模进行研究,针对公路场景建立了不同的信道模型,深入研究了MIMO信道模型的天线阵列,概
由于成像系统及环境设备的缺点,图像不可避免会在采集、传输和存储等过程中受到污染导致质量下降。因此,图像复原是数字图像处理研究领域中的一项最基础的任务之一,并且它在后续图像的处理与应用中扮演着十分重要的角色。传统全变分在复原图像时因具有很好保存图像边缘信息的优点,被广泛应用于图像复原问题中。然而,由于全变分模型假设图像是分段光滑的,所以在复原过程中容易产生阶梯效应。为了进一步提高图像复原的质量,本文
随着智能手机等智能终端的普及,原来面向高性能配置服务器硬件上的图像处理和深度网络手写识别方法表现优秀,但是由于计算量太大,很难直接推广应用到存储和计算资源都有限的智能终端硬件上。为解决图像处理和深度网络计算量过大的问题,本文重点研究了面向智能终端的图像快速处理和轻量级深度网络手写识别方法。首先,为了加快智能终端上的图像处理速度,采用了图像快速压缩,图像灰度化增强,高斯滤波加权平均去噪,迭代最佳二值
冰雹灾害每年都会给人民以及国家带来巨大的经济损失,所以准确的识别冰雹灾害对人民财产以及国家设施的保护起着重要的作用。目前,研究学者大多通过对冰雹云的多普勒雷达回波进行分析,从而实现冰雹灾害的预警与识别,但是识别结果还会存在一定的误差。本文提出从图像的角度出发,对降落的冰雹进行检测,将图像处理技术作为雷达检测的后验方法,进一步提高雷达预测识别的精准性。本文对图像检测算法中存在的热点、难点进行了重点的
目标跟踪是计算机视觉领域里的一个研究热点,并广泛应用于视频监控、交通、人机交互等生活领域中。近年来,跟踪算法的性能不断提升,但是在面临复杂场景时,设计一个高鲁棒性的跟踪模型仍然是个难题。针对传统跟踪算法存在的不足,本文在相关滤波框架的基础上进行了以下一些研究:针对传统相关滤波跟踪方法的空间正则化权重与目标内容无关和跟踪过程中模型发生退化等问题,提出一种基于时间感知和自适应空间正则化的目标跟踪算法。
随着社会电子产品需求量的剧增,对于PCB焊接流程工艺的要求不断提高,但是PCB焊接流程中的定位支撑工作仍然需要人工完成,这样既增加了人工成本,又提高了人为误差风险,针对此问题本文提出了基于机器视觉的PCB板定位支撑系统的课题,致力于用机械取代人工。首先,本文介绍了选题的意义及目的,阐述了机器视觉的国内外发展现状。针对PCB板的识别定位系统设计问题,设计了总体系统的软硬件。其次,为了解决系统中视觉标
人脸年龄合成是研究某个人过去和未来相貌的一门技术,这项技术在现实生活中有很广泛的应用,例如寻找失踪人口,影视娱乐,公益项目宣传等。但众所周知,人脸图片中包含很多重要信息,如:性别、表情、身份、年龄等,如何获取这些信息以及如何保留更多的有效个人面部信息,使生成的图片更像本人值得深入研究。此外,由于数据稀缺,人脸年龄合成领域的研究始终面临巨大的挑战,如何解决数据稀缺的问题也值得深入探讨。针对上述问题,