基于相关滤波和孪生网络的实时鲁棒目标跟踪算法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:xinxinde1986
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉目标跟踪作为计算机视觉最基本的研究领域之一,在视频监控、智能交通、人机交互、医疗诊断、辅助驾驶、视觉导航等诸多场景中有着广泛的应用。仅仅给定第一帧的任意感兴趣目标中心位置和目标框的大小,目标跟踪的任务是在后续的视频或图像序列中不断地估计该目标的位置和大小,以便为其它视觉任务提供数据信息。近年来,国内外学者对视觉目标跟踪进行了不少的研究,并在简单场景(如静态场景的刚性目标)取得了较好的跟踪精度,但在实际复杂场景中,目标会受到光照变化、快速运动、遮挡、背景杂乱等一种或多种因素的干扰,使得目标外观建模的难度增加,因此如何实现准确、高效、鲁棒地目标跟踪任务仍然具有很大的挑战。本论文在分析现有的优秀跟踪算法基础上,主要分别以相关滤波基本理论和深度学习方法作为算法的框架,围绕如何建立可靠的外观模型,在复杂多变场景下能有效抑制模型的退化进行深入的研究。本文的具体工作和创新点如下:(1)提出了一种在复杂场景下目标跟踪满足较快的跟踪速度和较高鲁棒性的跟踪方法。使用来自所有先前帧和当前帧的所有样本,构造了一个代价函数,利用加权平均二次误差最小化来训练分类器,通过增多训练样本在一定程度上可以提升分类器的鲁棒性;为了提升跟踪器的时间效率,使用了三种不同的策略,一是基于相关滤波理论,引入高斯径向基函数核方法,采用快速傅里叶变换技术,把空间域的计算引入到频率域计算中,降低时间成本;二是采用目标特征降维方法,保证目标特征维度减低的情况下仍然携带其关键信息,这样,即可以使得计算的时间成本大大减小,还能保持分类器的有效性;三是在检测响应得分中有效地执行三角多项式的插值,用子网格插值的方法来计算像素密集的响应得分,避免像素级的运算对计算量的影响。上述提升计算效率的方法还用到目标的尺度估计中,适应目标的尺度大小的变化。另外,通过扩大搜索区域,引入更多的正负样本,强化了分类器的分类能力;在模型更新方面,采用跟踪器的分子和分母同步插值更新的方法,且仅通过存储当前学习的模型来更新分类器。(2)提出了一种空间可靠区域限制的权重核相关滤波的跟踪方法。通过并行学习空间正则化的核相关滤波器和颜色直方图模型,建构鲁棒的外观模型:一是为了减少样本中不需要的边界效应,引入空间正则化分量来学习核相关滤波器,其不同样本处的正则化权重可以通过惩罚相关滤波器降低边界效应的影响,保持跟踪器的稳健;二是考虑到图片中的颜色所携带的信息,通过使用颜色直方图模型来构建空间可靠性图约束训练样。另外融合了包括HOG和HOI描述符在内的两个互补特征,以构建稳健合理的多通道目标特征描述,提升分类器的判别能力,最后采用跟踪结果的反馈机制来确定更新在线模型的方式。(3)滤波器固定的权重在跟踪器过程中不能适应目标种类变化和场景变化,强化目标特征描述和连续帧的时序信息也能抑制滤波器的退化,针对这些问题提出了一种基于目标深度特征和时空约束的相关滤波器视觉跟踪方法。融合不同卷积神经网络的浅层和目标的手工特征,对目标特征进行描述,以相关滤波为框架,在建构分类器的目标函数时,充分考虑到连续帧目标的时序信息和当前检测帧的空间信息,引入自适应的空间权重约束和时间一致性约束,利用ADMM技术最优化分类器。该方法的好处是不需要对分类器的模型进行更新,只需要对目标特征进行更新,结合不同卷积神经网络等多特征融合使得分类器的对目标定位能力大大提升,同时使用上述方法仅需手工特征能很好的解决目标尺度的问题。(4)提出了一种基于在线动态更新的孪生网络目标跟踪方法。该方法在深度学习框架内进行目标跟踪,其网络的模型结构和Siamese-FC跟踪器中的结构保持一致,同时,充分利用正负样本包含的信息,采用三元组损失代替逻辑回归损失来训练样本得到模型参数;在跟踪的过程中考虑目标外形的变化,利用所有跟踪前帧的目标模板学习到基于目标外观相似的变换参数;引入高斯权重分布,学习到基于背景抑制的变换参数,在训练好的网络中,利用上述两个参数,搜索区域的检测样本通过背景抑制与其前一帧通过目标外观相似的变换的目标进行相似性比较确定跟踪目标,该方法在不牺牲时间效率的同时,提升了跟踪器的性能。
其他文献
过去二十年,聚集诱导发光(aggregation-induced emission,AIE)领域蓬勃发展,人们开发了丰富多样的AIE分子,为基础科学的研究提供了大量分子模型和素材,也为新型高性能功能材料的开发提供诸多机遇和选择。其中,杂原子的引入是AIE分子实现多样化和功能化的充要条件。本论文首先回顾了部分有代表性的含杂原子的AIE体系,介绍了其结构、性质与机理,并列举相关创新型应用。然后基于当下
近年来多模态人机交互成为自然语言处理和计算机视觉领域的研究热点之一。本文主要聚焦于视觉(图像)印证下的语言理解与生成研究。考虑到人机交互的典型场景,智能人机交互系统应具备三种基本能力:回答问题、向用户提问、向用户讲述事件情节。因此,本文相应地关注以下任务:视觉问答、问题生成、视觉问题生成、故事结尾生成和图像引导的故事结尾生成。针对多模态文本生成过程中存在的对图文中的结构信息捕捉不够深入等问题,本文
金属成形是最常用的制造工艺之一。近年来船舶、飞机、汽车等行业快速发展,产品更新换代加速,产品的品种增多,所需要的板料弯曲成形也越来越多。不同于传统的薄板冲压成形,3D自由复杂曲面厚板成形一直是金属成形领域的挑战。传统的加工方法是水火弯板法,利用热应力使板材弯曲。因为加热和冷却效果很难预测,目前仍然在很大程度上依赖于熟练技工的经验操作。此外,这种方法效率低下且容易出错。近二十年来,研究人员提出了多种
有机光伏器件作为一类新型光电器件,因具有材料选择余地大、分子结构裁剪性强、可加工性好、易“卷对卷”连续印刷、对环境友好等诸多优势,在信息、能源等领域显示了巨大潜在应用价值,开辟了低成本、高性能光伏器件制备的新途径。在有机光伏器件中,活性层由聚合物给体和聚合物受体组成的全聚合物光伏器件(All-Polymer Solar Cells,APSCs)由于其良好的热稳定性和机械稳定性而被认为是一种极具潜力
发展新的清洁能源是全世界普遍关注的一个焦点。太阳能以其普遍、无害、量大、长久等优势成为人类社会应用最广泛的清洁能源之一。作为利用太阳能的有效途径之一的聚合物太阳电池凭借其成本低、质量轻、可柔性、可溶液加工并可大面积印刷制备等优势获得了科研和工业界普遍的关注。到目前为止,聚合物太阳电池能量转换效率已经超过18%。聚合物太阳电池能量转换效率的不断突破主要归功于新材料的创新,尤其活性层材料的开发是聚合物
农作物秸秆等木质纤维素中的纤维素和半纤维素可以通过预处理和酶解转化成糖类化合物,再通过生物法或化学法制备生物燃料和其他化学品,但目前仍然存在酶解效率偏低和酶解成本偏高的技术瓶颈问题。在木质纤维素酶解体系中添加具有最高临界溶解温度(Upper Critical Solution Temperature,UCST)的甜菜碱类化合物,酶解结束后通过过滤或离心去除酶解木质素,然后将酶解液降至常温,利用其温
研究背景:晚期肺癌患者通常携带有多种基因变异,既往研究表明EGFR突变和ALK重排对免疫检查点阻断剂(immune checkpoint inhibitors,ICIs)的治疗疗效有不好的影响,然而其潜在的作用机制尚不明确。PD-L1的表达和肿瘤突变负荷(tumor mutation burden,TMB)是已经被批准的ICIs治疗疗效预测性生物标志物,然而部分PD-L1阳性表达或者高TMB的患者
微流操控技术已经广泛用于精密制造、材料合成、生命科学和生物制药等高精尖领域,微液滴生成技术和微液滴操控技术是成功实现这些应用的基础。然而在微液滴生成技术和微液滴操控技术中依然存在诸多问题,如:生成的微液滴尺寸存在微小偏差以及很难实现对无明显物理特性的微液滴的非接触操控等。这些问题极大地阻碍了微流操控技术的发展。本学位论文以微流体为研究对象,通过研究微流体在多物理场耦合作用下的特性,提出了精密修正微
近些年有机太阳电池(OSCs)由于具有质量轻、成本低以及能够通过印刷方式制备等一系列优势而引起广泛关注。但其光电转换效率(PCE)相比于无机电池来说仍然较为逊色。为了提高OSCs器件效率,研究者们在新材料设计、形貌调控、界面工程以及物理机制等方面做了大量工作。此外,通过中间连接层(ICL)将两个具有互补吸收的子电池串联起来的叠层器件结构可以有效降低单结器件中无法同时避免的热损耗和透射损耗,是进一步
随着电子器件的高度集成和小型化,高效的热管理系统已成为维持电子设备稳定运行和出色性能的技术保障。其中,聚合物基导热复合材料(PTCs)以轻量化、绝缘、耐腐蚀、易加工等优势成为热管理系统中重要的组成部分。然而,目前大多数PTCs的基体都是来自不可再生的石化资源,且随着电子产品更新速度的不断加快,电子废弃物的急剧增长已对环境造成了严峻的挑战。在当前全球能源短缺和环境污染的双重威胁下,利用可生物降解的生