目标检测和视觉跟踪在计算机视觉领域是两个非常重要的任务,在生活当中也具有广泛的应用,比如智能驾驶中的物体检测与跟踪、监控视频的自动化监测等。借助于深度学习的技术,具有大量已标注数据的目标检测任务已经取得了非常好的结果,但在某些任务中无法满足这样的条件,比如无法获得太多的稀有动植物的图片。在这样的条件下,单样本的目标检测仍处于探索阶段。数据量少、同类别中的个体多样性、视角多样性以及环境因素等都给单样本的目标检测带来了困难。而视觉跟踪和单目标检测任务又有相似之处,二者都具有单样本学习的共性,都是从单张图片中的物体获取特征。但任务目标有所不同,前者更关注同类的多个物体,后者则关注不同帧中的同一个物体。现有的跟踪框架多用互关系计算类内物体的相似性,不太关注类间物体的特征比较。针对以上问题,本文通过研究单样本学习,并结合目标检测和视觉跟踪各自的特点进行框架设计,有效地提高单样本检测和单目标跟踪两种任务的精度。第一,当给定一张样例图片,而新的图片当中仅存在少量需要检测的物体时(存在其他类别物体的干扰),本文设计了一个全新的框架对同类物体进行识别和定位。该框架结合传统特征和深度学习的特点,分别进行轮廓上和语义上的物体相似性比较。再根据检测出的结果进行二次检测的优化,用来得到最终的结果。该方法在Pascal VOC,UIUC CAR和Caltech 101数据集上都取得了不错的效果。第二,对于图片当中包含多个需要检测的物体且干扰较多,情况复杂时,本文提出了两阶段平行比较网络(TSPCN)来加快检测速度,提高物体检测的准确度。通过特征金字塔来提取不同大小的proposal(即可能存在目标物体的包围盒),并将不同proposal的语义特征进行通道维度上的叠加来进行相似性比较和边框回归。针对单样本检测任务的特殊性重新设计分类和回归方法,使得语义信息得到更好的利用。该方法在Pascal VOC,UIUC CAR和Caltech 101数据集上取得了很好的结果,处理复杂图片的能力更强。第三,本文通过改进现有的视觉追踪网络结构,结合多层语义特征,从类间和类内两个方向比较跟踪物体的相似性,在没有损失追踪效率的前提下提高了追踪的精度。综上所述,本文通过对单样本学习的研究,结合目标检测和视觉跟踪各自的特点,提出了新的单样本检测框架并改进了现有的视觉跟踪网络。在两类任务中都取得了较好的结果。