近几年,随着图像处理器(GPU)技术越发成熟,深度学习在图像处理众多任务中均取得突破性进展。其中基于深度学习的目标检测算法和目标跟踪算法发展十分迅速。目标跟踪算法因尺度变化、遮挡、背景复杂、目标消失等原因提高跟踪难度,甚至导致跟踪失败。为解决这个问题,本文主要基于深度学习的目标检测算法和基于深度学习目标跟踪算法进行研究,研究内容包括:本文构建用于检测的无人机数据集。为提高数据集小尺度无人机检测精度,本文首先结合残差模块思想改进SSD目标检测算法。本文利用残差网络优化目标检测模型的深度,随着检测网络模型的深度增加,特征信息变得更加多样化,且残差结构使得网络的输出对输入变化更为敏感,所以改进算法针对小尺度无人机目标的检测精度有明显提高。其次本文基于轻量级神经网络MobileNet_V2改进目标检测算法,在MobileNet_V2的基础上额外添加卷积模块来对目标进行检测,MobileNet_V2中使用深度可分离卷积和反向残差结构,其有效减少模型的参数量,提高模型的检测速度。之后,提出一种应用于复杂背景视频中的基于轻量级目标检测算法矫正的目标跟踪算法。首先在核相关滤波跟踪算法中,引入一种用于判断跟踪状态的置信度参数(APCE)。其次轻量级目标检测算法用于目标跟踪和纠正,跟踪失败时,轻量级目标检测算法将找到目标的位置并再次进行跟踪。该算法更加适用于复杂背景中出现的运动模糊、目标消失、运动速度快等复杂情况。本文提出的算法更稳定,既保证跟踪算法能实现长时间目标跟踪,还保证跟踪算法的实时性。本文研究复杂背景下基于深度学习的单目标无人机跟踪算法,在一定程度上解决复杂背景情况中背景混淆、目标消失等因素导致跟踪失败的问题,提高单目标跟踪算法的性能和鲁棒性。