人脸检测和跟踪作为人脸识别系统中不可或缺的环节,其广泛的应用前景引起了学术界的高度关注。人脸检测和人脸跟踪在单一环境下的研究已经取得了突破性进展,但其在复杂环境中的表现仍欠佳,这是因为复杂环境包含的很多不确定性因素,例如光照变化、遮挡、面部角度变化以及图像分辨率等,会不同程度制约人脸检测和人脸跟踪的性能。本文对复杂背景下的人脸检测和人脸跟踪算法进行了研究,具体工作如下:(1)研究了一种由粗到精的人脸检测算法。对现有的通用目标检测模型Faster R-CNN和YOLOv3进行研究,并改进使其适用于人脸检测任务。分析两种模型的特点后提出了一种由粗到精的面部检测算法,该算法通过构建包括特征提取、面部边框粗定位和面部边框精定位三个模块的深度卷积神经网络,完成对面部候选区域的两次分类任务和级联的两次位置回归任务。在WIDER FACE数据集上的实验结果表明,该算法对复杂背景下的人脸检测率达76%,与Faster R-CNN准确率相当,但检测速度快了10倍。(2)建立了新生儿面部数据库。对获取的新生儿面部图像或视频进行预处理并制作样本标签,建立了一个背景复杂、面部存在遮挡、面部角度多变及面部状态变化的图像样本库。使用该数据库对所研究的检测算法进行仿真实验,获得适用于新生儿面部特征的检测器。实验表明改进后的YOLOv3检测效果最佳,其采用K-Means聚类获得更符合新生儿面部尺寸的先验框使检测准确率达99.43%。(3)研究了多任务实现人脸关键点检测。提出的一种由粗到精的面部检测算法采用多任务学习同时实现面部五个关键点(左眼中心、右眼中心、鼻尖、左嘴角、右嘴角)位置预测。利用面部检测结果和关键点检测结果对人脸进行校正。一方面,校正后的人脸可降低识别系统后续步骤的操作难度;另一方面,实验结果显示加入关键点检测使新生儿面部检测率提高0.5%,关键点检测起到了一定的监督作用,提升了面部检测质量。(4)研究了结合孪生网络和候选区域推荐网络的跟踪算法,并将其应用在新生儿面部跟踪中。跟踪器中跟踪框的初始化信息来自YOLOv3对新生儿视频序列的第一帧图像进行面部检测的结果。通过对比由不同训练集获得的跟踪器跟踪效果发现,人为添加更具语义信息的难分样本可以提高跟踪器的判别能力和鲁棒性。