疲劳驾驶是造成交通事故的重要原因之一,因此研究并开发一种能够精确检测驾驶员疲劳状态的驾驶员疲劳检测系统,对汽车安全性的提升有着重要意义。针对现有的驾驶员疲劳检测方法存在检测精度低、鲁棒性差、未充分考虑时间序列上的变化规律等问题,本文采用基于机器视觉和多模态特征融合的方法对实际驾驶环境下驾驶员疲劳检测方法进行了研究。本文主要研究内容如下:(1)驾驶员面部有效区域提取针对实际驾驶环境,建立了一个基于回归树集合的级联回归器以用于检测驾驶员面部关键点,并依据驾驶员面部关键点提出了驾驶员面部有效区域提取方法。基于并行的回归树建立弱级联回归器,利用多个弱级联回归器组成强级联回归器以用于检测驾驶员面部关键点,同时对回归树中结点划分的误差函数进行拓展以解决数据集中标签部分缺失的问题。然后,基于驾驶员面部关键点之间的相对位置关系,对驾驶员面部关键点、眼睛图像及嘴巴图像进行提取。(2)驾驶员面部行为感知模型建立了基于深度学习的驾驶员面部整体特征检测模型。该模型通过一个深度神经网络对驾驶员面部整体特征进行粗处理,并将其处理结果作为驾驶员疲劳检测的参考信息。建立了用以分析驾驶员眼睛/嘴巴状态的深度压缩卷积神经网络模型。该模型在多通道卷积神经网络的基础上,添加了残差连接以提升模型的整体表现;深度模型压缩策略在不显著影响检测准确率的基础上大大降低了模型的参数量和计算量,提升了驾驶员眼睛/嘴巴状态的检测效率。建立了驾驶员视线区域估计模型。该模型将驾驶员面部关键点间的相对距离和角度关系作为驾驶员头部姿态估计特征,并通过对二值化处理后的驾驶员眼睛切片进行统计灰度计算得到驾驶员瞳孔位置,最终将驾驶员头部姿态估计特征和瞳孔位置作为特征输入,馈入随机森林以估计驾驶员视线区域。(3)多模态特征融合模型的建立与优化策略建立了多模态特征融合模型。为检测驾驶员疲劳状态,基于长短期记忆神经网络和双向循环神经网络建立了双向长短期记忆神经网络模型。该模型融合了驾驶员面部多源特征,以驾驶员面部整体特征、眼睛状态、嘴巴状态及视线区域等驾驶员面部行为感知结果为输入,以二分类的疲劳状态为输出,充分考虑了驾驶员疲劳状态在时间序列上的变化规律。针对所提出的多模态特征融合模型,在参数初始化、自适应学习率、批量标准化、超参数选择及表示学习等深度模型优化策略方面进行了分析和选择。(4)驾驶员疲劳状态检测建模基于驾驶员眼睛、嘴巴状态检测及视线区域估计的结果,计算了 PERCLOS、闭眼持续时间最大值、驾驶员视线离开安全区域的持续时间等疲劳特征,并以此分析了基于单模态特征的驾驶员疲劳检测模型的表现,并与基于多模态特征融合的驾驶员疲劳检测模型进行了实验对比,验证了多模态特征融合模型的有效性。