随着对高级辅助驾驶系统(ADAS)与无人车系统研究日益深入,基于车载传感器进行目标识别追踪的需求日益迫切。虽然毫米波雷达可以有效探测车辆前方目标的位置与速度信息,但也存在虚警较多且无法对障碍物进行识别的问题。随着近年来深度学习的兴起,使用相机进行目标识别跟踪技术中取得了巨大的进展。利用机器视觉不仅可以识别追踪前方的车辆目标,还可以识别出车道线、信号灯等信息。虽然机器视觉可以在目标识别追踪上取得了种种成果,但其同时也存在时效性不佳以及容易受天候、黑夜等因素影响的问题。将机器视觉与毫米波雷达进行融合目标识别可以互补不足,增强识别追踪效果。本文提出了一个结构化道路模型,其中包含车道线与车辆目标。利用相机识别出车道线目标与车辆目标,再与毫米波雷达识别追踪出的车辆目标进行融合。整个系统的机器视觉部分包含基于编码器-解码器神经网络框架的车道线识别追踪模块、基于卷积神经网络的车辆目标识别追踪模块;系统还包含了基于毫米波雷达的目标识别追踪部分,以及基于结构化道路模型的融合识别追踪部分。本文的主要研究工作如下:(1)提出了一种基于语义分割神经网络与聚类相结合的车道线检测算法。该算法利用一种端到端的卷积神经网络框架实现车道线像素分成不同类别,并从不同类别的车道线像素中拟合出车道线目标。实验证明,该算法能够在无先验车道信息情况下实现较好的检测效果,且有更好的适应性。(2)针对车辆目标检测中的难点——数据关联问题,提出了一种基于车道线的车辆目标关联算法。利用基于回归思想的神经网络实现相机对车辆目标的识别追踪,利用滤波器提升毫米波雷达的目标检测效果,在此基础上利用检测出的车道线数据,实现复杂环境中不同传感器目标的有效关联,并利用车辆目标与虚警目标在车道线模型中所表现出的不同特性,实现基于语义的虚警去除,最终得到了相对于单一传感器以及使用传统融合方法的异源传感器融合目标识别追踪方案更优秀效果。(3)利用相机成像原理以及毫米波雷达的探测原理建立起传感器的空间融合模型,利用内插外推法建立传感器的时间融合模型,在此基础上搭建测试平台,利用无人车平台采集数据建立实验数据集,并利用该数据集进行测试,结果验证了本文的车辆目标融合检测识别算法。