基于多传感器信息融合的目标检测与跟踪技术是利用两个或多个传感器的冗余和互补信息完成场景中目标的检测识别与跟踪。21世纪以来,随着传感器成像质量和探测精度的大幅提升,该项技术已被广泛应用于无人机自主巡航、车辆辅助驾驶以及视障人群视觉增强等社会生产生活的诸多领域。近年来,虽然多传感器信息融合的目标检测与跟踪技术已在检测精度和跟踪准确性等方面取得显著提高,但当场景中包含多个运动目标且目标间存在遮挡现象时,现有的目标检测与跟踪方法鲁棒性较低。此外,现有的传感器标定方法存在操作繁琐、标定可靠性差等难题。针对以上问题,本文主要研究基于可见光与毫米波雷达数据融合的目标检测与跟踪关键技术,并研发多传感器信息融合系统,本文的主要研究内容及贡献如下:1.针对现有的目标检测与跟踪方法在遮挡场景下鲁棒性较低的问题,本文提出一种基于改进匈牙利算法的深度学习目标检测跟踪模型。首先,采用YOLOv4网络对当前帧的图像进行目标检测,进而由卡尔曼滤波器预测目标的下一帧位置;然后,构造联合面积交并比和颜色直方图的改进匈牙利算法,对前后帧目标进行关联匹配;最后,利用基于区域的质量评估网络对连续多帧图像目标进行加权匹配,以消除运动遮挡对目标跟踪的影响。实验结果表明,本文方法能够有效提高复杂遮挡场景下目标检测跟踪的准确性与鲁棒性。2.针对现有的传感器标定方法存在操作繁琐、标定可靠性差等问题,本文提出了一种基于单应性变换的可见光与毫米波雷达外部标定方法。首先,利用雷达扫描平面与地面平行的特点,构建雷达扫描平面和可见光图像平面之间的单应性变换关系;然后,提出基于单应性变换矩阵的可见光与毫米波雷达传感器外部标定模型,依据可见光图像与雷达数据点对齐方法完成传感器的数据标定。实验结果表明,本文方法相对现有方法具有标定精度高,步骤简单的显著优势。3.针对多传感器目标检测与跟踪的时效性问题,本文研发了基于可见光与毫米波雷达数据融合的目标检测与跟踪系统。首先,介绍了多传感器数据采集系统的硬件和软件平台;然后,提出了一种可见光与毫米波雷达数据的决策级融合策略;最后,对本文多传感器融合系统进行外场测试,测试结果表明,本文研究的可见光与毫米波雷达数据融合目标检测与跟踪系统在晴天、阴天、傍晚、夜晚等多种天气条件下具有很好的检测准确性和跟踪鲁棒性。