多源信息融合的多目标跟踪技术是通过联合处理来自多个信息源数据,并提取目标的融合特征,实现多目标跟踪的全新技术。该技术能够解决多目标跟踪系统应用中精度不足的问题,在无人自主环境感知领域具有重要的研究价值。传统的多目标跟踪技术受传感器自身的限制,难以满足复杂环境下的目标跟踪要求。而利用不同传感器获取的异构信息,能够为目标跟踪提供完整有效的信息,有助于目标的高精度跟踪,是多目标跟踪技术的重要发展方向。本文开展了真实环境下的运动目标检测、运动目标特征提取、目标跟踪指派和身份信息管理等工作,并研究了图像和微动特征理论,主要内容如下:1.提出了一种基于毫米波雷达和运动目标微多普勒效应的目标识别算法。采用本文所构建的卷积网络结构,对时频变换后的雷达时频谱图进行特征学习,解决传统方法中对时频特征提取不充分的问题,改善了毫米波雷达在目标识别领域的缺陷,目标识别准确率的达到81.02%,召回率达到90.77%。2.提出了一种雷达信号的微多普勒信息和图片的纹理信息融合的目标识别算法。通过建立毫米波雷达和摄像头空间坐标系,运用联合标定的方法得到了观测场景中的感兴趣区域。并且搭建并行结构的融合目标识别网络框架,对多模态信息进行特征提取和特征融合,解决了信息模态的差异性与融合结果的有效性间的矛盾。本文所提出的融合模型的m AP（mean Average Precision,m AP）达到了89.42%,比单模态传感器的性能最多提升了32.76%。3.设计了一种基于毫米波雷达和改进的Deep SORT（Simple online and Realtime Tracking,SORT）框架的多目标跟踪算法。由于卡尔曼滤波和Deep SORT算法分别在雷达目标跟踪和视频目标跟踪中具有优势,将融合目标识别网络处理后的目标特征和卡尔曼滤波器获得的目标物理信息进行数据关联,实现了多目标跟踪。在融合采集的数据集上进行测试验证,该算法的MOTA指标达到82.54%,MOTP为80.46%,解决了在不同的光照、不同的视场,以及强电磁杂波环境的情况下单一传感器跟踪精度不足的问题。本文所提出的多源信息融合多目标跟踪算法通过理论研究分析和实测数据集的实验,验证了深度学习应用于时频运动特征的正确性,证明了算法的有效性。