近年来,随着国家对于自动驾驶技术的高度重视,行人检测系统作为自动驾驶的核心环节也随之得到广泛关注,它可以被运用到交通检测、视频监控和智能机器人等领域。当前基于可见光图像的行人检测算法虽然取得了较大进展,但是在低光照或夜间等恶劣条件下的检测器性能会出现急剧下降。利用可见光和远红外图像融合的方式可以有效缓解全天候行人检测问题,然而当前基于可见光和远红外图像特征融合的行人检测（简称多光谱行人检测）方法存在计算复杂度高、检测框定位不准确、行人模式特征表达能力弱和检测器运行效率较低等问题。针对以上问题,本文主要研究全天候场景下的高性能实时多光谱行人检测,以基于深度学习的可见光和红外图像特征融合算法作为切入点,对小尺度目标漏检率高、模型计算复杂度高、特征冗余和多模态特征盲目性融合等问题进行了深入研究。本文的研究工作如下:（1）针对小尺度目标的检测准确度低和计算复杂度高的问题,提出了一种基于改进Retina Net的多光谱行人检测算法。该方法首先利用双流Retina Net作为多光谱行人检测算法的主干网络,然后在此基础上增加了特征金字塔模块以提升特征的空间和语义分辨率。针对出现过多低质量检测框问题,提出了一种改进的损失函数来抑制大量低质量检测框从而提高整体检测框的质量。在KAIST公开数据集上的实验结果表明:该方法的平均漏判率比Faster R-CNN方法降低了8%。（2）针对卷积神经网络输出特征图包含大量噪声信息的问题,提出了一种基于改进的空间和通道注意力的多光谱行人检测算法。该方法利用改进的空间和通道注意力模块,分别从空间和通道两个维度去解决特征信息冗余和噪声混叠的问题。在KAIST和CVC-14两种公开数据集上的实验结果表明:该方法的平均漏判率分别为19.44%和25.6%,相比未添加该注意力机制的方法在漏判率上降低了2个百分点。（3）针对多光谱行人检测模型检测耗时过长的问题,提出了一种基于无锚框机制的多光谱行人检测算法。该方法首次引入Center Net模型的无锚框生成机制,极大地降低了模型计算复杂度,检测速度是Faster R-CNN检测器的2倍。针对多模态特征盲目性融合的问题,该方法在特征融合网络中又引入了差异特征感知融合模块,利用跨模态的互补差分信息来增强原有特征的表达能力,进一步提升模型的检测性能。在KAIST、CVC-14和FLIR三种公开数据集上的实验结果表明:该方法的平均漏判率分别为14.51%、25.54%和28.43%,运行速度达到了20 FPS,相比基于锚框的Faster R-CNN算法漏判率降低了11个百分点,检测速度提升了1倍。