目标检测技术作为计算机视觉、人工智能等领域研究的重要课题之一,无论是在安防监控、还是国防工业等领域,都发挥着重要的作用。然而传统目标检测算法通常运行在桌面计算机或者服务器集群上,存在便携性差、功耗高等缺点,无法满足室外实时检测等任务的需求。此外,传统的目标检测系统通常使用单波段传感器进行数据采集,只兼容可见光传感器或红外传感器中的一种数据输入。虽然在光照充足、场景简单、视野清晰的情况下,可见光图像检测效果较为理想,但当场景中存在遮挡、阴影等干扰时,可见光图像检测结果中漏检,误检的概率会明显上升。相比可见光图像,红外图像针对夜晚场景的生命体、发动机等在红外波段有较强温度差异的场景有较大的优势,但是受限于探测器的限制,红外图像通常分辨率较低,边缘失真严重,并不适合所有工作场景。针对单波段检测系统无法很好满足不同工作场景需求的问题,本文设计并实现了一种双波段传感器的实时目标检测系统,该系统集成了可见光和红外双波段传感器输入接口,采用当前主流的图像检测算法,相比单波段检测系统,该系统能够更好满足不同场景检测任务的需求。采用FPGA和嵌入式GPU异构架构进行系统集成化,充分利用FPGA的灵活性和GPU并行处理的优点,在保证检测系统检测精度和实时性的情况下,实现了低功耗、小型化的双色传感器的实时目标检测系统设计。主要工作内容如下:1.基于红外和可见光双传感器的硬件平台设计为解决单一的可见光或红外传感器获得的信息有限,检测能力不足的问题,本文提出采用可见光与红外双传感器结合的目标检测系统设计方案。并围绕系统设计方案,利用模块思想对系统进行硬件电路设计。分别设计了基于CMOS传感器的图像采集输入模块、基于FPGA+GPU的图像处理模块和基于SDI的实时显示模块,最终获得带有SDI接口可独立使用的可见光相机和半径为14cm的圆形处理板。在满足系统技术指标和功能需求的同时保证了系统良好的散热环境以及工程应用性拓展。2.实时目标检测方案设计研究现有的目标检测算法,综合考虑效果,处理速度与硬件平台适配性,采用基于神经网络的Tiny YOLO v3算法。针对遮挡目标和小目标检测中经常出现漏检和误检问题,根据层卷积对目标局部特征和小目标比较敏感的特性,通过增加YOLO网络浅层的特征输出层和目标局部特征学习的样本,大幅提升网络对遮挡目标和小目标的检测能力。加入大量红外图像训练集,保证算法对红外图像的良好检测效果。将算法移植到NVIDIA Jatson TX2上运行,能够对1920×1080p@60Hz的可见光图像和640×480p@50Hz的红外图像进行实时处理,实现实时目标检测。3.基于FPGA逻辑设计的图像传输为了保证系统的实时性,利用FPGA进行逻辑设计实现包含采集输入功能、数据传输通道、视频输出功能的图像数据传输通路。采集输入部分使用FPGA对CMOS图像传感器配置并接收高速LVDS信号,对接收的各类图像数据进行格式转换以便于传输。数据传输通道利用FPGA内部的IP核完成基于AXI总线的DDR3图像缓存以及PCIe高速数据传输通道的逻辑设计,最后通过视频输出功能对处理后的图像以SDI格式进行显示。本文实现的双波段传感器的目标检测系统,能够满足1080p@60Hz可见光图像和480p@50Hz红外图像输入的实时处理需求,同时克服了目前基于单波段传感器的目标检测系统存在的信息量有限、检测能力差的问题,并且具有功耗小、便携性强、集成度高等特点。在交通监管、安防监控等领与具有广阔的应用前景。