论文部分内容阅读
近年来随着无人机的快速发展,无人机载实时三维成像与显示技术在军事领域和民用领域的应用正在快速扩展,已广泛应用于监控侦察、抢险救灾和障碍物检测等领域。本文目的在于构建一套通用性好、低成本的无人机载实时三维成像与显示系统,本文的主要工作和贡献如下:(1)为了模拟人眼三维成像的工作原理,本文设计了一种光轴平行的双目相机系统,使用标定板对双目相机进行立体标定,从而获得光轴平行的双目图像。(2)FPGA采集的双目图像为Bayer格式,为了获得更真实的彩色图像,本文充分利用FPGA的高度并行化、流水线操作等特点,采用双线性插值算法将Bayer图像恢复为彩色图像,并且通过颜色校正算法解决彩色图像颜色失真的问题,从而实现双目图像的色彩校正。针对SFM三维成像算法不能反映三维场景细节,只能重建三维场景轮廓的问题,本文设计了一种基于人眼视觉的三维成像方法,通过FPGA对两路彩色图像进行降采样,拼接成一路图像数据,然后使用立体显示设备实现三维显示。该方法使用的系统资源少,实时性高,且三维成像效果好。(3)为了将无人机上的三维图像实时传输到地面进行三维显示,本文在嵌入式ARM平台上设计了一种基于GStreamer框架的H.265视频编码器,实现了三维图像的实时压缩与传输;同时本文在地面处理平台上设计了一种基于FFmpeg+SDL框架的H.265视频解码显示软件,将显示的视频图像通过HDMI接口输出给虚拟现实眼镜实现三维显示。该方法在保证一定图像质量的情况下,通过有限的传输带宽实现三维图像的远程传输和显示。(4)系统设计与实现。针对无人机平台体积小、功耗有限的情况,本文在无人机上设计了FPGA+ARM的嵌入式硬件平台,实现双目图像的实时获取、色彩校正、三维成像与H.265视频压缩;同时在地面CPU平台上实现H.265视频码流解码显示,将显示的图像通过虚拟现实眼镜实现三维显示。实验结果表明,该系统在任何场景下都可以对分辨率为1920~*1080,帧频为30的视频图像实现三维成像与显示,系统时延大约300ms,满足实时性的要求。