论文部分内容阅读
光场相机作为一种新型的多视角成像设备,能够通过一次曝光,同时获取场景的四维光场数据,即二维空间信息和二维角度信息,具有其他传统相机无法比拟的优点,光场图像处理已成为计算成像领域的研究热点。针对光场相机的空间分辨率和角度分辨率低的问题,本文结合深度学习在图像处理领域应用的优势,开展光场图像的超分辨率重建方法研究,主要工作如下: (1)总结国内外对传统二维图像和光场图像的超分辨率重建研究现状,并介绍光场成像基本理论、光场的获取方式和参数化表示,同时阐述了光场的渲染理论、光场的多视角图像和EPI图像的原理以及超分辨率重建的相关理论。 (2)设计并实现融合全局与局部视角的光场超分辨率重建方法。根据待重建新视角的位置,自适应选择局部视角,融合全局和局部视角输入卷积神经网络,合成新视角图像。实验结果表明,该算法可以有效地解决遮挡情况下重建的新视角局部目标丢失问题,同时更好地保持新视角的边缘信息,获得更优的重建效果。 (3)充分利用光场EPI图像具有清晰纹理结构的优势,研究并实现一种基于EPI图像的光场超分辨率重建方法。利用深度残差卷积神经网络恢复稀疏输入视角EPI图像的角度细节信息,再将得到的EPI图像重建获得最终的光场新视角图像。实验结果表明,该算法在高光场景下具有较好的重建效果,峰值信噪比提高约0.3dB,结构相似性指数也有将近0.2的提升。