论文部分内容阅读
图像是计算机感知世界、理解世界的重要方式。随着物理硬件和数码技术的不断发展,成像设备能够采集高时间分辨率、高空间分辨率、多光谱等等多维度的视觉信息,但同时受场景的限制,高维视觉信息往往面临丢失、污损等问题,比如相机的光圈或者目标的运动导致的图像模糊、低光照引起的图像噪声等等。降质图像会直接影响后续的内容分析,阻碍了诸多应用的发展,如生物医学观测、安全监控、自动化驾驶等等。因此消除图像降质的影响、恢复场景的原始信息具有十分重要的研究意义,而这一问题由于其高度欠定的性质又有非常大的挑战。本文从恢复降质图像的需求出发,围绕的新型的图像恢复算法展开研究,从而恢复场景的无模糊、无噪声的清晰图像。具体而言,本文的研究内容和创新点如下: 1.图像模糊是成像过程中普遍存在的一种现象,为恢复清晰图像,传统算法提出了各种图像先验约束原始问题然后进行求解,但假设的先验难以刻画真实的自然图像分布,而且求解复杂;另外现有的深度学习方法都是基于预计处理或者多个阶段的训练过程。本文我们提出了一个基于全卷积神经网络的模糊图像恢复算法。我们的方法构建多尺度的网络结构,解决了模糊核估计不准确的问题,不再需要图像降质的模糊核;加入残差结构和跳跃连接增加网络的表达能力,促进网络中的信息传递;利用深度神经网络隐式地学习自然图像分布以及非线性图像降质函数,实现了模糊图像到清晰图像的端到端学习过程。我们在多种模糊核及噪声级别的实验数据上对本方法进行了测试,结果表明我们的方法取得了比当前工作更好的效果。 2.在低光照环境中采集到的噪声图像,由于图像信息受到大量污损,仅仅依靠噪声图像很难恢复出令人满意的去噪结果。针对这一问题,我们提出一个联合近红外图像的深度学习图像去噪算法。本方法采用红外补光的方式,同时采集彩色噪声图像和近红外图像,使用多模态信息对图像进行降噪;为了更好地融合两个模态的内容,避免从红外图像中引入彩色图像不存在的细节并有效地去除噪声,我们设计了一个多模态信息前融合、端到端的深度学习网络框架,通过加入多层的残差结构获取图像的全局信息,使用最近邻插值网络层恢复图像尺度,得到最终的去噪图像。在合成的和真实采集的噪声图像上,我们的方法在效果上均优于现有的算法,在效率上也有数倍的提升。 3.图像采集过程中,视觉信息的获取与采集系统的设计高度相关,通过改进采集系统中的编码光圈可以获取场景更多的信息,辅助后期的图像恢复,本文,我们实现了一个场景自适应的动态编码光圈成像系统进行图像采集及恢复。首先,通过傅里叶分析得到的最优的编码光圈,利用LCoS搭建了一个物理成像系统;然后,利用采集到的小孔图像统计场景的梯度信息,使用与场景对应的编码光圈采集图像,从而使得到的图像即包含了深度信息,又保留了场景的高频信息;最后通过求解简单的凸优化问题,恢复场景的全清晰图像,通过融合视频中相邻帧的信息恢复动态场景。实验表明,我们的方法取得了比现有编码光圈方案更好的恢复结果。