论文部分内容阅读
作为计算机视觉中的一个重要且有效的特征,颜色信息已经被广泛应用于许多计算机视觉任务中。但是由于图像和视频的成像过程受到场景中的光照、物体表面的反射率以及成像传感器的响应函数等多方面的影响,使其又成为最不稳定的图像特征之一。图像颜色恒常性的研究目的就是模仿人类视觉系统,自动的消除场景光照对成像的影响,还原物体表面真实的颜色信息,为其它计算机视觉任务提供稳定的颜色特征。本文以计算机视觉理论为基础,以单光照和多光照下的颜色恒常性计算为研究对象,从四个方面进行了颜色恒常性计算的研究工作。 颜色恒常性一个最典型的应用就是“自动白平衡”,而使用此功能的嵌入式设备,如照相机、网络摄像机、手机等,均要求算法快速稳定且占用较少的资源。本文第一部分研究实现了一种稳定快速且能应用于嵌入式设备中的颜色恒常性算法(第3章)。首先将暗通道优先的去雾模型引入光照估计当中,继而提出了一种基于暗通道优先模型的颜色恒常性计算模型。该算法通过设计一定的检测准则来快速和准确的提取出参考灰点,与现有的一些经典算法相比,在主观视觉和客观评价上都有很好的效果,且在ARM A7600M的嵌入式设备上计算速度超过150帧/秒。 卷积神经网络的发展将许多计算机视觉相关问题的效果提升到了一个新的高度,在场景识别、场景分割、深度估计等方面都取得了瞩目的成果。为了使颜色恒常性在效果上也有较大的提升,本文的二、三、四部分主要研究了基于卷积神经网络的单光照以及多光照的颜色恒常性计算方法。 本文第二部分针对目前基于卷积神经网络的颜色恒常性算法存在的问题,设计出了一种含有多分支的概率卷积神经网络同时估计全局和局部光照(第4章)。该网络包含两个子网络,一个是多分支光照估计网络,另一个则是概率计算网络。其中多分支光照估计网络通过特殊的多分支结构一次可以估计得到全局的光照和一系列的局部的光照;概率计算网络用来计算多个分支(本文中使用两个)结果接近真实光照的概率,并使用一种简单的策略来计算得到最终的光照。大量实验结果表明,该网络模型不仅在视觉效果上有所提升,在计算效率上也比同类方法提升了3?4倍。此外需要指出该网络模型在其它视觉任务或场景中也有较大的潜在应用价值。 人类对自然场景颜色的自适应性和对内容的先验知识,对颜色恒常性有着重要的指导意义。本文第三部分在光照估计中使用了语义信息以及多尺度信息(第5章)。以图像语义作为指导,通过一系列的卷积层和一个自定义的局部光照汇聚层估计出全局光照。这个局部光照汇聚层在学习局部光照的同时也获得了每个局部区域对应的贡献度(权重),最后加权得到每一个尺度下的的全局光照,再将多个尺度下的光照进行平均得到最终的全局光照。由于语义信息的指导,网络模型较为准确的学习到每个局部区域的贡献度。实验证明,该网络模型在光照估计的效果上有非常大的提高,而且通过使用感知距离替代传统损失函数来训练优化网络,也进一步提高了网络模型的收敛速度和光照估计的效果。 目前的颜色恒常性研究,绝大多数都是假设场景中仅存在单一的光照,然而现实中,多数场景都存在一个以上的光照,因此对多光照条件下的颜色恒常性研究更具实际意义。本文第四部分设计了一种端对端的卷积神经网络模型来解决多光源下的颜色恒常性问题(第6章)。在多光照下条件下,不仅需要估计的光照的颜色还需要估计到光照的准确位置,论文中设计了一种独特的多尺度监督,单一尺度估计的网络模型。在训练过程中从不同尺度下对学习过程进行监督,而在光照估计过程中仅计算最终尺度下估计的结果。另外,训练过程本文使用一种多尺度下带惩罚的计算方法作为损失函数来训练网络。在测试中取得了较快的训练收敛速度以及较好的光照估计效果。 通过以上在单光照和多光照条件下对颜色恒常性问题的研究,论文中所提出的几种颜色恒常性计算方法经过大量实验以及实际验证,无论从效果还是效率方面相对于现有的同类型的方法都有较大的提升,因而也具有较大的实用价值。