增强现实技术将经过计算机渲染的虚拟物体与真实场景相融合,广泛应用于电影制作、医疗辅助、工业生产、娱乐等领域。为了保证虚拟物体和真实场景融合的真实感,需要渲染虚拟物体时使用的光照信息与真实环境保持一致,实现虚实融合的光照一致性。受可控光源的影响,室内场景中的光照条件比较复杂并且具有动态变化的特点。对室内场景光照的动态变化进行估计,是实现增强现实光照一致性的重要技术。综上,室内场景的动态光照估计具有重要的研究意义。早期的相关研究中,对室内光照的估计需要在初始化阶段输入有关场景几何特征或者光源的信息,例如使用人工手动标定场景内的光源或者通过专用深度信息扫描设备对场景进行三维重建来获取场景的几何信息。虽然这些方法能够得到比较准确的室内光照估计,但是一旦场景中的光照发生变化就需要重新执行这些繁琐的初始化步骤。近年来,随着深度学习技术的发展,研究者开始使用基于深度学习的方法来对室内场景的光照进行估计。这些新方法相比早期研究中的方法只需要更少的输入即能对场景中的光照进行估计。然而室内场景的光照是复杂多变的,这些方法因为使用的场景信息过少,造成光照估计结果往往只能保留低频部分,丢失了许多细节。若需要渲染的物体具有高反射率的光滑表面,那么渲染结果将会大打折扣。因此,结合传统方法和深度学习方法,使用合适的输入获得准确的光照估计结果,将具有重要的实用价值。为了使室内动态光照估计能够在可接受的输入条件下获得准确结果,本文提出了一种新的基于卷积神经网络的室内动态光照估计方法。该方法只需要一张包含场景内所有主要光源开启时采集到的HDR全景光照贴图作为初光照贴图,与光照发生变化后在场景中采集到的有限视界的LDR图像共同作为输入。通过对室内场景光照变化后对应的光照差值图像进行估计,并使用估计得到的差值图像更新初光照贴图来获取光照变化后当前场景的光照分布。本文的主要贡献如下:1.本文创新地提出了使用光照差值图像表示室内场景的光照变化。这种差值图像能够记录初始HDR全景光照贴图与场景光照变化后对应的全景光照贴图之间的差异。使用光照差值图像可从初始HDR全景光照贴图中恢复出光照变化后的光照贴图,从而能尽最大程度保留初始HDR全景光照贴图中非主要光源的细节,提升虚拟物体在真实场景中的渲染效果。2.本文提出一种基于卷积神经网络的双输入端对端网络估计光照差值图像。该网络能通过初始HDR全景光照贴图与光照发生变化后在场景内采集到的有限视界的LDR图像,对光照差值图像与光源掩膜进行估计。该网络包含三个子网络:LDR图像特征提取模块、光照差值图像估计模块以及光源掩膜估计模块。其中,两个估计模块以U-Net架构为基础使用了共享编码器的策略来提升网络性能。为了加强网络对光照差值图像中光源变化区域的关注,本文引入了Attention Gate注意力机制模块,进一步提升光照差值图像估计模块的准确性。3.本文制作了一个使用渲染引擎渲染的高质量室内场景的动态光照合成数据集用于网络训练。基于Scene Net数据集提供的三维场景,重新编辑了数据集中的光源和相机位置,生成了一个包含多光照条件的HDR全景光照贴图数据集。同时为了进一步对网络进行测试,本文还制作了一个完全在真实场景中采集的包含多种光照情况的HDR全景光照贴图数据集。本文在制作的合成数据集和真实数据集上对所提方法进行了测试。实验表明:相比已有的方法,本方法能够较好的对室内动态光照进行估计且保留了更多的光照细节,使用本文方法的估计结果对虚拟物体进行渲染能够获得较为真实的渲染结果。