增强现实是一种将真实场景与虚拟信息相结合的技术,并将获得的虚实融合场景呈现在用户眼前,以增强他们对真实场景的理解和感知。目前,增强现实技术广泛应用于军事、医疗、娱乐和教育等方面。增强现实的研究目标是将虚拟物体逼真地融合到真实场景中,并要完成几何一致性、光照一致性和时间一致性等要求。目前的解决方案中对光照一致性问题尚缺少系统性的研究。重建真实场景中的光源与虚拟物体的交互过程是提升虚拟物体真实感的关键,因此本论文针对光照估计和光照与材质的联合估计提出了四种算法用于增强现实中的虚实融合。本文的主要贡献和创新性工作包括如下四个方面:1.适于多种反射现象的光照估计算法。针对利用朗伯光照模型估计光照时不适用于存在镜面高光点场景的问题,提出以镜面高光点信息得到的光源位置为先验知识,再结合朗伯光照模型进行光照估计的算法。通过对输入图像进行镜面高光点检测,筛选出存在高光点的图像和不存在高光点的图像。利用镜面高光点现象的生成原理,估计出高光点光源。以高光点光源为约束条件进一步逆向使用局部光照模型优化待估计光源位置。将得到的估计结果用于渲染插入的虚拟物体,输出光照一致性的虚实融合结果图。通过实拍图像数据集证明了提出方法的有效性和可行性。本方法的优势在于:针对存在镜面高光点现象的真实场景,本方法与只考虑漫反射和只考虑镜面反射两种光照估计算法相比,同时考虑两种反射会获得更加准确的估计结果。并且本方法适用性较广,对于只存在漫反射的场景,也能够得到准确的光照估计结果。2.基于全局光照模型的光照估计算法。针对局部光照模型中只处理光源发出的光线对物体表面造成的明暗变化,未考虑光线在物体间多次反射的问题,提出基于全局光照模型中的光子映射进行光照估计的算法。通过建立符合光学原理的光子发射半球模型,进行多个光源下的光子追踪。通过引入多张光子图,记录不同光源下光子在场景中多次反射的信息。将光线追踪过程中收集的光子信息与输入图像组成目标函数,优化目标函数得到半球模型上的光源强度值。根据估计出的光源结果,渲染虚拟物体,输出逼真的虚实融合图像。本方法在虚拟数据集与实拍数据集上都进行了实验,与利用局部光照模型估计光照的方法相比,本方法在遵循光线传播物理规律的基础上,获得了更加准确的光照估计结果。3.超越朗伯假设的虚实融合算法。针对真实场景中镜面物体和透明物体的焦散现象会对插入到其周围的虚拟物体产生影响的问题,提出了联合估计光照和镜面物体材质与透明物体材质的算法。利用深度相机拍摄的多视角深度图像中的深度不一致性,将镜面物体和透明物体同时识别出来。基于光线与物体表面交互属性的不同,提出了根据初始估计光源区分镜面物体和透明物体的方法。为了更加高效估计透明物体材质参数,将人眼视觉特性与数学模型相结合,推导出当人眼可以感知透明物体焦散变化时透明物体的最小折射率变化,该最小折射率变化作为优化算法中估计折射率的步长。多组实验结果表明,通过光照与材质的联合估计,不仅得到光源与材质的估计结果,还使估计的光源位置更加准确。并且将光照与材质的估计结果结合差分渲染技术,也解决了镜面物体和透明物体的焦散现象对虚拟物体的影响,获得了更加真实的虚实融合效果图。4.粗糙度不同的透明物体场景虚实融合算法。针对存在粗糙度不同的透明物体的真实场景,在该透明物体周围插入虚拟物体,会对虚拟物体造成不同效果的遮挡问题,提出了基于逆向路径追踪的光照与粗糙度不同的透明物体材质联合估计算法。由于粗糙度不同的透明物体与光线交互的复杂性,设计了两步优化算法。第一步,建立半球区域光源模型用于分布待估计的光源,将光源与非透明物体进行联合优化,输出的结果作为下一阶段的输入。第二步,将透明物体加入优化算法中,在已知第一步的光源结果下,可以使透明物体材质参数估计的更加准确。虚实融合结果图和复原的不同粗糙度的透明物体图像都证明了本方法的有效性和可行性。与目前的方法相比,本方法能够更加逼真地完成虚拟物体插入到具有粗糙度不同的透明物体的真实场景中。