在互联网大数据的时代背景下,人们通过互联网上传、分享的信息已经从原本的文字内容渐渐过渡到了以图片、视频为主的多媒体素材。从早期的博客、Twitter,到现在的微信和Instagram,以及微信朋友圈最新改版中加入的短视频功能,都印证了这一发展趋势。根据国际影像产业协会一项针对手机拍摄内容的研究,以及一项针对图片分享网站Flickr用户上传信息的调查,超过60%的用户分享内容都是以人为主体,并且大多包含了人脸。随着目前刚刚兴起的视频直播等新兴应用的不断发展,这一比例还会进一步提升。在中国,以人脸图片美化为主要功能的美图秀秀已经服务于过十亿用户,并且日均影响2亿张照片。基于上述应用背景,本文针对众多图片、视频中最重要的对象——人脸,深入研究了其本征图像、反射模型、几何结构,以及相关的环境光照模型,通过综合利用人脸特有的几何结构和皮肤的生物学性质,对人脸图片的辐射校准、高光分离、本征图像分解等问题提出了切实有效的解决方案。同时,我们以人脸的本征图像分解为基础,提出了一套成熟的人脸照片处理、增强的流水线,并且实现了虚拟化妆这一具有商业价值和现实意义的应用技术。我们的主要工作包括以下内容:1.为了从相机拍摄的非线性图片中还原原本的场景辐射度信息,我们提出了一种基于人体皮肤反射率梯度空间下低秩属性的相机辐射校准算法。该低秩性质不仅具有色彩不变性,同时相对人脸皮肤存在的微弱高光十分稳定。为了利用该性质并获取到皮肤反射率本征图,我们结合了以几何结构为额外约束的本征图像分解算法,将反射率本征图与其亮度本征图分开。相较之前的单张图像相机辐射校准算法,该算法在大幅降低相机响应函数估算误差的同时并没有带来额外的计算开销。2.我们提出了 一种利用人脸皮肤物理光学、人脸几何结构统计学特性来实现的在复杂光照环境下分离人脸图片中镜面高光部分的技术。首先,人脸的皮肤颜色主要取决于皮肤表皮层黑色素和真皮层血红蛋白的含量,这一皮肤的光学性质可以用来约束皮肤的漫反射率,从而可以间接约束因皮肤镜面反射而形成的高光部分的强度。其次,利用人脸几何结构高度相似的统计学特性,并且结合对环境光照效果的近似和建模,则可以直接形成对镜面高光强度的约束。该技术不仅可以对在复杂光照环境下拍摄的照片进行处理,还能够有效处理因过曝而引起的颜色饱和。3.在人脸高光分离技术的基础上,我们进一步利用人脸的反射参数的统计模型作为约束,提出了一种更加准确的人脸本征图像分解算法。除此之外,传统的本征图像分解大多基于理想的漫反射模型——朗伯模型,该模型并不能很好地模拟皮肤等半透明材质的漫反射属性。因此,本文还引入了一种基于物理光学的半透明材质漫反射模型来对皮肤的漫反射亮度性进行了重新建模,从而进一步提高了本征图像分解的准确性。4.针对图片美化中虚拟化妆这一应用,我们以人脸本征图像分解为基础,在不同的本征图层上从物理光学的角度对不同化妆品的化妆效果都进行了建模,从而实现了对各种化妆品效果的真实模拟。这些化妆品包括了但不限于粉底、口红、腮红、眼影等。区别于传统的虚拟化妆技术,本文提出的方法不仅速度快,而且避免了光照不一致、人脸皮肤特征与化妆效果混杂等传统虚拟化妆技术难以避免的问题。更进一步,我们通过与现有的人脸检测、追踪技术相结合,使得该算法不仅可以作用在静态图片上,还可以实现对视频流中姿态、表情同时发生变化的人脸部分进行真实感虚拟化妆。