【摘 要】
:
随着元宇宙概念的提出,数字人的研究也得到了研究人员的重视。数字人的生成过程中,最重要的部分是数字人表情的表达,研究如何生成高真实感的三维数字人表情具有十分重要的意义。并且,高真实感的人脸表情研究具有十分广泛的应用场景,如AR/VR,虚拟主播以及游戏制作等方面,使用高真实感的人脸表情可以让用户得到更加逼真的体验。本文提出了一种基于高精度三维人脸模型的表情精确建模方法,使用高精度的结构光系统采集高真实
【机 构】
:
中国科学院大学(中国科学院深圳先进技术研究院)
【出 处】
:
中国科学院大学(中国科学院深圳先进技术研究院
【基金项目】
:
广东省重点领域研发计划(2020B090925001); 深圳市科技计划资助项目(JCYJ20190806171403585、RCBS20200714114921207); 广东省重点领域研发计划项目(高真实感人体三维数字化技术及虚拟交互系统研究:2019B010149002)
论文部分内容阅读
随着元宇宙概念的提出,数字人的研究也得到了研究人员的重视。数字人的生成过程中,最重要的部分是数字人表情的表达,研究如何生成高真实感的三维数字人表情具有十分重要的意义。并且,高真实感的人脸表情研究具有十分广泛的应用场景,如AR/VR,虚拟主播以及游戏制作等方面,使用高真实感的人脸表情可以让用户得到更加逼真的体验。本文提出了一种基于高精度三维人脸模型的表情精确建模方法,使用高精度的结构光系统采集高真实感的人脸三维模型,对获得的高精度人脸模型进行参数化的表示,利用从二维的人脸视频获取人脸驱动参数,对参数化的人脸模型进行驱动,从而得到高精度、高真实感的数字人表情。具体的工作如下:(1)人脸三维数据采集系统:本文研究基于结构光的三维重建算法,搭建了一套基于高精度结构光的人脸数据采集系统。使用此系统,从多个角度采集人脸表情的三维点云数据;使用配准算法将采集得到的点云数据进行拼接;并对拼接好的点云进行网格化操作;最后进行三维模型与二维纹理的映射:在结构光系统的基础上增加了一台单反相机用于三维模型人脸纹理的采集,将采集得到的高分辨率的二维图片作为纹理映射到三维模型上。(2)正交表情基的设计以及三维人脸表情数据库的采集:本文根据人脸特征,参考了人脸的肌肉模型,设计了37个不同的表情动作,并征集志愿者使用(1)中搭建的人脸三维数据采集系统进行对这些志愿者进行三维人脸数据库的采集,从而得到一个高精度、高真实感的三维人脸数据库。基于以上所述,本文采集得到的数据库具有精度高、表情丰富、样本充足的优点。(3)基于二维视频的表情驱动系统:本文提出了一种方法,利用三维人脸表情基的线性组合去获得二维的人脸表情系数。使用此方法自动化的对二维表情的表情系数进行标注,从而获得样本足够充分的表情系数训练集。并且设计了一个深度学习模型,使用训练集中的二维图像与获得的表情系数进行训练,从而获得一个高鲁棒性,高识别效率的表情驱动模型。使用此模型可以在二维视频的基础上进行高真实感的三维虚拟表情的驱动。本文针对上述的工作进行详尽的研究与实验,构建了高精度人脸表情数据库,利用实际采集的数据展开了大量实验,实验结果表明了本文所设计的表情建模系统的有效性与准确性。利用深度学习方法驱动参数化的人脸模型实现表情合成,合成的人脸动画逼真、人脸动作自然,为虚拟人表情的生成与驱动提供了一种可靠的方案。
其他文献
信息全球化的发展使得无线通信逐渐深入人们生活的方方面面,同时也关系着我国经济、文化的发展,是我国发展现代化的基础保障。而无线传输技术则是目前技术革新中最多、最有效果的信息传播手段,当前,关于无线通信系统的研究已经发展到第五代(fifth generation,5G)/后五代(beyond fifth generation,B5G)。大规模多输入多输出(multi-input multi-outpu
谷子(Setaria italica L.)作为我国特色的杂粮作物,因须根粗壮、根系发达、具有较强的耐盐、耐旱能力,被认为是应对未来水资源短缺的重要战略储备作物,在保障干旱、贫瘠、盐碱地区的粮食安全中起着非常重要的作用。本研究以104份谷子种质为材料,通过对萌发期的耐盐性进行分析与评价,建立谷子耐盐生长评价体系,筛选耐盐种质和盐敏感种质;在1.0%NaCl胁迫下,研究两种不同耐盐性谷子种质的形态、
“双减”政策下学生心理健康教育的影响因素主要有:家长焦虑情绪外溢而导致的学生心理焦虑;家长教育方式落后而导致亲子关系紧张;学生业余时间突然充裕,不能自律,导致的消极悲观心理。因此,“双减”政策下应从学校和家庭层面探索学生心理健康教育的有效路径。通过采取加强课堂教学;开展系列心理健康教育活动;利用网络对学生进行心理健康教育等有效策略,促进学生心理健康发展。
目的:明确长链非编码PAN3-AS1(lnc RNA PAN3-AS1)在AML患者中的表达水平,并分析其表达水平对AML患者的临床特征、治疗疗效及预后的影响。进一步观察PAN3-AS1对AML细胞株生物学功能的影响,并探索PAN3-AS1与PAN3表达的相关性。方法:1.收集济宁市第一人民医院血液内科自2020年2月至2022年3月初诊的45例AML患者及25例缺铁性贫血患者的骨髓标本,分离单个
近年来,我国风电装机规模连续快速发展,近三年新增风电并网装机量平均增长26%,目前我国共规划了10个千万千瓦级风电基地,集中分布在东北、华北、西北及内蒙电网末端等区域电网内,该地区电网结构相对薄弱,调峰能力有限,跨区输送能力及协调能力不足。由于风电集群相比单个风电场出力时空关系更为复杂,导致电网对于风电的消纳不充分,提高风能利用水平成为人们日益关注的问题。储能系统以其响应速度快、安装便捷、易于扩大