【摘 要】
：
数据是研究的基础。随着深度学习的发展,融合二维图像与三维数据的人脸建模算法在准确率等方面逐渐表现出优于单模态数据的实验结果。但是,目前公开的人脸数据集大部分只包含二维或三维数据,不利于多模态人脸算法的研究。因此,本文提出了三维及多视角人脸数据集DLUT-MDMA（DLUT Multi-Dimension and Multi-Attributes face database）,包含1,075人的二维
论文部分内容阅读
数据是研究的基础。随着深度学习的发展,融合二维图像与三维数据的人脸建模算法在准确率等方面逐渐表现出优于单模态数据的实验结果。但是,目前公开的人脸数据集大部分只包含二维或三维数据,不利于多模态人脸算法的研究。因此,本文提出了三维及多视角人脸数据集DLUT-MDMA（DLUT Multi-Dimension and Multi-Attributes face database）,包含1,075人的二维多视角图像和432人的纹理图像与三维数据,并且具有身份、性别、面部特征点和表情姿态等属性标签。首先,本文通过Canon EOS 600D相机阵列组成的多视角图像采集系统和基于数字条纹投影技术的三维人脸采集系统分别采集了多视角图像和灰度与纹理图像。其次,利用相位平移算法将灰度与纹理图像重建生成三维人脸数据。然后,为确定多视角图像、纹理图像与三维数据的对应关系,本文对Arc Face网络模型进行训练和优化,自动化实现人脸数据的身份识别,同时结合人工,完成了二维数据与三维数据的匹配和标注。最后,为拓展数据集的应用范围,本文训练并优化Gender FR网络模型进行性别标签的识别与标注、利用Dlib工具自动化完成面部特征点标注、通过人工方式为纹理图像与三维数据标注表情姿态标签。为证明DLUT-MDMA的有效性,本文利用人脸识别算法在DLUT-MDMA与其他人脸数据集上进行了实验,结果表明使用DLUT-MDMA训练的模型在准确率方面表现出相同或更优的水平。此外,为更好地开源和推广该数据集,本文设计并实现人脸数据集服务系统,该系统除提供基本的数据下载和检索功能外,同时将三维人脸数据生成、多属性标签标注等主要处理过程封装为功能模块,作为数据处理的步骤,便于后续数据集更新和扩展。DLUT-MDMA主要用于人脸图像建模、人脸匹配算法等科学研究,同时也可作为多模态人脸识别、人脸重建等模型训练和测试的数据资源,有利于推动人脸相关领域研究的快速发展。
其他文献
在大数据中,数据的种类较多而价值密度和真实性较低。因此,低质性是大数据的显著特征。聚类是一类重要的数据分析方法,旨在划分数据空间内的对象,使划分结果类内相似而类间相异。随着数据规模、维度、模态的增加,传统聚类方法已不适应数据分析的需求,在低质数据上表现不如预期。因此,本文针对以上问题提出解决方案,研究两种面向低质数据的深度多模态特征聚类方法,有效提高聚类算法在低质高维多模态数据上的聚类效果。本文主
随着三维形状的广泛应用,形状匹配问题作为三维形状分析领域的一个基础研究问题也随之变成热点方向。该问题主要是寻找两个形状之间的点对应关系。目前关于刚性形状之间的匹配问题已经有相对成熟的算法。而由于非刚性形状的形变复杂性,现有的非刚性形状匹配算法仍存在许多问题。本文主要研究在形变时对应点之间仍保持内蕴距离的非刚性形状间的近似匹配问题。本文在一致性点漂移算法的基础上提出了一种多尺度非刚性形状匹配方法。该
目前农村小超市普遍存在商品采购量小、议价能力不强、资金短缺无法大规模的采购等问题,导致商品单价高、供应不及时等困境,制约着小超市的进一步发展。因此,如何利用有限的资金使小超市与农民构成供需之间的平衡成为亟待解决的问题。本系统依托于科技部重点研发计划-绿色宜居村镇技术创新项目（2019YFD1101104）,以湖北十堰市供销社的合作小超市为研究背景,以客户为中心的营销模式为核心思想,从小超市实际需求
情感分析指对带有情感色彩的主观性文本进行识别并分析情感倾向的过程。互联网每时每刻都有大量在线评论产生,在线评论主要以单模态文本和静态多模态（文本和图片）的形式存在。对用户的在线评论进行情感分析,有利于商家制定营销策略,具有一定的商业价值。本文深入调查了情感分析的研究现状,利用深度学习的方法分别对单模态文本情感分析和静态多模态情感分析展开研究,内容如下:对于单模态文本情感分析,针对现有模型存在并行计
进入21世纪,互联网技术不断进步,多媒体逐渐成为人们获取信息的主要来源,其中视频因有着传输方便、生动直观、信息量大等一系列特点所以得到了大范围的应用。同时,随着国内各类视频监控的普及应用,视频监控开始普遍的应用于教育、公共安防等领域。然而如果想要在视频监控中找出想要的特定目标,仅仅通过人工浏览来进行查找,那一方面工作人员会因为长时间的眼部工作产生视觉疲劳,另一方面也极有可能会在观看视频时漏掉想要查
图像特征匹配在计算机视觉领域中有着十分重要的地位,直线特征具有丰富几何信息和结构信息,直线匹配更是图像拼接和三维重建等工作的基础。在宽基线视图上进行可靠的直线匹配是一个极具挑战性的任务。现在的主流直线匹配方法主要是通过纹理特征或者几何结构进行匹配,对端点的准确性和数量有一定的要求,需要直线的邻域有丰富的纹理信息和足够数量的特征点或者需要获取直线段之间的几何关系。另一方面,现有方法对宽基线图像下存在
随着人类社会对自然环境认识的不断加深,当代科学越加重视在社会发展的同时,同样重视自然环境的可持续发展,维护人类与自然的平衡关系。其中,野外树木与植被检测非常重要。密切分析树木与植被的动态变化,能够帮助人类更好的应对环境问题。随着激光雷达技术和深度学习算法的大力发展,人类开始尝试运用这些技术完成树木检测任务。但室外大场景三维点云固有的大体量数据以及树木具有十分复杂的尖锐特征的特性,给这项任务的创新发
深度图像超分辨率（Depth map Super-Resolution,DSR）是一个将低分辨率深度图像重建为高分辨率深度图像的技术,对于深度图像的应用如3D重建、姿态估计、自动驾驶等具有重要意义。然而,由于深度传感器自身性能的限制以及成像环境的复杂性,很难直接获取高质量、高分辨率的深度图像,需要后续的深度增强技术对获取的低质量、低分辨率深度图像进行恢复。本文从提升深度超分辨率算法的性能及实用性出
知识图谱构建已经成为自然语言处理的一个重要发展方向,也是信息抽取领域一个重要的目标。本文从百科文本中标注军事图谱,并负责其中的事件抽取部分。事件抽取作为信息抽取的关键技术,在信息检索、自动问答等领域被广泛应用。本文爬取军事相关百科文本,根据文本内容,标注军事图谱数据集,定义了四个事件触发词和七个事件元素实体标签,和实体之间的关系标签和事件之间的关系标签,以及实体、触发词和元素角色之间的约束关系。事
目前,航空装备产业的发展正处于上升阶段,航空装备相关实验的数量不断增多。在这样的情况之下,航空装备的质量管理出现了新的问题,随着航空装备产业的发展,单一航空装备上集成了越来越多的技术,对于实验人员和研发人员而言,在技术和工程应用飞速发展的情况下,凭借以往根据实验人员自身经验或者纸质版文档记录分析实验数据的传统研发方式,已经无法适应当前的科技形式。因此,对于航空装备产业相关的工程数据和维护资料的合理