虚拟现实、增强现实等新兴3D技术的快速发展,使得手部成为了三维场景中人机交互的主要载体,而手部的三维重建正是实现手部人机交互的前提。手部三维重建是指利用获取到的手部原始数据,在三维场景下还原手部的姿态。现有方法大多使用RGB-D图像即带有深度信息的图像作为三维重建的原始数据,RGB-D图像仅能通过深度摄像机进行拍摄,导致此类方法成本高、普及率低。另外深度摄像机对工作环境有严格要求,只能在简单背景下采集数据,存在适用性不强的缺点。此外,由于手部关键点存在严重的自遮挡问题,导致目前的手部三维重建方法精确度并不高。本文提出了一种基于深度神经网络的双重子任务级联模型用于手部三维重建,网络只使用一张RGB图像作为输入预测出图片中手部关键点的三维坐标,并且对关键点自遮挡问题有很好的处理能力。传统方法中只提取关键点二维位置信息作为前置子任务,本文网络结构由四个部分组成,前两部分对输入的原始图像进行特征提取,分别得到图像中关键点的二维位置信息以及手部的深度信息;第三部分使用注意力机制融合特征的方法,将提取的两种特征进行融合并作为第四部分的输入;第四部分最终得到手部关键点的三维坐标,即实现了手部三维重建的目标。另外,由于目前公开可用的手部三维数据集很少且本文提出的方法所需标签比较复杂,为了使网络正常训练,本文构建了新的数据集并命名为HPE。数据集是由计算机软件合成,一共有2万多个样本。每个样本包含1张右手的RGB图片、22张手部关键点热力图、1张手部深度图以及手部21个关键点的三维坐标。通过完整的消融实验证明,本文在网络结构上提出的三个改进点都能有效地提高网络三维关键点检测的准确率。此外,与现有先进方法在两个数据集上进行对比实验,本文方法在二维坐标预测得到的效果均好于目前效果最优的同类方法,分别提升了 1.8%和1%。在三维坐标预测上,本文方法在20-50mm阈值的最终正确率达到了 99.9%,比目前最好的方法提高了 0.5%。由此可以证明,本文提出的基于单张RGB图像的手部三维重建方法性能优越。