手势跟踪（Hand Tracking）作为人机交互领域（Human-Computer Interaction,HCI）的一门重要研究课题,拥有着广泛的应用领域,比如:动画制作、康复训练、机器人控制、虚拟现实（Virtual Reality,VR）和增强现实（Augmented Reality,AR）等。现有的手势跟踪技术大多基于单一模态并且对象是不与外物作用的独立人手,其性能受限于单一模态的内在缺陷,对人手与外物交互的场景处理能力不足。本文从手势跟踪的输入模态出发,对无交互场景下的人手和交互场景下的人手,递进地研究使用多种模态的手势跟踪算法。具体研究内容如下:针对现有手势跟踪受限于单一输入模态内在缺陷的问题,本文从无交互场景出发,将关注点集中在人手与模态融合上,提出了一种融合数据手套和深度两种模态的手势跟踪算法。本文利用数据手套不受遮挡的特性弥补深度这一视觉模态易受遮挡影响的缺陷,同时利用深度模态提供手势的真实参照,降低数据手套为保证精确性对于繁琐校准流程的依赖。为了协同数据手套和深度,本文通过在人手建模、对应点搜寻、手型整合、姿态约束、自交叉避免等方面的创新,将手势跟踪构建为一个调整人手模型参数以适应输入人手深度图的优化问题。实验结果表明该算法可以在仅使用CPU（Central Processing Unit）的情况下实时运行,且能有效提高手势跟踪的精确性和稳定性。针对现有手势跟踪对人手与外物交互情况处理能力不足的问题,本文对无交互场景下的多模态手势跟踪算法进行扩展创新,提出了一种融合数据手套、深度和RGB三种模态,基于物体状态的交互式手势跟踪算法。立足于通过跟踪与人手交互的物体状态衡量人手与物体的交互作用,该算法在深入分析人手与物体交互作用的基础上,为物体设计了一系列状态,并通过在物体的跟踪预测、人手与物体的接触和碰撞等方面的创新,将交互式手势跟踪构建为综合考虑物体、人手的运动和二者的交互作用的优化问题。实验结果表明提出的算法能够提升交互式手势跟踪的精确性和稳定性。