随着虚拟现实的发展,人机交互也正经历着由命令行、图形界面、到自然用户界面(NUI)的发展。自然用户界面是指用户以自然的方式与计算机进行交互,例如语音、触控、手势等。其中手势是人机交互过程中一种非常重要的交互形式,而基于深度图像的手势识别技术将为人机交互提供一种全新的交互模式。本文将基于Kinect摄像头,利用机器学习的方法分别对指尖跟踪轨迹和手部关节点跟踪轨迹进行识别研究。针对指尖轨迹的跟踪识别,由于传统摄像头获取的二维图像难以准确区分复杂环境下目标和背景的问题,本文提出了一种利用Kinect摄像头对复杂背景下手指指尖的跟踪算法,并对指尖跟踪的轨迹进行识别。首先利用Kinect获取的深度图像信息对手部进行分割和指尖检测；然后利用压缩感知方法对跟踪目标进行特征提取,通过朴素贝叶斯(NB)分类器分类跟踪目标和背景；最后,通过支持向量机(SVM)方法对跟踪的轨迹进行识别。针对手部关节点的跟踪识别,本文利用一种有效的深度学习算法限制玻尔滋墁机(RBM)结合人工神经网络进行识别。其中使用限制玻尔滋墁机算法对手部关节点的跟踪轨迹进行特征提取,然后利用误差反向传播(BP)算法进行轨迹的训练识别。通过实验结果表明,本文提出的方法能够成功地跟踪手指指尖的位置,同时能够准确识别出指尖跟踪的轨迹。针对手势轨迹的识别,本文提出的方法也比传统的基于神经网络的算法效果更好。本文提出的指尖跟踪识别算法解决了复杂背景下的手势跟踪和识别问题,具有一定的学术价值和应用创新。