近三十年来,人机交互技术的发展势头迅猛,愈发成熟的各项技术也逐渐商业化并渗透到日常生活中。由于手部运动在人机交互过程中占有较大比重,基于手部的人机交互技术始终是该领域的研究热点。随着传感器技术的发展,特别是深度传感器(如微软Kinect)的面世,基于深度传感器的手部交互研究因其廉价、方便等优势逐渐增多。与传统接触式手部交互技术相较,这项技术在应用过程中对光照灵敏度、准确度、实时性方面仍存在诸多挑战。对于这些挑战,本文研究了复杂真实场景中的基于深度传感器的手部运动追踪,在保证手部检测准确度的前提下,实时追踪手部相关特征。主要研究工作如下:(1)针对RGB图像检测手方法对光线敏感的缺陷,本文选择用深度数据取代RGB数据作为数据源。考虑到Kinect提供的原始深度数据存在大范围空洞区域和闪烁噪声点问题,本文提出了像素滤波和双边滤波的联合滤波方法,通过不会降低帧率的像素滤波器对深度图像空洞进行填充,再利用双边滤波器对图像保边去噪。实验表明通过联合滤波之后深度图像的平均修复率可达到77%。(2)针对基于深度图像的手部检测与追踪不准确的问题,本文提出了基于深度图像的ROI-手部区域检测算法,利用KCF对初始帧中检测得到的ROI手部区域进行追踪。相比于单纯基于深度阈值的检测手部方法带来的手部运动范围受限问题,此方法只需在初始化时设定手部为最靠近摄像机的人体部位,随后手部即可在摄像机的有效区域内任意活动。实验结果表明,手部在平面外旋转0～180°、平面内桡侧与尺侧旋转范围内均可被追踪。(3)针对三维场景中指尖检测准确率不高问题,本文提出了基于EIC和测地距离的级联指尖检测算法。通过计算EIC缩小指尖检测范围,继而以掌心为测地距离原点,计算范围内各像素点到原点的测地距离,将局部最大测地距离作为候选指尖点。相比于传统的欧式距离,测地距离对三维空间中的距离衡量更加准确,提高了指尖检测的准确度。虽然最大测地距离的时间复杂度有点高,但由于引入了EIC大大降低了指尖检测时间,从而保证了系统实时性。