手势分割与手势跟踪技术在人机交互与健康医疗领域具有潜在的巨大应用前景。同时,该课题涉及计算机视觉、图像分析、人工智能、概率统计学以及模式识别等多个学科领域,具有重大理论研究价值。现有手势分割与手势跟踪技术大多采用单一数据模态。单一模态存在固有的缺陷,如RGB图像易受光照明暗影响,导致技术性能不能满足实用要求。部分技术虽然采用了多种数据模态,但模态间融合机理仍存在巨大的提升空间。故论文首先研究融合彩色图像信息与深度信息的多模态手势分割,然后将分割后的深度图与惯性传感器数据结合作为输入,研究多模态手势跟踪技术。具体研究工作如下:(1)针对深度图像分辨率低、噪声高和彩色图像处理复杂度高的问题,提出基于彩色图像和深度图像的手势分割技术。首先研究深度图中一类特有噪声的降噪方法,随后在深度方向上进行分割,排除大部分背景像素。然后将传感器采集的原始YUY2码流直接映射为Y、U、V像素值,在YCrCb颜色空间中进行二次分割,这是降低算法复杂度的保证。最后,由于肤色分割存在难以区分手与前臂的问题,进一步基于轮廓特征移除图像中的手臂区域。理论分析和实验结果表明提出的方案具有计算复杂度低、分割精度高的优点。(2)针对现有手势跟踪技术精度低、对自遮挡手势和快速运动手势鲁棒性差的问题,提出基于深度图像和惯性传感器数据的手势跟踪技术。首先建立3D人手运动模型和观测模型,然后设计与模型对应的目标函数,衡量手势假设与观测数据之间的差异。随后结合深度图像和惯性传感器数据生成初始手势,作为优化的起始点。最后提出一种改进的APSO(Adaptive Particle Swarm Optimization,自适应粒子群优化)算法,来更好地最小化设计的目标函数,实现更优的收敛性能。理论分析与实验结果表明提出的方案不仅提高了跟踪精度,还改善了对遮挡手势和快速运动手势跟踪的鲁棒性。