时下自然的人机交互技术(HCI)研究异常活跃,各种新颖的人机交互技术不断涌现。基于视觉的手势交互由于其自然、直观和非接触式交互等特点,近二十年来一直是备受关注的研究热点。但由于人手形状及手势运动状态复杂多变,加之现实环境的种种干扰使得有效地检测及跟踪手势相当具有挑战性。为降低手势检测和跟踪的难度同时提高检测及跟踪的准确度,当前的手势识别系统往往对使用环境、手势的形状或者运动方式有若干影响其便利性的限制条件。本文针对该问题,分别对手势检测和跟踪进行研究。　　 手势检测方面,针对手势检测算法大多难以适应不同光照条件变化,在程序启动时先检测人脸并提取脸部肤色区域建立肤色模型,不需要搜集肤色样本进行分析,对于不同肤色的个体及不同光照条件的环境都能够比较好地进行肤色分割。对序列图像进行肤色分割得到人手候选区域,分别提取轮廓,并进行直线拟合得到其近似多边形,简单有效地地检测手指并根据检测到的指头位置及长度定位手掌区域。在不需要限制背景复杂度、光照条件及用户上衣袖子长度等条件下进行实验,该检测算法在限定检测区域时检测准确率达95.65％,不限制检测区域时准确率为89.33％,程序启动到检测到手的时间平均只需要0.93秒,能够比较准确且快速地定位到手掌,基本能够满足现实应用。　　 对于手势跟踪在手与脸或者其他大面积肤色物重叠后容易跟踪失败的问题,本文采用的群集运动中躲避障碍的方式,使得跟踪手势的特征点群中受干扰物阻碍特征点和其他特征点分裂成两子群,进一步判断出受阻子群后再将其与跟踪手势的子群融合,这样以不同方式通过障碍且不丢失跟踪目标。实验结果表明本文的跟踪方法对于手形及速度发生明显变化的手势能够有效地进行跟踪,且每帧处理时间只需要12ms,满足实时要求,相比Flocks of Features(FoF)手势跟踪算法,有效跟踪时间提高了16.2％,该性能提升主要出于对手和脸重叠状况的有效处理,表明本文的算法较好地解决手势跟踪中的大面积肤色物干扰问题。