手势识别是国内外研究的热点之一,手势识别作为机器视觉与人机交互的一项应用技术,在诸多领域应用频繁,如:手语识别、机械臂遥感控制、智能家居应用等。现阶段该方向的研究受技术限制、环境影响还存在很多问题需要解决,目前手势指令识别方法大多是基于功能性手套或是利用具有深度信息的相机进行信息采集,对应用环境的条件要求苛刻。本文研究了基于计算机视觉的静态与动态融合手势指令识别技术^[18],主要采用基于肤色提取、利用Mean Shift跟踪算法与手势的质心与类别特征得出的组合跟踪算法进行跟踪,实现了基于静态手势识别的动态手势指令跟踪与识别,具有良好的鲁棒性。利用双层SVM训练模型减小了对实验环境的依赖性。主要工作如下:1)自定义5中基础静态手势,利用普通摄像头采集手势,建立自己的静态手势数据库,利用肤色分割进行手势提取,利用区域生长算法排除干扰区域,对目标图像进行HOG特征提取,通过SVM分类对提取的HOG特征进行多分类,从而得出对静态手势的训练模型。自定义10种动态指令,利用笔记本摄像头录制动态指令手势库,利用静态手势训练模型与各单帧手势的位置获取动态手势特征,第二次利用SVM训练器进行训练得到动态手势模型。2)选取适当的肤色模型对手势进行肤色分割与提取,肤色模型有RGB颜色空间、HSV颜色空间、YCr Cb颜色空间等,由于RGB空间中对肤色进行提取受色度和亮度的影响^[3],HSV颜色空间中明度V表示颜色明亮的程度,对于光源色,明度值与发光体的光亮度有关^[23],对光线比较敏感,在YCr Cb空间中,Y代表了亮度信息,而Cb、Cr分量不受亮度影响,所以将Y、Cb、Cr分离再结合OTSU自适应阈值分割进而进行精确肤色分割。3)对静态与动态手势进行特征提取,特征提取分为静态特征提取以及动态特征提取,静态手势特征提取主要根据手势的二维图的肤色提取结果进行HOG特征提取^[4];动态手势特征提取,根据静态的模型可以得到动态指令的静态手势序列,将静态手势序列与利用区域生长得到的每帧手势质心坐标以及相邻帧间的轨迹夹角进行归一化获得动态手势特征序列。4)结合Mean Shift跟踪算法原理与区域生长算法得出的手势轮廓与质心构建出组合手势跟踪算法,区域生长算法能将肤色处理后得到的二值化图像中手势部分分割出来并框处其轮廓计算出质心,因此本文将Mean Shift跟踪算法与本文的手势质心等信息进行融合设计出组合跟踪算法,实现了实时精确跟踪手部运动,弥补了单纯一种跟踪算法的跟踪准确率低的缺点。5)利用笔记本相机进行静态手势实验,对不同人做出的不同手势进行识别,实验结果表明,静态模型对不同人的不同动作鲁棒性很好,满足实验要求。动态手势指令实验,对不同人做出的不同手势指令进行识别测试,根据做出的手势指令给出不同的实验结果,测试结果表明,该识别算法识别效率较好,鲁棒性优异,实时性满足实际需求条件。最后,根据以上测试结果得出最终的实验结论并对提出的方法进行优缺点分析和未来改良展望。