随着我国老龄化进程的加深，老年人和残疾人对服务机器人的需求不断增长，传统的操纵键盘和按钮方式不够自然方便，基于视觉的手势识别直接把人手手势作为输入，是一种非接触式人机交互方式，符合人们平常的动作习惯，具有直观和自然的优点。但是由于手势具有时间和空间上的多样性和不确定性，而且人手本身也是复杂的可变形体。因此，在复杂环境下自然手的动态手势识别是既具有理论研究而且具有实际应用价值的课题。本文对当前的手势识别方法研究进行了深入研究，确定了基于双目立体视觉的手势识别系统的总体框架。在总体系统方案的规划下，本文对双目立体视觉系统和手势识别算法进行了研究。1）双目立体视觉主要用于获取手势的深度信息，摄像机标定和立体匹配的精度对于深度信息的准确性至关重要，在摄像机标定方法研究中采用Opencv标定方法和MATLAB标定方法，分析了两种标定方法的区别和HEIKKILA算法的原理；在立体匹配算法研究中，提出了一种新的全局优化算法，可以运用到立体匹配中提高三维测距的精度。2）手势识别主要包括手势检测、手势跟踪和手势识别，本文提出了结合双目立体视觉获取的深度信息和人体肤色信息进行手势分割，然后把手势分割的结果提取出轮廓后进行跟踪。动态手势识别的过程就是识别跟踪中记录的三维手势轨迹。轨迹中的方向特征向量经过量化处理后由隐马尔科夫模型来实现动态手势识别。