在传统的人机交互领域中,人机交互常常需要遵循一套复杂的操作规则,对于用户来说,此类限制并不利于操作。随着计算机视觉技术的发展,在人机交互领域产生了新型人机交互方案,使得人机交互过程更为人性化。手势是一种天然的交流方式,基于视觉的手势识别是新型人机交互领域中的一项关键技术。然而,由于手部形状多变,手势具有多样性以及多义性等特点,并且手部所处场景往往复杂多变,因此,基于视觉的手势识别是一个富有挑战性的研究课题。为此,本文针对手势识别所遇到的问题进行了分析研究,并做了相关实验和性能估计,在此基础上,提出了一种新的手势识别框架,然后对该框架进行了实验及分析。本文主要工作如下:1、为了有效地将手部区域与复杂背景分割开来,我们将ViBe算法与肤色检测算法相结合,前者获得运动信息,后者获得肤色信息,接着融合两种信息以初步确定手部候选区域,然后使用连通域分析方法,进一步确定手部可能出现的区域。该算法的创新之处在于结合了ViBe算法和肤色模型来检测手部可能出现的区域,实验证明,它能够有效地对手部区域进行定位,且满足实时要求。2、实现了一种手势跟踪框架,该框架使用基于哈尔特征的自适应增强算法(AdaBoost)进行跟踪初始化,从前一步骤的手部候选区域中选定一个手部区域作为跟踪手部区域,然后结合连续自适应均值平移跟踪算法(Cam Shift)和卡尔曼滤波算法对该手部区域进行跟踪。卡尔曼滤波算法用于克服背景中大面积颜色相近区域干扰的问题。实验证明,该算法能够有效跟踪手部区域,并且配合手部检测算法能够取得较好的跟踪效果。3、设计了一种手势识别算法。在获取手部区域以后,利用方向梯度直方图(HOG)来获得手势特征,然后使用随机森林作为分类器。使用方向梯度直方图是为了克服外部环境所带来的光照变化等影响,实验表明该方法取得了较好的识别效果。此外,本文还结合手势检测与手势跟踪算法,搭建了一个基于普通网络摄像头的手势识别系统,并进行了相关测试,证明该系统可以识别不同人的手势,且能满足实时要求,同时取得了较好的识别率。