随着人机交互技术向着“以人为中心”的多媒体、多模式交互的方向发展,传统的基于键盘、鼠标的交互方式越来越显示出自身的局限性;将基于计算机视觉的手势识别方法融入到新一代人机交互模式中,成为完善人机交互手段的一种新的思路。本课题面向人机交互应用,针对复杂背景下交互手势的检测方法、手势的特征描述方法、手势识别方法做了深入研究,并在上述研究基础上选取虚拟现实环境为应用背景,建立了一个基于用户手势输入的虚实交互系统,实现了人机之间的友好交互。在手势检测方面,针对实际应用中背景复杂多变的特点,提出基于肤色分割前端优化的Viola-Jones手势检测方法。为排除光照强度变化的影响,在肤色分割模块中实现了在非线性转换YCbCr颜色空间中的手势建模。肤色分割模块的引入,有效地解除了复杂背景对手势检测问题的制约,在一定程度上降低了算法的误检率。在算法实现环节分别通过复杂背景下测试、分类器性能测试、实时性能测试对上述方法进行验证,实验结果表明本文方法对复杂背景下的手势检测较为鲁棒,表现出良好的整体性能。在手势识别方面,选取Hu不变矩作为手势的特征描述,提出结合Hu矩特征和支持向量机(SVM)分类的手势识别算法。Hu矩特征不易受噪声干扰,对检测手势在尺度、旋转角度等方面的变化有较强的适应性。实验环节中上述识别方法在测试样本集上取得了理想的识别率,从而进一步证明选取SVM用于特征分类,可有效地解决手势识别研究中面临的小样本、分类模型推广能力差及参数难以优化等问题。最后在上述研究基础上,将手势检测算法与识别算法结合,实现了对输入手势的自动识别,并选取虚拟现实环境为应用背景,在Visual C++ 6.0环境下建立了一个以用户手势为输入的虚实交互系统,利用对用户手势的识别结果控制虚拟环境中的物体,从而实现了人与虚拟环境的实时、友好交互。