随着计算机的迅速普及,“以人为中心”的新一代人机交互技术成为当前研究的热点问题。手势识别是其中一个不可或缺的组成部分。尤其是基于计算机视觉手势识别的研究,因其符合人的自然习惯而且设备价格低廉,受到越来越多的关注。同时,作为一种特殊的手势,手语是聋人之间交流的主要“语言”。由于健听人一般不懂手语,而且手语翻译作为一个新兴职业,还远远难以满足市场需求,因此手语识别的研究就十分迫切。通过手语识别的研究,可以让聋人与健听人之间更好的交流,而且可以进一步促进计算机相关领域的发展。本文提出了一种手语识别的新思路,即基于关键帧的动态手语识别。将动态地手语视频转换为静态的关键帧组合,极大地减少数据量,并通过识别关键帧组合,实现实时的手语识别。在此基础之上,本文提出了一种自适应的关键帧检测算法,可以针对不同的手语者、不同的采样频率提取关键帧。将这些关键帧看做手语基元,相同基元的不同组合即可构成不同语义的手语。因此提出了一种加权的基元组合识别算法。根据基元对手语语义的贡献不同给它们分配不同的权值,然后利用随机森林对提取到的关键帧进行分类识别,最后采用加权匹配的方法识别关键帧(基元)组合。系统测试表明,本文所提出的算法,不仅可以准确的提取关键帧,即手语基元,也可以对动态手语做出实时高效的识别。