聋哑人作为社会的弱势群体,在生活、学习、娱乐方面由于受到沟通语言的限制,可使用的资源非常少。手语作为聋哑人之间沟通、交流的主要语言,需要得到更加规范化的推广。随着社会信息化的发展,建立一个健全人与聋哑人之间的沟通桥梁,变成一个极为迫切的需求。本文即在这样的大背景下产生。本文主要做了以下几方面的工作：语音识别方法的研究,包括对传统算法的研究,已有语音识别引擎SDK的研究,最终选用SDK的方式,实现系统的语音识别功能。中文语义分析的实现。本文使用中科院的HHMM模型,并对其词典存储方式做了改进,实现了系统的语义分析功能。虚拟人建模的实现。本文分析了人体运动的基本情况,对关节的运动约束做出了总结,通过学习不同的虚拟人建模方法,例如H-ANIM标准、建模软件等等,最终建立了系统所需的虚拟人模型。虚拟人运动控制,本文分析了不同的虚拟人运动控制方法。学习并改进了基于HAL链的实时逆向运动学求解算法,解决了肘圆问题。并对虚拟人运动中的手语连音问题做了一定处理,使虚拟人的手势表达与实际更相符合。提出了一套新的虚拟人手部动画的演绎方式,并根据关节自由度的不同情况使用了不同的插值方法,使用本文提及的方式控制虚拟人,不需要存储大量虚拟人运动的片段,更加灵活。在本文最后,对基于上述方法的系统做出了实现,并且从多个方面对系统的性能做出了评估。本系统在实用性方面来讲,是首个将中文语音与手语合成相联系的系统,将健全人与聋哑人的沟通变为可能,增加了可供聋哑人使用的社会资源,在创新性方面来讲,本文具有很强的灵活性,虚拟人的运动完全由程序控制,只需要插入词根的关键帧,将程序员从大量繁琐的姿势数据中解放,同时虚拟人手势合成过程中,本文对连音现象进行了处理,使得手势更加逼真。本文无论在实际上还是在理论上,都有很重要的意义。