我国聋哑人群数量庞大,亟需接受各类教育的学生数量与日俱增。因此,语音识别虚拟人手语翻译,对提升聋哑人社会融入度,改善聋哑学生高等教育教学环境,提升聋哑学生人才培养质量具有重要的意义。本文对语音到手语的专项翻译进行了研究,提出了一种语音到手语编码的虚拟人手语翻译方法。针对目前语音手语翻译多分步操作易产生误差积累,手语输出易受文本分词效果影响的问题,本文提出了由语音到手语编码的一步式翻译方法。该方法在语音识别中直接输出手语编码,由编码进行手语输出,摒弃了逐步翻译的模式,并摆脱了分词对手语输出的影响。为实现语音到手语编码的一步式翻译模式,本文提出了基于ECA-CNN-CTC的声学模型和基于自注意力机制的手语编码语言模型,由二者结合共同完成了语音到手语编码的识别任务。针对基于卷积神经网络的模型受限于卷积窗口大小而无法获取足够多上下文信息的问题,提出了基于注意力机制的卷积神经网络模型（ECA-CNN）。采用ECA注意力机制模块来压缩全局通道特征,使卷积近似的获得全局感受野,提取足够的上下文信息。在此基础上,结合CTC构建了基于ECACNN-CTC的声学模型,实现了语音到拼音序列的映射。同时,为满足拼音到手语编码的映射需求,本文利用自注意力机制结构搭建了拼音到手语编码的语言模型。在手语输出中,传统的以图片合成或视频合成输出手语的方式缺乏直观现实性、不易修改、过渡不连贯;以虚拟现实技术实现手语输出的方式多用字、词作为手语动画制作的基点,手语动画重用率低,难以完成大规模的手语动画库。所以,针对以上问题,本文提出了基动作合成的虚拟人手语输出方式。以虚拟人手语基动作为制作基点构建手语动画库,在上述语音识别方法输出手语编码后,手语编码调用各个基动作组成完整手语,完成输出。该手语输出方式更加直观、连贯和生动,同时手语动画重用率高,减轻了手语动画制作的压力。总的来说,本文提出的虚拟人手语翻译方法便捷有效、便于使用,无需借助其他外接设备,是一个实用性极强的手语翻译方法。