虚拟现实作为一种现代信息技术正受到各个行业的广泛关注,利用该技术实现的虚拟维修在工程培训领域有不受硬件条件制约且逼真度高的优势,是当今的热点课题。人机交互作为虚拟维修中的关键问题,对用户体验感的提高和虚拟维修的最终效果有着较大的影响,因而寻求一种自然的交互方式是虚拟维修领域未来重要的发展方向。近年来,手势识别随着体感设备的不断升级和人工智能的兴起,体现出了其自然的交互特点,逐渐成为一种理想的虚拟维修交互技术。在虚拟维修场景下,可以根据需要的维修动作和交互指令建立手势库,在进行虚拟维修时准确、快速地识别对应的手势从而完成交互和维修动作。因此,本文在虚拟维修的基础上对手势识别技术展开了深入研究,重点是建立一种准确、高效的手势识别模型并将其在虚拟维修系统中进行实现。本文采用Leap Motion作为体感设备,以飞机起落架为例建立基于手势识别的虚拟维修系统,主要工作内容包括以下几个方面:(1)以人机交互为主阐述了虚拟维修的关键技术,并对手势识别这一自然交互技术的发展现状、基本原理进行了研究。在对SVM、Adaboost、BPNN等分类识别算法的一般框架和原理分析的基础上,采用粒子群算法对BPNN算法中的初始权值矩阵以及隐藏层神经元个数进行联合优化。基于Laplace核函数的形式将粒子适应度值和迭代次数融入粒子群寻优过程中的惯性权重,使其自适应于识别准确率的提高过程从而获得更优的值,并在MATLAB平台下通过仿真实验对比验证了其效果。(2)针对虚拟维修过程设计了一套包含静态指令和动态维修操作的手势库。采用Leap Motion体感设备采集相关手势信息并提取特征,经过PCA处理后形成特征序列用于训练和识别。根据测试得到的识别准确率和效率,设计了应用于虚拟维修的手势识别模型,并基于.Net机器学习类库在Visual Studio平台下对该模型进行了实现。(3)以飞机起落架虚拟维修为例,基于手势识别设计了一套虚拟维修系统,将手势识别模型在该系统的内部操作和维修过程中进行实现。采用3DS Max建立三维实体模型导入开发平台Unity3D并完成坐标转换。采用TCP协议将系统作为客户端,分类识别算法作为服务端,以异步通信的方式保证了手势识别的实时性和可靠性。采用C#语言对系统场景连接和手势识别交互触发等功能进行了实现,并展示了系统的实现效果。