手势识别一直是人机交互领域的一个重要研究方向,近些年来,人工智能算法的飞速发展使得无人平台理解能力不断提升,也助推了传统手势交互方式的不断革新。手势姿态的易理解性使其成为人与无人平台通信的自然媒介交互,但其多样性与歧义性也成为研究人员面临的关键技术难题。手势识别按照数据获取方式的不同主要分为基于视觉的手势识别和基于传感器的手势识别,而视觉分支又可细分为基于单目相机、多目相机、深度相机,传感器分支又可划分为基于肌电传感器、惯性传感器、弯曲传感器等研究方向。然而,单一传感器捕捉到的信息对手势动作表征能力有限,限制了手势交互技术的跨越式发展。本文针对惯性传感器、肌电传感器、单目相机开展了多模态手势识别算法研究,并应用于工程项目中,定义了多种无人机手势控制指令,在实际场景中通过多模态手势信号控制无人机完成既定飞行任务,研究内容主要包含以下几个方面:（1）开展了基于微机电系统（Micro-Electro-Mechanical System,MEMS）惯性测量单元（Inertial Measurement Unit,IMU）实现动态手势灵活控制无人机技术的研究,设计并开发了手势采集装置,提出了一种基于加速度计和陀螺仪传感器数据的深度学习框架Conv BLSTM,达到了99.2%的高识别精度,相比经典的支持向量机（Support Vector Machines,SVM）、K近邻（K-Nearest Neighbor,KNN）、长短时记忆网络等识别算法解决了精度低、泛化能力差等问题。（2）开展了基于惯性传感器和肌电传感器融合的无人机动态手势操控方法研究。研究了基于六轴惯性传感器结合肌电传感器的无线手势识别装置设计与实现,从肌电信号生成原理以及多传感器信息融合知识出发,进行了基于不同时频域特征的多传感器信息融合手势识别研究,而且在肌电和惯性传感器的数据融合以及特征融合方面做出了有益探索。（3）开展了基于RGB相机和惯性传感器融合的无人机动态手势操控方法研究。相机跟踪手部姿态结合惯性传感器捕捉手势轨迹,提出了视频数据和惯性数据双流融合的HandFuseNet网络模型,将数据分别输入网络的视频和惯性信号处理分支做深层特征提取,进一步地挖掘深层特征做特征融合处理,进而映射为手势指令,相比经典的深度学习网络架构VGG和ResNet,所提出的HandFuseNet网络可以更好地拟合视觉和惯性手势数据,右手单手15分类手势动作在每名被试数据集上的平均准确率达到了97.29%,在全数据集上准确率达到了98.17%,有力地验证了所述模型的泛化性与鲁棒性。总的来说,本文进行了多次实验来验证算法的适用性及手势分类的准确性,通过数据点长度准确性实验,缩短了手势识别的滑动时间窗长度,提升了无人机实时响应速度。通过面向肌电和惯性信号的无人机手势控制实验,不仅较好的完成既定飞行试验任务,更进一步地,多特征尺度的讨论为后续基于视觉图像的识别算法研究打下了坚实基础。充分挖掘了惯性信号在手势运动轨迹以及视觉信号在手势运动图像方面的融合表征能力,并且基于视惯融合的无人机飞行试验结果也表明所述算法在实际工程中有很广泛的应用价值。