随着科技的发展,人机交互技术的应用越来越广泛,而“以人为本”的交互理念也慢慢得到关注。人机交互中的手势交互是主流的交互方式之一,通过视觉进行的手势交互广泛应用在汽车、医疗以及体感游戏等诸多领域中。与此同时,人工智能的飞速发展,将基于视觉的手势识别技术提升了一个新的高度。因此,本文将人工智能、认知科学和虚拟现实等多个领域的技术进行融合,实现了基于普通二维摄像头图像的手势动作识别,并用自然的手势动作控制虚拟系统中的无人机飞行。为了实现二维摄像头下的手势识别,本文采用深度学习技术提取人体的骨骼关节点,设计出Pose-Hand模型,能将人体的关节点以及手部的关节点全部提取出来,这为手势识别奠定了较好的基础。在手势识别算法设计上,利用基于位置关系和基于深度学习这两种方法进行识别,无论对简单手势还是对复杂手势都能够有效快速的识别。同时,为了体现“以人为本”的观念,本文研究了手势动作的语义表征技术,通过手势控制无人机的行为实验,采集大量实验数据,建立了手势控制无人机的语义表征模型。最后,为了验证手势识别模型的准确率以及手势语义表征模型,搭建了手势控制无人机的虚拟交互系统,通过虚拟交互系统展示了手势控制无人机的效果。