随着STEM教育的不断升温,像机器人、编程、人工智能等科技创新类教育深受学生和家长的热捧。同样有着“空中机器人”之称的无人机也不例外,其已经作为新兴教具走进了很多一线城市的中小学课堂。然而目前,专为无人机课堂教育推出的激发学生创造性的创新应用及教材依然稀缺,本文针对该问题进行无人机示教过程操作指令序列生成方法研究。本文以Tello无人机为平台,研究基于传感器数据驱动进行无人机指令序列生成的算法实现。由于目前基于视觉输入的代码生成的研究主要集中在生成前端代码的任务上,如基于输入图像生成HTML等,而基于输入图像驱动生成指令序列任务的研究尚少。因此,本文根据实际需求设计并实现了一套用于采集Tello无人机示教操作过程中所产生的数据的数据采集系统,以用于构建项目研究所需的数据集。而后根据功能需求特点,基于前人的研究基础,本文提出将传感数据图像化与将指令序列数据文本化的方法,通过搭建改进的卷积神经网络(Convolutional Neural Networks,CNN)与循环神经网络(Recurrent Neural Network,RNN)的融合模型实现基于传感器数据驱动来反向生成指令序列的任务。为解决样本数据量不足的问题以及使模型能够编码更多的指令序列信息,本文进一步提出在图像到图像的域间转换双GAN组合模型中引入半监督学习机制实现基于传感器数据图像驱动生成指令序列图像,而后通过图像反映射生成指令序列的方法。实验表明,基于传感器数据驱动来进行无人机示教过程操作指令序列生成的方法可行。本文虽已完成了覆盖指定场景下的指令序列生成任务,但仍有很大的提升空间。同时人工智能学习领域的发展日新月异,特别是在代码序列自动生成方面,不断有研究者迸发了许多很好的想法。因此下一步的工作将致力于应用场景覆盖、模型算法创新及系统落地应用等方面。