现代无人机体积小巧、移动速度快,在军事侦察、公共管理等领域应用广泛。相较于单个无人飞行器构成的系统,多无人机系统具有覆盖面积广、扩展性好、抗毁能力强等特点。为了实现多无人机系统集群化,需要构建高可靠低延迟的无人机网络,以提供飞行器间的通信服务。近年来,随着设备计算能力的提升,机器学习方法尤其是深度神经网络模型逐渐应用于图像、语音等实际场景之中,并取得了巨大的成功。作为机器学习的一个重要研究方向,强化学习算法同样取得了长足的进步。由于强化学习方法的普适性,其在自组织网络中的应用具有广阔前景。本文面向无人机自组织网络,开展使用强化学习方法进行路由协议设计与仿真的研究。本文首先介绍了强化学习的基本思路及常用算法,并说明了马尔可夫决策过程的定义和描述。而后本文分析了 AODV、OLSR、GPSR三种传统自组织网络协议的基本思路。进一步的,本文在GPSR的基础上,结合强化学习思路,提出了一种基于Q网络的强化学习地理位置自组织路由协议,即QNGPSR协议。通过使用邻居拓扑信息以及Q网络,QNGPSR可以更好的估计环境和节点状态并降低周边转发使用率。基于SimPy离散事件框架,本文设计了 一个无线网络仿真器,并仿真测试了 AODV、OLSR、GPSR及本文提出的QNGPSR协议在多种不同场景下的网络性能。仿真结果表明,在本文给出的三种移动模型中,QNGPSR的网络性能较GPSR有较大提高。相较于GPSR,QNGPSR可大幅降低端到端时延。当节点密度较高时,QNGPS的端到端时延甚至与OLSR这一主动路由协议相当。而数据包递交率仍维持GPSR水平。在本文给出的飞机移动模型下,当网络繁忙时,QNGPSR能提供相较于其他协议更好的时延和包递交率性能。