自主水下航行器(Autonomous Underwater Vehicle,简称AUV)作为重要的水下探索工具,是世界各国重点研究的方向之一。由于水下环境的特殊性和复杂性,AUV的自主性是体现其智能性的关键。要实现AUV的自主航行和自主作业,路径规划技术在其中发挥着重要的作用。路径规划水平的高低在一定程度上决定着AUV自主能力的高低,因此,探索一种适应复杂环境的路径规划方法具有重要的实际意义。强化学习是目前最具发展潜力的人工智能方法之一,由于其能够通过与环境的不断交互来实现系统性能的优化,因此,强化学习对环境具有较强的自适应能力。本文主要是根据强化学习的特点,将其应用到AUV的路径规划中,以提高AUV对水下环境的自适应能力。在实际作业中,AUV的运动过程可以分成两个过程:下潜过程和定深作业时的水平运动过程。因此,本论文的主要研究内容如下:首先,对强化学习原理进行了详细的分析,包括强化学习的模型、要素以及算法,以AUV路径规划为应用背景,分析了强化学习在实际应用中需要注意的问题。其次,将强化学习中的Q学习应用到AUV定深作业时的局部路径规划中。根据AUV前视声呐的特性设计了模拟传感器,并在其基础上搭建了AUV环境训练场,为下一步路径规划的设计提供了有效的验证平台。针对Q学习收敛速度慢的问题,使用资格迹技术进行了加速。接着,设计了基于改进Q学习的路径规划方法,最后,对所设计的AUV路径规划方法进行了仿真验证。再次,针对Q学习在面对连续空间时存在的不足,提出了将深度Q学习应用到AUV的局部路径规划中。分析了神经网络的实现过程,在此基础上对深度Q学习进行了网络结构设计,使用了优先级经验回放缓冲区以提高算法学习的效率。设计了基于深度Q学习的AUV路径规划方法,最后,对所设计的方法进行了仿真验证。最后,使用改进的快速扩展随机树(Rapidly-exploring Random Tree,简称RRT)算法对AUV进行三维路径规划,使AUV能够下潜到指定的深度进行作业。针对RRT算法的不足,提出了改进的RRT算法,将强化学习的自学习能力引入到RRT算法中来近似搜索最近邻节点,并在算法中加入了目标偏置策略,提高了RRT算法的收敛速度。此外,还提出了一种“倒序平滑法”的平滑策略以解决路径的冗余节点问题。最后,对所设计的方法进行了仿真验证。