移动机器人在经济社会中有着广泛的应用,覆盖了工业、农业、商业等领域。自主导航能力是移动机器人最基础的功能,移动机器人的其他功能都是以此为前提。移动机器人导航技术包含环境感知、建图与定位和路径规划三个要素。其中,为移动机器人建立地图需要耗费大量时间和精力,而且随着导航环境的变化,地图也需要重新绘制,才能保证移动机器人的导航效果。在某些情况下,如军事侦察、资源勘探、抗震救灾等,移动机器人在执行导航任务前无法得知环境地图,这极大地限制了移动机器人的广泛使用。本文重点关注基于深度强化学习的移动机器人导航技术。我们以移动机器人配备的激光雷达作为输入,采用深度强化学习算法作为决策模块,引导移动机器人在仿真环境中规避障碍物并到达目标点位置。移动机器人不需要预先对环境建立地图信息,而是通过与环境的不断交互,获取来自环境的反馈,进而学习到潜在的导航策略。深度强化学习的输入源包括距离信息、障碍信息、子目标、角度等多维信息,有移动机器人的决策提供了有效支撑。本文的主要创新如下:1.本文把一种基于分层架构模型的强化学习导航方法——h-DQN（Hierarchical Deep Q-Learning）应用在移动机器人导航任务上。这种分层架构的学习过程把导航任务划分了两个阶段,选取子目标和执行具体动作。该方法把传统的导航过程看成是一系列在时序上连续的子问题,通过不断解决子问题从而完成导航任务,提高了移动机器人在复杂环境下执行导航任务的成功率。2.我们在移动机器人导航算法中加入了LSTM（Long Short-Term Memory）网络,加快了强化学习算法的收敛速度和提高了面临新环境时的泛化能力。引入了LSTM的强化学习算法能在算法稳定时取得更高的奖励值。在实验部分,我们使用Gazebo仿真器搭建了2个简单导航环境和2个复杂导航环境,分别使用DQN和h-DQN两种算法指导Turtle Bot3机器人执行导航任务。实验结果表明,DQN和h-DQN均能完成导航任务,但后者在面临复杂环境时导航成功率更高。除此之外,采用了LSTM记忆模块的强化学习算法收敛速度更快。在移植算法到新环境时,h-DQN很好地利用了预训练的先验知识,而DQN则可能出现算法无法收敛的情况。