移动机器人在与环境的交互过程中往往需要自主获取周围地图信息,然后执行路径规划任务和相关导航功能。因此让移动机器人智能地学习如何在未知环境中规划最短路径受到研究人员的广泛关注。在路径规划领域,传统的机械算法有着感知过程与决策分离、缺乏对问题本质理解、面对未知环境地图时泛化性差等缺陷。目前随着深度学习和强化学习等人工智能算法的成熟,用这些端到端学习的系统取代机械指令式算法已经成了一种趋势。深度强化学习算法则结合了神经网络在计算机视觉领域的优势和强化学习探索环境的特点,本文旨在将其应用到二维栅格地图的路径规划中,从而建立输入图像到路径移动决策的直接映射关系。本文研究了两种经典深度强化学习算法的工作原理,分析了它们和路径规划任务的契合点和不足。在此基础上,针对性地提出了基于深度强化学习的改进算法,做了以下研究工作。首先,本文考察了深度Q学习网络的结构,其核心思想是利用深度卷积神经网络去逼近值函数和通过经验回放的方式进行强化学习的训练。但是其神经网络模块在处理路径规划任务时有着保留空间位置信息、局部图像信息利用上的不足。于是本文采用全卷积神经网络层,并引入了硬注意力机制来对其结构进行优化。然后,为了解决基于反射式神经网络在面对大尺寸地图和长路径时预测误差较大的问题,本文尝试通过引入价值迭代网络来加强算法的长远规划能力。然而传统的价值迭代模块在训练过程中,梯度难以训练且累积误差较大。于是本文做出进一步改进,将其按迭代次数进行非递归展开,网络内部使用残差连接,以及输出网络层采用竞争网络结构将优势函数分解成动作优势函数和近似价值函数的和。在训练方法上,本文舍弃了传统强化学习的探索奖励模式,转而对路径动态规划生成的专家样本进行模仿学习。这样做可以避免路径规划中移动机器人探索空间过大和难以到达目标位置的困难,同时加速模型参数的学习。实验结果的对比分析显示,本文提出的改进强化深度学习算法在路径规划中准确率和泛化性都比经典同类型算法有显著提升。并且在随机的地图实例中进行了可视化,验证了改进算法在未知环境中完成路径规划的有效性和稳定性。