服务机器人在完成各种任务时经常需要进出房间,这就需要机器人能够在室内环境下,自主获取环境信息,然后进行路径规划和导航,导航对于自主移动机器人来说非常重要。在动态未知环境中,由于移动机器人处于局部环境中,有时并不能准确得到目标位罝,因此移动机器人只能根据反馈得到的局部信息来规划自己的路径。如何有效的利用已知信息就成了动态未知环境中路径规划的关键问题。传统的动态环境下的路径规划方法都需要依赖地图信息,在已知地图信息的前提下进行路径规划,无法在未知的环境中通过视觉伺服进行路径规划。本文通过深度强化学习的方式,在机器人无地图信息的情况下进行路径规划。首先,建立差速的移动机器人系统,为了验证模型的准确性与可靠性,在MATLAB中进行了多种运动学的仿真,包括点镇定、跟踪双曲线、跟踪圆周曲线等的测试,证明了运动学模型的可靠性。基于ROS建立了移动机器人的外形与运动学模型,在其上添加了Kinect视觉传感器与碰撞、速度里程计等传感器,并将各个传感器采集到的数据以消息的方式发布到了相应的主题上,通过订阅这些主题可以方便的获取机器人实时采集的环境信息,为之后进行路径规划奠定基础。然后,建立了深度强化学习的模型。本文使用结合了Q-学习与梯度策略算法的A3C算法进行机器人运动决策的训练,针对本文的差速移动机器人的特点,通过Kinect的深度图像作为输入,将机器人速度与角速度的值作为输出,建立了端到端的训练模型。并在Gazebo搭建的环境中进行了实验,验证了算法的有效性。最后,针对强化学习训练时间长的缺点,提出一种基于最小景深信息的训练方式,优化了状态空间的构建过程,以此来提高学习的训练效率,并与普通训练方式进行了对比验证,在相同的训练时间下,本文提出的训练方法学习效率更高。并进行了未知环境与动态环境避障的验证实验。在真实的环境中进行实验,验证了算法对未知环境路径规划的有效性,并实现了未知环境的探索与地图的构建。