论文部分内容阅读
随着电子商务的发展,传统的仓储物流面临转型需求和技术挑战,自动化仓储技术正成为业界未来发展的主流方向。作为自动化仓储的核心,工业机器人技术也成为领域的热点课题。其中,对于机器人组网问题的研究尚处于起步阶段,而传统的机器人路径规划算法在仓储环境中的应用仍存在许多不足之处。因此,对仓储环境中工业机器人系统自组网问题与机器人路径规划问题的研究具有很重要的意义。本文的主要内容将会针对上述两个问题进行展开。 本文首先对仓储环境内机器人集群的通信任务进行了简要分析,根据需求对工业机器人与中央控制单元、机器人间的通信流程进行了设计,提出了一种分布式通信的架构。接着对当前主流的自组网路由协议进行了研究,根据能量距离公式的特点选择了低功耗自适应集簇分层型协议(LEACH)路由算法作为机器人路由协议的基础,并根据工业机器人自身运行的特点对LEACH算法中簇头选择、簇区划分和路由选择的方式进行了改进。之后根据机器人在仓储环境中工作的特点,对机器人广播的时间间隔进行了设计,降低了信道占用数量和能量消耗。通过仿真验证了改进后的算法能够有效地降低综合损耗并且能在能量损耗和通信时延之间达到较好的均衡。 本文接下来分别从环境建模和路径规划算法两个方面对机器人的路径规划问题进行分析。通过对几种经典环境建模方法的分析和对比,结合仓储环境的具体情况,选择二维栅格法对机器人工作环境进行了建模;对目前主流的几种路径规划算法进行了理论分析,讨论了以Dijkstra算法为代表的图论算法和以蚁群算法为代表的元启发式算法在仓储环境应用时存在的不足,提出以深度强化学习为基础进行机器人路径规划的新算法。然后分析了深度强化学习的相关理论基础。针对传统的DQN算法中存在的Q值更新过程中存在过估计、整个计算所用时间过长和容易陷入局部最优解的问题,选择DoubleDQN网络结构,改变Q值更新方式,解决过估计的问题。 最后针对DoubleDQN算法在机器人路径规划中存在的一些问题,本次课题对DoubleDQN的学习过程进行了改进:考虑机器人转向时间对路径运行时间的影响,将机器人每一个时刻的方向作为状态的组成部分;在学习过程中,对机器人运行到障碍物位置时的处理方式进行改进,避免了机器人在学习时被“困”在特定区域内的问题;引入人工势场算法中“势场”的概念,重新设计了奖励信息,加快了机器人的学习过程;对动作选择的策略进行了改进,有效地降低了DoubleDQN网络的训练时间,提高了路径规划算法的时效性。我们对改进后的DoubleDQN路径规划算法进行了仿真,验证了改进算法能够更快地达到收敛,获得最优解。