开放车间调度问题是一种典型的组合优化问题,在制造业、交通和物流等领域被广泛研究。这类问题具有复杂的约束和巨大的解空间,因此求取最优解十分困难。目前,传统算法大都基于特定规则或局部搜索的策略来获得次优解,只适用于解决特定分布的问题,具有较大的局限性。近年来,深度强化学习在解决各类复杂决策问题中展现出较强的适用性和可扩展性,因此,本文基于深度强化学习求解开放车间调度问题。论文的主要工作如下:本文设计并实现了基于演员-评论家网络的深度强化学习算法求解开放车间调度问题。首先采用构建图的策略实现开放车间调度问题输入和输出调度方案的简化。输入图能够准确描述问题的特征以及操作之间的关系,输出图能够直观反映问题的约束条件和时序关系。为了实现深度强化学习建模图结构,进一步将输出图的构建过程序列化,并且设计了动态规划算法计算方案的完工时间。然后从强化学习的角度分析开放车间调度问题的状态、动作和奖励,提出基于演员-评论家网络的深度强化学习模型框架。在研究演员网络拟合调度策略时,为了更好地探索深层次信息和表示问题模型,本工作优化了两种基于注意力机制的神经网络:指针注意力网络和图注意力网络。将提出的模型与传统算法进行比较,在随机生成的不同规模的开放车间调度问题下开展实验,实验结果验证了提出模型的有效性。为了进一步优化求解算法,本文提出了基于折扣记忆的注意力模型。通过对开放车间调度问题的特点和图注意力网络的原理进行深入分析,发现注意力机制过分关注上一步或固定几步的历史决策输出,而在复杂的开放车间调度问题中,往往某些有特殊意义的历史决策十分关键。折扣记忆同时关注时间和关联性两个方面,能够辅助注意力机制显式地建模历史决策与当前决策之间的关系。为了验证折扣记忆的有效性,展开消融实验和基线对比实验,从求解质量和计算成本两个指标进行评估,实验结果表明,增加了折扣记忆后模型效果提升显著。并且该模型在解决实时调度问题时也表现出很高的实用价值。