强化学习中回报函数设计至关重要,不好的回报函数设计会导致强化学习算法收敛不稳定甚至失败。本论文以强化学习中的回报函数为研究对象,分析传统强化学习方法中回报函数的设计对训练效果影响的问题。基于深度确定性策略梯度网络（Deep deterministic policy gradient,DDPG）提出了两种优化方法。一是针对有明确目标的场景设计无回报函数机制算法RFPG（Reward Free Policy Gradient）,二是针对一般场景设计的回报函数分解算法RD3（Reward Decomposition DDPG）。两种算法在一定程度避免了回报函数设计问题。本论文设计的算法如下:RFPG算法是一种针对具有明确目标场景设计的无回报函数的强化学习算法。回报函数的制定是强化学习中非常重要步骤。但是在大量系统中回报函数并不容易制定。不同的回报函数会得到不同的结果。针对这一问题本论文首先,设计了状态量机制代替原先复杂的回报函数。接着,利用预测函数来自我迭代更新,因此RFPG算法在特定环境中可以免除回报函数的设计。最后在Frozen Lake和Cart Pole环境中成功应用该算法,且取得了良好的性能,证明了算法的有效性。但是其存在一定的适用条件,限制了算法的大范围应用。RD3算法是一种利用回报函数分解机制设计的强化学习算法。该算法通过分解回报单元之间的关联性降低回报函数设计的影响,适用于一般强化学习场景。经典强化学习算法单一的评价网络会导致回报值被错误的高估。最终导致算法在复杂的环境中应用时收敛不稳定。首先,针对一般的强化学习环境,RD3算法将回报函数分解为多个回报函数单元,提高探索性能和网络收敛速度。接着以交通信号控制系统为研究对象基于SUMO仿真环境建立具有复杂参数的模型Single Intersection。最后,针对城市交通系统的复杂性,搭建了复杂的网格状城市交通网络Grid Network。对比DDPG算法,RD3算法的收敛更快更稳定。实验结果表明,该算法能够有效的降低车辆等待时间,提高通行效率同时还能降低污染排放。本论文提出了 RFPG和RD3两种算法,目的是为了解决回报函数设计复杂且不稳定的问题。在多种实验环境中验证了两种算法的有效性,一定程度上缓解了强化学习对回报函数设计的依赖性。