近些年来,作为机器学习领域的重要组成部分之一,强化学习的研究工作取得了极大进展。通过强化学习机理,智能体可以不断学习和得到环境中所包含的信息,继而可以指导自身获得最佳的行为。本文课题提出了一种具有“冻结点”机制的动作-评价网络算法,利用深度Q网络算法和策略梯度算法进行网络参数的训练,并针对时序差分算法在参数更新与梯度计算过程中存在收敛速度较慢等缺点进行改进,同时提升算法的稳定性。通过对评价网络中网络参数的更新方式和损失函数的改进,以及在动作网络中加入经验回放机制等方式,使得改进后的算法实现了更快的网络参数训练速度以及更好的稳定性能。课题的主要内容与贡献可总结为:1.本文首先提出了一种线性预估器加速算法(ALA-AC),该算法改变了以往深度神经网络参数的更新方式,通过引入“冻结点”的参数更新模式,提高了算法的收敛速度和稳定性。通过前期所做的大量实验,并与常规的动作-评论网络算法进行对比与分析,证明了本文所提出的ALA-AC算法具有更高的学习效率和更快的收敛速度。2.在本文所提出的ALA-AC算法的基础上,采用均方投影贝尔曼误差作为目标函数,进而对网络参数进行更新与提升,这在一定程度上避免了参数在训练过程中产生误差过大的情况。通过对ALA-AC算法与改进算法的实验结果进行反复比较与分析,改进后算法展现出更佳的收敛性和稳定性。将常规动作-评价网络算法、ALA-AC算法和改进后的ALA-AC算法用于解决无人车的最佳路径选择问题,通过反复的验证实验表明,改进后的两种算法表现出更加优异的效果。