无人作战飞机(Unmanned Combat Air Vehicle,UCAV)由于其具有较好隐身性、较强的机动性能等优点,在未来认知电子战领域将会占据越来越重要的位置,它能够快速实现敌方目标打击,对己方战术推进具有重要作用。进行路径规划以实现敌方目标打击是UCAV自主飞行的主要任务,但是现有的路径规划算法由于花费时间长、UCAV飞行动作不连续、很少考虑飞行物理约束等缺陷,很难适应不断变化的战场环境,为在认知电子战中取得胜利带来极大的困难。论文针对动态未知环境下UCAV路径规划问题,采用深度强化学习的相关理论知识,通过建立从状态到动作的映射从而得到最优的路径,提高了UCAV的任务完成率。论文的主要工作如下:首先,对UCAV路径规划问题做了一个总体的阐述,明确了UCAV路径规划的整体流程。根据UCAV在飞行过程当中的受力情况,设定了UCAV需要满足的物理约束条件。针对UCAV飞行环境进行了建模,给出真实战场上常见的雷达、导弹、高炮、以及电子干扰四种威胁模型,分析了不同的威胁对UCAV的杀伤概率。其次,针对现有的UCAV路径规划算法不能够适应动态未知环境的情况,将深度强化学习的相关理论知识引入到路径规划中。采用神经网络逼近状态空间,解决了UCAV状态空间较大时,表格形式对状态的存储变得十分困难的问题。设计了UCAV的状态、动作以及奖励函数,采用深度强化学习算法中的DQN(Deep Q-learning network,DQN)和PG(Policy Gradient,PG)算法进行训练。从平均积累奖励、规划步数和成功率三个方面对算法进行了对比,验证了深度强化学习在UCAV路径规划领域的适用性。再次,针对DQN算法输出动作不连续,PG算法收敛速度慢等缺陷,将结合了DQN和PG算法的AC(Actor-Critic,AC)框架下的DDPG(Deep Deterministic Policy Gradient,DDPG)和SAC(Soft Actor-Critic,SAC)算法引入到连续动作空间的UCAV训练过程当中。给出了UCAV的状态和存在物理约束条件下的飞行动作,设计了和不同威胁下的UCAV获得的奖励。根据四种不同的性能指标,比较了两个算法在三个不同任务上的表现。通过分析仿真结果,基于AC框架的深度强化学习算法能够明显提高连续动作空间下UCAV的任务完成率。最后,介绍了连续动作空间下UCAV路径规划软件的整体架构,给出了模块化的设计过程。