随着大量分布式可再生能源注入电网,传统的单一能源优化利用模式正在发生变革。能源结构的多样性和耦合关系将对系统运行的安全与稳定造成极大的冲击。这就促使能量在网络中以多能流的形式混合传输,形成由多种能源耦合的综合能源系统。并且,综合能源系统的能量流计算也是多元非线性方程,很难用具体的数学方程式来描述。因此,为了实现综合能源系统的动态优化自适应运行,充分消纳利用可再生能源,对其进行能量优化调度策略研究尤为重要。本文基于综合能源系统的基本框架,提出了用图论方法的简化系统模型,并利用分层控制的方法建立基于强化学习的综合能源系统优化模型,提出利用DQN（Deep-Q-Learning-Network）算法解决多能源系统动态优化问题,结合实例仿真,提出相应策略。其核心工作具体概括如下:首先提出了综合能源系统发展现状及其优化问题研究现状,明确目前主流优化技术,并找出不足之处;阐述了强化学习算法在能源领域中的应用情况,介绍了本文的工作安排;其次,分析综合能源系统的拓扑结构,介绍了其中关键元件的能量约束模型,并依据多能流的耦合特点,建立以能量枢纽为核心的综合能源系统模型,利用图论的方法简化模型,分析多能耦合在能源枢纽中的传输方式,形成能量流的平衡方程,为后文优化分析和仿真实验打下基础;在此基础上,提出一种综合能源系统分层策略,将系统分成三层,并利用Q学习算法计算各层的功率分布,为系统优化打好基础;最后,介绍了马尔科夫决策及强化学习过程,并提出了详细的应用DQN算法在分层综合能源系统的优化控制模型,通过建立实例仿真模型,应用DQN分布式强化学习算法实现综合能源系统的并行优化,提出实际优化策略包括分布式发电系统的转换并网、储能系统充放电、燃气机组投入切出等一系列策略,在保证系统运营成本的前提下,充分消纳和利用可再生能源。最终,对全文进行总结和进一步展望。