能源问题日益严峻,可再生能源的利用对可持续发展发挥着重要作用。微电网是一种绿色环保且持续高效的电力系统,能够有效利用可再生能源发电。随着对微电网研究的深入,不断有学者提出了新的关于微电网优化控制的理论。但是由于微电网储能能量管理的复杂性,难以进行精确的数学建模,需要使用数据驱动的方法。强化学习是一种数据驱动的人工智能方法,可以将其应用于微电网储能的能量管理中。本文针对不同优化目标的微电网储能系统,将连续的微电网调度过程离散化,使用强化学习算法求解出最优的调度方案。本文的主要研究工作如下:本文首先介绍了课题的研究背景及现状,描述了含储能微电网的基本结构及运行方式,建立了各微源的数学模型,最后给出了微电网运行约束条件及数据驱动方法中强化学习算法的内容,为下文各种微电网储能优化控制问题的求解提供理论基础。其次在并网微电网运行过程中,储能能通过充放电动作维持系统稳定。由于风光发电的随机性,储能的充放电操作将直接影响系统的功率平衡。针对并网微电网储能能量调度问题,采用Double-Q learning算法设计储能控制策略。DoubleQ learning算法是一种基于值函数迭代的寻优方法,对模型没有先验性要求,能够用于解决追求指标最优的微电网储能控制问题。在强化学习范式下,通过设置微电网的购电成本作为调度每一步的奖励,代理可以学习到最优策略,以实现微电网运行成本最小化和资源利用率最大化的目标。实验结果表明,所设计的储能控制策略有效维护了微电网系统运行的稳定性。然后由于并网微电网储能系统与主电网的电力市场进行套利交易可以获得利润,从而降低微电网的运行成本。针对储能系统套利问题,首先采用DoubleQ learning算法设计套利策略,该策略相比基于Q-learning算法的套利策略能显著避免高估带来的影响。然后在套利市场中加入碳市场,增加了套利来源,提高了套利利润。实验结果表明,本文的方案在算法层次和场景层次上都显著提升了套利利润,证明所设计策略的有效性。最后在孤岛微电网中,由于失去了主电网的供电,系统的功率平衡变得更加困难。为解决孤岛微电网功率平衡问题,本文使用含有蓄电池和储氢系统的混合储能来保障微电网系统的稳定性。由于孤岛微电网混合储能系统状态空间的高维性,普通的强化学习算法难以处理。针对孤岛微电网混合储能的协调控制问题,本文采用Double deep Q-learning算法设计混合储能协调控制策略。该方法有效的将深度学习和强化学习的优点相结合,提高了强化学习处理问题的能力。实验结果表明,该策略能够达到孤岛微电网混合储能系统协调控制的目标,有效提升了可再生能源的利用率。