配电网承担着电力系统分配电能的作用,是电力系统重要的组成部分。大量的随机分布式电源和各种新型负荷接入配电网,导致配电网负荷特性变得更加复杂,造成配电网负荷建模愈发困难。如何在时变和随机环境下对配电网中的负荷进行快速而准确地建模已成为当前电力系统领域亟需解决的问题。配电网中的分布式可再生能源以及负荷具有较强的随机性、时变性和复杂性,本文首先在不确定环境下对配电网中某一特定负荷元件建模;其次过渡到对一类计及时变电压静特性负荷的建模;最后对考虑可再生能源接入配电网的综合负荷进行动态等值建模。本文的研究对象由静态到动态、由单负荷模型到多负荷模型。为了处理各种不确定环境下的负荷建模遇到的准确性和实时性问题,本文在经典Q学习方法基础上提出了多种分层协作强化学习算法。所提出的算法由简单到复杂、由处理离散变量到连续变量,从解决低维简单问题到高维复杂问题,与研究对象一一对应,紧密结合。具体地,本文在研究对象和研究方法上,由浅入深做了以下三个方面的研究:首先,针对新型配电网中快速发展的电动汽车这一特定负荷元件,提出一种基于多智能体协作的多步Q(λ)学习算法对电动汽车充电负荷进行建模。本文采用多代理技术构建不同类型的代理,研究主体与环境的交互以及主体与主体的相互影响。为了能够准确地描述新型配电网中不同电动汽车行为和充电负荷的不确定性,本文通过引入资格迹和通信学习机制提出一种基于多智能体协作的多步Q(λ)强化学习算法,该算法能够为电动汽车提供最优的行为决策,并获得具有时空分布的电动汽车充电负荷。本文算例采用某市实际的规划地图数据和10 k V配电网数据,仿真结果证明了本文所提算法对电动汽车时空充电负荷建模的可行性。在此基础上,研究了不同电价机制和交接班制度对电动汽车充电负荷的时空分布影响以及对新型配电网电压幅值和网损的影响。其次,针对计及时变电压静特性的负荷类型,提出一种基于分层架构的区域电网负荷模型,该模型可以准确反映内外网的相互影响;进而提出一种基于多智能体协作的自适应强化学习算法,对等值模型进行在线参数辨识。该分层架构中的上层问题是建立区域电网的负荷等值模型。在该等值模型中,根据模型预测控制理论构建了一种考虑潮流交互误差的区域负荷模型。另外,提出一种随时间衰减的权重策略来区分滑动时间窗口中不同时刻采样点对负荷建模的贡献,使得到的等值模型参数更能反映当前时刻的负荷特性并获得更加准确的最优潮流。分层架构的下层问题是一个考虑外网时变负荷的安全约束最优潮流问题,以考虑内外网的相互影响。本文建立的区域电网等值模型是一个复杂的非线性优化、具有多个局部最优解的问题,其决策变量属于多维连续型变量。为准确求解该模型,本文基于自适应边界搜索和变学习因子策略提出了一种新型自适应强化学习算法,该算法采用多智能体协作方式对区域负荷等值模型进行在线参数辨识。仿真结果表明,本文提出的等值模型与现有的模型相比具有更高的精度,所提出的新型自适应强化学习算法与现有强化学习算法和最小二乘法相比,在计算精度上和对时变参数跟踪能力上有显著提升。最后,针对可再生能源接入配电网的综合负荷类型,提出一种分层深度Q网络算法对配电网进行动态等值负荷建模。该配电网包含了多种不同特性的源荷,如具有电压静特性的ZIP负荷、具有动态特性的感应电机和恒速恒频风机。为了解决等值模型时变性和准确性问题,采用多个负荷模型对主动配电网进行动态等值建模。然后,提出一种分层深度Q网络强化学习算法实现等值模型方案的选择及模型权重确定,以此得到配电网动态等值负荷模型的功率输出。该问题的状态是由连续型变量组成的多维离散时间序列,本文采用长短期记忆网络对该时序信号进行特征提取。在求解算法方面,采用优先经验回放和Huber损失函数等策略对深度Q网络进行改进,以提高算法的效率和算法获取最优策略的能力。仿真结果表明,分层深度Q网络强化学习算法能够有效地对主动配电网进行动态等值建模,并且其在有功负荷上的精度是传统深度Q网络算法的3倍。