论文部分内容阅读
现有微电网的在线监控管理系统大多使用关系型数据库存储运行数据,采用计算资源有限的单机运行方式分析处理数据。面对日益增长的微电网运行数据,现有的微电网管理系统不能满足大规模运行数据的存储和计算分析需求。同时,不同微电网独立而分散,无法实现多个微电网之间的数据共享。文章以云计算技术中并行化计算技术与分布式存储技术为核心,结合主流Web前后端和网络通信技术,对微电网大数据平台进行设计与开发。首先,介绍了本课题的研究背景与意义,分析了云计算研究现状以及其在微电网中的应用现状,并阐述了构建微电网大数据平台所需的Web前后端、并行化计算与分布式存储、高性能NIO通信技术的原理。其次,对微电网大数据平台从数据采集、存储与检索、分析与计算可视化四个方面进行功能需求分析,并对不同的功能需求进行了技术方案设计。针对数据采集问题,提出并实现了一种基于Netty的微电网实时数据传输采集方式。针对数据存储与检索问题,对MySQL并发存储、索引与事务控制进行设计开发,设计并实现了基于Solr的HBase二级索引方案。针对分析计算需求,实现了随机森林并行化光伏发电预测的离线计算与多微电网实时发电量统计的流计算业务功能。针对可视化需求,通过SVG技术结合电力系统公共信息模型CIM实现电气线路的Web可视化,Vue.js实现微电网大数据分析结果可视化。最后,通过分析并发请求下基于Netty的微电网实时采集方式的吞吐量、响应时间、接收端堆栈运行情况,验证了该实时数据采集方式的可行性。在测试多种数据库连接池并发性能后,选用BoneCP作为存储程序连接池,验证了多消费者进行并发执行读写任务方案可以有效提高存储效率。通过对比不同列族数对分布式存储系统HBase的性能影响,验证HBase表采用1至3个列族数作为存储海量微电网数据的合理性。在分析随机森林并行化算法预测光伏发电的平均绝对误差与加速比后,验证了随机森林并行化算法具有良好预测精度与加速比。