基于大数据组件的铁路供电监控信息压缩存取研究

来源 :华东交通大学 | 被引量 : 0次 | 上传用户:wangyang062011
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
铁路供电系统是铁路运输的重要装备,担负着为电力机车和动车组、沿途车站、通信、照明、信号灯和闭塞装置等设备供电的重任,其安全可靠供电直接关系到铁路运输的安全,故为保障其安全供电,铁路部门装设了铁路供电监控系统。由于铁路牵引供电系统是一种典型的动态电网络,其机车负荷又是大功率的冲击性负荷,且具有波动幅度大、变化快等特点,加之高速动车组的运行速度快、开行密度大,加剧了铁路电网电压、电流等运行参数的变化,被控端将采集到大批量现场实时数据信息上传至调度中心,调度监控系统需要对这些信息进行不断地存取处理,长期运行将产生海量信息。而目前监控系统的数据存储平台大多基于关系数据库,存取容量一般限制在TB级,面对快速增长、动态、海量的监测数据,其装载和查询性能较差,如果直接对这些海量数据进行存取操作,系统的响应速度慢、甚至死机,容易使信息延迟,不仅影响系统实时性,严重时甚至造成关键信息的迟报或漏报,导致报警延迟或消失,直接威胁供电安全,已无法满足持续增长的海量数据存储与处理需求。因此,如何快速存储和处理海量监控数据,是一个需要迫切解决的关键问题。本文针对铁路供电监控系统中海量监控信息的存储与查询困难的问题,融合Hadoop、Hive和Impala的云计算大数据组件,构建铁路供电调度监控云计算集群,以北京动车段10kV电力远动监控系统为算例,进行了调度监控数据的分布式Map压缩存储研究、HQL连接查询优化研究和Impala快速查询研究,实现海量监控数据的高效压缩存储与快速查询。研究结果表明:1)监控数据采用分布式Map压缩后,既可明显加快压缩导入速度,又可大幅减小数据体量,同时对查询几乎无影响,其中Map_Gzip、Map_Deflate、Map_Snappy、Map_LZO格式反而加快了查询速度,为解决海量监控数据的存取问题提供了新的解决思路;2)HQL连接查询的混洗阶段采用分布式Map压缩后查询耗时明显减少,其中,分布式Map的Map_LZO及Map_Snappy格式效果最好,在记录大于2.0×107条时相比混洗阶段未压缩而直接查询的时间大幅降低,减少了31.6%;3)Impala加载铁路供电监控大数据速度远超关系库,查询性能也远胜关系库和Hive,即使是千万级的记录,也能在百毫秒级完成,查询性能提高约3个数量级,具有良好的交互性,对于铁路供电监控大数据的快速查询具有一定的实用价值。
其他文献
IEEE1588精确时钟同步协议和HSR高可靠性无缝冗余协议分别为工业自动化、电力系统等行业的实时、可靠通信提供了更加有效的方法,成为未来自动化通信系统发展的主要趋势。尤其
甘蔗是我国最为重要工业原料作物,近年来由于高产、高糖甘蔗品种的大面积使用,又缺乏相应的抗病品种,甘蔗病害日益严重,尤其是甘蔗的黑穗病、梢腐病等真菌病害常在蔗区大面积流行,严重影响甘蔗的产量和质量。但由于甘蔗是高度杂合、遗传背景复杂的无性繁殖作物,常规的抗病育种所需时间较长,盲目性大,效果也有限制。因而利用植物基因工程技术把外源抗病基因导入优良甘蔗品种中使其得到有效的表达而表现出抗病性是培育甘蔗抗病
随着经济的迅速发展,环境污染和能源危机问题日益突出。新能源技术成为能源发展的重点,多电平变流器将产生的直流电转化为交流电是新能源发电并网的重要环节。传统的多电平变流器的控制策略采用双闭环PI控制,然而PI环节参数设计没有固定设置方法,调节不易。有限控制集模型预测控制(finite control set model predictive control,FCS-MPC)是一种强大的控制技术,具有高
本文通过对荣华二采区10
期刊
二极管箝位型三电平逆变器具有功率开关管上承受的电压应力小、开关频率低、输出电压中谐波含量少等优点,在轨道交通牵引系统、大功率交流调速、新能源发电等领域获得了广泛的应用。实际应用中,逆变器输出侧会产生共模电压,对负载和周围电气设备产生很大危害,且在调制系数较高、功率因数较低的情况下,中点电位不平衡,严重影响了系统的工作性能。为此,本文对二极管箝位型三电平逆变器共模电压抑制和中点电位平衡控制进行了深入
混合动力汽车与传统燃油汽车相比,可以有效提高燃油经济性,实现节能减排,而与纯电动汽车相比,则携带较少的电池,通过发动机提供能量,延长了续驶里程。由于混合动力汽车尤其是混联式混合动力汽车配备了多个动力源,其传动系一般需要特殊的能量转换装置。电气变速器(EVT)作为一种具有两个机械端口和两个电气端口的四端口机电能量变换器,可以实现丰富的能量流动方式,以其为核心部件可以形成新型的混合动力汽车传动系解决方