论文部分内容阅读
供水调度大数据来源于供水数据监测和供水调度业务管理，通过对这些海量数据的分析与挖掘，能发现很多有价值的信息与规律，可应用于供水设备运行的精细化管理、供水管网管损预警、分析历史数据与优化管网系统、进行供水管网状态评估与维护、实施供水优化调度研究，对城市供水安全保障具有重要的意义。
通过收集供水信息监测数据以及调度业务管理数据，将获得大量与供水安全运行数据和供水设施运行能耗、设备运行性能有关的数据。目前信息技术和通信技术发展迅速，采集仪器设备已逐步智能化，通信技术已经比较成熟，为此，通过对供水数据的长期监测，已形成大数据的集合，奠定了供水调度大数据的基础。
1.数据采集
最常见的供水数据采集是供水SCADA系统的数据采集，主要包括压力、瞬时流量、水量、浊度、余氯、机泵开停、电量等，采用的设备主要是通过仪器仪表的模拟或者数字输出信号传输至PLC设备，这些数据都是实时在线的。此外还有检测数据和审批管理数据，如人工水质采样点的水质样本在采样后，通过专业的水质化验分析仪表进行检测后，形成的水质化验报告数据，各供水设施在工况状况下对供水规模和供水能力的影响评估数据等。这些都是构成供水调度运行和管理的数据的集合。
2.数据传输
供水调度数据的传输目前已比较成熟，一般分为无线方式传输和有线方式传输两种。对于水厂、泵站的重要供水数据多采用有线方式传输。对于管网监测点数据，如管网压力、管网流量、水量、水质数据以及二次供水数据多用无线传输。这些供水调度数据在经过数据预处理之后，将按照一定的形式导入数据库。对于海量的监测数据宜采用分布式数据库，并注意数据库优化设计以及同步策略。
3.数据预处理
无论是在数据采集过程中采用多么高精度的仪器，还是在数据传输过程中采用多么好的传输方式，数据误差（即噪声）总是不可避免的。这种误差包括各种客观条件的影响，如测量过程、测量条件和测量仪器。由于在线监测数据的变化性，即可从观测数据之间变化量判断造成变形的原因。但对于变化 很小的数据，很难辨别两次监测获得的变化量究竟是变形造成的，还是受客观条件影响造成的，以致不能发现变形信息或出现假的信息，从而造成漏报或虚报。因此，在变形分析和预报之前进行观测数据的预处理工作，来识别干扰、排除干扰和突出信息。
对于采集和传输过程中缺失和失真的数据需要进行数据清洗。数据清洗（Data Cleaning或者Data Scrubbing）的目的是检测数据中存在的错误和不一致，剔除或者改正它们，以提高数据的质量。莱茵达准则可将数值过高或过低的数据剔除，可提高处理主流程获取到的数据的可利用度。莱茵达准则认为，在测量中若已采用措施消除系统误差，或已将其减至微小量，测量数据中只含随机误差，且服从正态分布，则可认为残差是以0.9973的概率出现在正常范围之内，出现在正常范围以外的概率仅为0.0027，相當微小，可以认为是不可能事件，这就有理由判定它是含有粗差的观测值，可将该观测值剔除。
对于供水调度监测数据缺失，视缺失情况可采用不同的方法，如借鉴交通流量数据缺失值的插补方法。若某时刻仅一两个信号无数据，可采用数据趋势进行临近插补或其他信号的相关性进行填补；如果一段时间所有信号都没有数据，为了后续的数据分析而又不便舍去该时间段的值，那么采用基于前后时间段的数据样本进行随机插补，并实现各相关信号的一致与统一。
此外对于信号失真的数据，还需要采用数据赋值进行预处理。如对残差数据、毛刺数据需要采用滑动开窗的方法对其赋值。即通过建立一个长度为5的滑动窗口，对监测数据的序列滑动处理后可得到一个长度为IV的序列，对序列进行处理后的新序列即为赋值结果。
供水调度数据挖掘是从大量的、不完全的、有噪声的、模糊的数据中提取隐含的、未知的，但也是具有潜在价值的知识和信息，其方法是统计分析方法学的延伸和拓展，可包含分类统计、关联分析、可视化描述、预测、再验证的迭代与逼近等过程。
通过收集和对供水调度获取的数据进行统计分析以及价值挖掘，可以获得很多有价值的数据信息，如管网的压力的功率与流量、机泵能耗数据、水压、水量对供水区域的影响、各种节能措施的节能效果、气象资料数据和各类设备运行状态等数据，具有广泛的用途。
1.设备运行状态数据
通过不间断对供水调度数据监测和数据收集，对主要监测设备的运行数据进行挖掘，可判断设备的运行状态，结合设备的运行特性，判别设备的故障前兆，确定必要的维护措施等，为设备日常维护、安全管理以及成本管理提供支持。
2.水压与水量以及管损分析
对于管网水压、流量的数据以及机泵运行状态等大量数据的监测和采集，可以得知大的数据波动，通过对管网系统进行全面的检查，寻找出现数据波动的原因，一般情况下，造成压力和流量发生变化的主要原因为管道的爆裂和漏损，这样就可以通过模拟分析技术，对管损情况进行预警预报，并在对管道漏损的地方进行确定，并且对漏损的范围进行估算。
3.历史数据分析与系统优化
通过分析最小夜流量等数据，从而对当地用户的用水量进行确定，另外结合当地居民的整体用水方式，可以对居民的用水习惯进行分析，其主要包括用水高峰期和主要用水区域。在得出用户的用水习惯之后，可以对部分区域的用水量结构进行适当的调整，以此来优化供水系统，提高供水企业的经济效益。
4.供水管网状态评估
利用对大量的历史数据进行分析和排列，可以对管道压力、流量和水质的变化情况进行确定，并且能够根据最终结果，建立相应的变化模型，在其中的数据发生较大波动的情况下，可以结合管网水力、水质模拟，来发现管网中管道老化、阀门破损等问题，并且对其进行及时的修复。
5.优化调度研究
结合通过调度管理系统收集的日常调度方案和供水监测系统收集的管网中水力数据、水质数据的实时状态，建立管网的实时优化调度模式，以此来保证供水管网系统管理运行的节能性和安全性，提高供水公司的整体经济效益。
在这个信息技术飞速发展的时代，大数据和数据挖掘技术具有无限的潜能，并且已经被各个行业所认可，通过供水调度大数据挖掘，可以发现非常有价值的供水调度与安全保障方面的知识和信息。在未来，供水行业借助于对数据统计分析和挖掘，将实现管理的智能化，对城市供水安全保障具有重要的意义。
[1]（美）维克托·迈尔·舍恩伯格，（英） 肯尼思·库克耶.大数据时代[M].盛杨燕，周 涛，译.杭州：浙江人民出版社，2013.
[2]秦 萧，甄 峰，熊丽芳，等.大数据时代城市时空间行为研究方法[J].地理科学进展，2013（9）.
一、供水调度数据监测
通过收集供水信息监测数据以及调度业务管理数据，将获得大量与供水安全运行数据和供水设施运行能耗、设备运行性能有关的数据。目前信息技术和通信技术发展迅速，采集仪器设备已逐步智能化，通信技术已经比较成熟，为此，通过对供水数据的长期监测，已形成大数据的集合，奠定了供水调度大数据的基础。
1.数据采集
最常见的供水数据采集是供水SCADA系统的数据采集，主要包括压力、瞬时流量、水量、浊度、余氯、机泵开停、电量等，采用的设备主要是通过仪器仪表的模拟或者数字输出信号传输至PLC设备，这些数据都是实时在线的。此外还有检测数据和审批管理数据，如人工水质采样点的水质样本在采样后，通过专业的水质化验分析仪表进行检测后，形成的水质化验报告数据，各供水设施在工况状况下对供水规模和供水能力的影响评估数据等。这些都是构成供水调度运行和管理的数据的集合。
2.数据传输
供水调度数据的传输目前已比较成熟，一般分为无线方式传输和有线方式传输两种。对于水厂、泵站的重要供水数据多采用有线方式传输。对于管网监测点数据，如管网压力、管网流量、水量、水质数据以及二次供水数据多用无线传输。这些供水调度数据在经过数据预处理之后，将按照一定的形式导入数据库。对于海量的监测数据宜采用分布式数据库，并注意数据库优化设计以及同步策略。
3.数据预处理
无论是在数据采集过程中采用多么高精度的仪器，还是在数据传输过程中采用多么好的传输方式，数据误差（即噪声）总是不可避免的。这种误差包括各种客观条件的影响，如测量过程、测量条件和测量仪器。由于在线监测数据的变化性，即可从观测数据之间变化量判断造成变形的原因。但对于变化 很小的数据，很难辨别两次监测获得的变化量究竟是变形造成的，还是受客观条件影响造成的，以致不能发现变形信息或出现假的信息，从而造成漏报或虚报。因此，在变形分析和预报之前进行观测数据的预处理工作，来识别干扰、排除干扰和突出信息。
对于采集和传输过程中缺失和失真的数据需要进行数据清洗。数据清洗（Data Cleaning或者Data Scrubbing）的目的是检测数据中存在的错误和不一致，剔除或者改正它们，以提高数据的质量。莱茵达准则可将数值过高或过低的数据剔除，可提高处理主流程获取到的数据的可利用度。莱茵达准则认为，在测量中若已采用措施消除系统误差，或已将其减至微小量，测量数据中只含随机误差，且服从正态分布，则可认为残差是以0.9973的概率出现在正常范围之内，出现在正常范围以外的概率仅为0.0027，相當微小，可以认为是不可能事件，这就有理由判定它是含有粗差的观测值，可将该观测值剔除。
对于供水调度监测数据缺失，视缺失情况可采用不同的方法，如借鉴交通流量数据缺失值的插补方法。若某时刻仅一两个信号无数据，可采用数据趋势进行临近插补或其他信号的相关性进行填补；如果一段时间所有信号都没有数据，为了后续的数据分析而又不便舍去该时间段的值，那么采用基于前后时间段的数据样本进行随机插补，并实现各相关信号的一致与统一。
此外对于信号失真的数据，还需要采用数据赋值进行预处理。如对残差数据、毛刺数据需要采用滑动开窗的方法对其赋值。即通过建立一个长度为5的滑动窗口，对监测数据的序列滑动处理后可得到一个长度为IV的序列，对序列进行处理后的新序列即为赋值结果。
二、浅析供水调度数据的挖掘与应用
供水调度数据挖掘是从大量的、不完全的、有噪声的、模糊的数据中提取隐含的、未知的，但也是具有潜在价值的知识和信息，其方法是统计分析方法学的延伸和拓展，可包含分类统计、关联分析、可视化描述、预测、再验证的迭代与逼近等过程。
通过收集和对供水调度获取的数据进行统计分析以及价值挖掘，可以获得很多有价值的数据信息，如管网的压力的功率与流量、机泵能耗数据、水压、水量对供水区域的影响、各种节能措施的节能效果、气象资料数据和各类设备运行状态等数据，具有广泛的用途。
1.设备运行状态数据
通过不间断对供水调度数据监测和数据收集，对主要监测设备的运行数据进行挖掘，可判断设备的运行状态，结合设备的运行特性，判别设备的故障前兆，确定必要的维护措施等，为设备日常维护、安全管理以及成本管理提供支持。
2.水压与水量以及管损分析
对于管网水压、流量的数据以及机泵运行状态等大量数据的监测和采集，可以得知大的数据波动，通过对管网系统进行全面的检查，寻找出现数据波动的原因，一般情况下，造成压力和流量发生变化的主要原因为管道的爆裂和漏损，这样就可以通过模拟分析技术，对管损情况进行预警预报，并在对管道漏损的地方进行确定，并且对漏损的范围进行估算。
3.历史数据分析与系统优化
通过分析最小夜流量等数据，从而对当地用户的用水量进行确定，另外结合当地居民的整体用水方式，可以对居民的用水习惯进行分析，其主要包括用水高峰期和主要用水区域。在得出用户的用水习惯之后，可以对部分区域的用水量结构进行适当的调整，以此来优化供水系统，提高供水企业的经济效益。
4.供水管网状态评估
利用对大量的历史数据进行分析和排列，可以对管道压力、流量和水质的变化情况进行确定，并且能够根据最终结果，建立相应的变化模型，在其中的数据发生较大波动的情况下，可以结合管网水力、水质模拟，来发现管网中管道老化、阀门破损等问题，并且对其进行及时的修复。
5.优化调度研究
结合通过调度管理系统收集的日常调度方案和供水监测系统收集的管网中水力数据、水质数据的实时状态，建立管网的实时优化调度模式，以此来保证供水管网系统管理运行的节能性和安全性，提高供水公司的整体经济效益。
在这个信息技术飞速发展的时代，大数据和数据挖掘技术具有无限的潜能，并且已经被各个行业所认可，通过供水调度大数据挖掘，可以发现非常有价值的供水调度与安全保障方面的知识和信息。在未来，供水行业借助于对数据统计分析和挖掘，将实现管理的智能化，对城市供水安全保障具有重要的意义。
参考文献：
[1]（美）维克托·迈尔·舍恩伯格，（英） 肯尼思·库克耶.大数据时代[M].盛杨燕，周 涛，译.杭州：浙江人民出版社，2013.
[2]秦 萧，甄 峰，熊丽芳，等.大数据时代城市时空间行为研究方法[J].地理科学进展，2013（9）.