Hadoop技术在三峡库区水质数据分析与管理中的应用研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:between930
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三峡库区地处我国长江流域,水资源丰富,在淡水储备战略方面具有十分重要的作用。但库区水位的攀升使得水体的净化能力逐渐降低。与此同时由于水体的污染加剧导致当地的水质污染问题日益突出。而随着信息技术的应用发展,水文领域在水情采集与业务处理等方面产生的数据量急剧膨胀,突发性水质污染的频发使得水文领域应用系统的时效性要求越发严苛,现代高效的水文系统一体化建设需求随之变得更加迫切。常用的水质分析方案将无法对海量数据进行及时快速的计算与查询,难以有效地获取水环境状况。Hadoop分布式技术具有易于扩展、并行计算能力强的优势,能够满足大数据量情况下的分析与存储。本文将在分布式技术基础上,设计三峡库区异常水质分析与管理系统。本文主要工作如下:(1)结合无线传感器网络实时性能强、成本低、分布广的优势,建立水质分析与管理系统的感知模块。通过Flume与Kafka构建数据接入模块,由Flume对水质数据进行接收,再交由Kafka集群进行数据缓存与模块解耦。(2)为了对水质进行有效的分析评价,构建水质在线分析模块。在该模块中,通过构建stacking算法进行模型融合来提升水质分类准确度,并借助Spark Streaming框架实现了stacking算法的并行化计算,从而可以对水质数据进行流式计算。(3)搭建基于Redis与HBase集群的数据存储模块,通过Redis内存式数据库缓存区域水质数据保证水质监控的实时性,通过HBase对节点水质数据进行分布式存储,采用Rowkey设计策略提升数据的查询能力,保证数据的持久化存储。其次,使用Spring MVC架构搭建系统软件平台,建立软件平台的后端框架与系统存储模块进行交互,将用户所需数据返回到前端页面,提供了用户登录功能、异常报警功能与节点数据查询功能以及节点可视化管理功能,并使用百度地图API与heatmap.js提升前端页面的直观性,实现了系统软件平台的功能需求。(4)在完成了系统的环境部署之后,对系统的各个模块进行功能性与非功能性测试。结果表明系统的各个模块能够协调工作,软件平台能够正常运行,系统保持良好的可用性,并证明了基于Spark Streaming的stacking在线分类模型能够有效提升水质分类的准确性,系统在数据处理与数据查询方面具有较好的性能,能够实现海量数据在线分析与管理的需求。
其他文献
本文以汉语"给"类介词为研究对象,绘制出汉语"给"类介词与英、俄、韩、日语中相关语言形式的语义地图,并探讨了语义地图工具在汉语介词教学中的运用。本文以期运用语义地图这一可视化工具更加直观地解释偏误产生的原因,同时通过中介语语料库对语义地图的预测能力进行验证,从而针对以英语、日语、俄语、韩语为母语的学习者对"给"类介词的教学顺序作出安排。
图像修补作为一项旨在根据已有图像信息对缺损区域进行合理填充的技术,被广泛的应用于破损图像修复、无关物体擦除以及影视后期制作中。近期基于生成式对抗网络的图像修补迎来了空前的进步,图像修补技术从单一过程逐步演变成多阶段多角度结合修补,通过多阶段对图像不同角度提取特征信息,以达到更好的视觉效果。因此,本文主要围绕基于多段式生成式对抗网络的图像修补展开,分别探索结合语义结构的图像修补、基于用户指导的图像修
学位
云制造服务平台(Cloud Manufacturing Service Platform,CMSP,以下简称云平台)通过将闲散分布的资源虚拟化、服务化并进行统一的、集中的优化管理和经营,实现了闲散资源的深度可视和便利可得。云平台交易模式的特点使得传统资源供应商的定价方法无法直接应用,选择适合云平台的定价策略是资源供应商目前面临的巨大挑战。然而,鲜有文献对云平台资源定价策略进行深入研究。在此背景下,
免拆模板可以代替工程中的传统模板,在施工阶段起到支撑、定型的作用,并在使用阶段作为整个构件的一部分参与受力。免拆模板的使用可以有效节约人工资源,提高工程的经济效益和社会效益。针对免拆模板的结构特点,概述了U型水泥基免拆模板在混凝土梁构件的相关研究进展,总结了不同材料和形式的免拆模板混凝土梁的受弯性能,并根据现有研究的不足,提出了3点可行的研究方向和建议。
在日常生活和高科技应用中非常需要能对化学刺激产生颜色或发光变化的智能材料。而在众多材料当中,金属有机框架材料作为一种新兴的多孔晶态杂化材料因其金属节点、有机配体以及孔道高度可调受到广泛关注。多变的孔道可以设计成具有特定电子特性的结构,能够对特殊的客体通过主客体接触做出反应。将具有特殊物理/化学性质的功能单元引入MOFs框架中是使MOFs多功能化最有效的方法之一。具有缺电子性的4,4’-联吡啶鎓单元
加快推进高校治理现代化是高校贯彻落实党的十九届四中、五中全会的应然选择,是现代大学制度建设的内在要求,是实现"双一流"建设目标的重要保障。高校治理现代化既有国家治理的一些共性特征,也有其特有内涵和时代表征。应深度聚焦高校治理的"八个之治",创新推进科学之治、民主之治、善治之治、程序之治、学术之治、育人之治、文化之治、共治之治,探索一条贯彻中央精神、体现"双一流"建设要求、符合高校实际的治理现代化之
随着移动通信技术的发展,人类所处的电磁环境更为复杂,而电磁暴露的安全性也日益受到社会的关注。目前有关电磁暴露对认知能力与生殖功能影响的报告已有很多,其中大多数是基于限制动物的短期或急性暴露研究。而长时间非限制动物的研究中,由于现有的自由动物暴露系统存在操作繁琐、暴露环境不宜生活以及对自由动物暴露剂量表征不精确等问题,使得相关研究结果仍存在争议。本文的研究考察处于自由状态的大鼠在ICNIRP职业与公
绿色发展理念为不同产业提供了相对应的高质量发展方案。应用文献分析法分析了绿色发展理念对贸易经济高质量发展的引领作用,从服务业、工业以及农业角度分析了绿色发展理念和经济高质量发展之间的关系。首先是服务业,可以应用“3+1+1”布局来实现绿色发展理念引领下的融合化发展。另外,“外向型”龙头企业也可以带领服务业实现绿色可持续发展。其次是工业,在绿色发展理念引领下,工业可以加强“低碳化”,以此实现自身经济
我国作为汽车产量大国,燃油消耗和交通安全等问题日渐突出。经济、环保、安全等因素逐渐被人们所重视。汽车轻量化是解决这些问题最直接有效的方法之一。热镀锌DP钢板强度高、抗腐蚀性好,且具有较好的冲压性能,已成为未来发展轻质量高安全性汽车的主要材料。通常,普通乘用车上大约有3000~6000个电阻点焊的焊点,焊点强度直接影响着汽车的使用寿命和安全性能。热镀锌DP钢板的电阻点焊工艺和点焊接头的动态性能研究已