基于SparkR的藻类生长模型及预测

来源 :广西大学 | 被引量 : 0次 | 上传用户:mytony
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
藻类生长影响因子的识别和建模预测一直是藻类水华防治的研究重点,水质监测及自动化的发展所引领即将到来的水质大数据时代需要一种大数据与传统分析结合的数据分析平台,对于藻类生长这一复杂系统演化过程需要一种直观的描述方式。针对这些问题,本文做了如下研究:(1)通过组合大数据生态圈的多个组件在虚拟机上部署集群环境,以MySQL+Hive+SparkR为主体框架搭建了一整套从数据的输入、存储、调度到应用分析的SparkR水质分析平台。大数据技术与R语言分析进行结合,满足水质监测数据可靠存储、统一调度和数据量可伸缩性分析的需求。同时应用ECHarts技术实现了水质数据可视化查询展示。(2)为避免环境及人为等不定因素的干扰,在室内模拟草、藻型人工湖环境,设计了室内模拟培养的实验组及重复实验组,监测未植苦草的对照组和植有苦草的苦草组的各项指标。通过SparkR平台对数据进行处理和调度,对结果进行藻类生长的过程分析、相关性分析,应用Adaptive-Lasso算法识别出对照组和苦草组藻类生长主要影响因子,并建立Adaptive-Lasso回归方程进行验证,在集群环境中应用GBRT算法建立藻类预测模型。通过对比分析证明苦草对水体环境具有一定的除磷、除氮和抑藻作用,对照组的藻类主要影响因子分别为pH、溶解氧、浊度、电导率、总磷、总氮,苦草组的为pH、溶解氧、浊度、电导率、总磷、总氮,经重复实验验证,两组的GBRT藻类预测模型未来3天的相对误差均值分别为15.3%、14.8%。(3)应用WASP模型的EUTRO富营养化模块来构建藻类生长模型,结合实验数据,选取了藻类生长、氨氮、总磷和溶解氧模块构建模型和进行参数率定,并对相应模型进行了检验。以藻类能量值为属性指标,结合模型与藻类活动行为,对藻类抽象为智能体主体并定义行为规则,同时将氨氮、总磷和溶解氧抽象为主体,结合多智能体层和环境层共同构建多智能体模型,最后通过NetLogo平台对藻类生长多智能体模型进行仿真。
其他文献
近些年来,随着大学毕业生的逐年增加,大学生就业难的问题也日益凸显,其中农村籍大学生的就业困境更为突出。双创背景下大学教育需要在就业创业能力培养方面进一步加强,改革现
目的探讨定位于X染色体的新抑癌基因WTX mRNA及其蛋白在肾肿瘤及对应正常肾组织中的表达及意义。方法采用地高辛标记cDNA探针原位杂交及免疫组织化学S-P法检测40例肾细胞癌、
本文以高速公路吉坑隧道内严重火灾事故处置为例,针对隧道火灾事故造成混凝土损伤进行检测评估,并对重度、中度、轻度混凝土烧伤区分别采取不同措施处置,从技术上进行分析总结经
针对电气化铁路中负序、谐波及无功的治理现状,研究了一种适用于高速电气化铁路的混合型电能质量补偿装置。该装置包括由模块化多电平变换器(MMC)为主要拓扑结构的多电平铁路功
旅游景点商标频频遭他人抢注是当前困扰许多旅游景区管理者的一大顽疾。本文首先分析了其被抢注的原因,然后以《商标法》、《反不正当法》的条文对各方持有的观点进行了解析,
<正>摘要目的利用双能CT(DECT)定量分析疑似输血性血红蛋白病的血液病病人肝脏铁含量,及其与血清铁蛋白水平和输注铁含量的相关性。方法回顾性分析2016年9月—
1广泛应用的核磁共振CT核磁共振扫描成像技术是70年代末随计算机技术、电子技术和超导技术的发展而出现的一项新颖医学诊断技术,简称MRI,又称核磁共振CT.它与X射线断层的扫描
现代科学技术生产方式的新特点和公共治理理念的新变革要求改变传统的以"统治"为核心的科学宏观管理模式,走向以"治理"为核心的新管理模式。在科学治理中,科学共同体作为谋求
介绍了堤防防渗加固工程中采用机械垂直铺膜的施工工艺、施工方法、质量控制措施及质量检测方法。
为研究窗框对遮阳系数的影响,本文使用"幕墙门窗热工性能计算软件"对20种窗进行模拟计算,通过相关公式计算出窗框的遮阳系数,分析了窗框遮阳系数的影响因素,结果表明,窗框传