基于Spark的并行K-means气象数据挖掘研究

来源 :信息技术 | 被引量 : 0次 | 上传用户:ipgoalusb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着气象监测水平的不断提高,气象数据在短时间内可大量收集,充分从海量的气象数据中提取有价值的信息,是气象研究的关键所在。气象数据资源极其丰富,增长迅速,需要大量的科学计算,传统计算在大规模数据处理中需较长时间,无法满足数据即时转化的需求,大数据平台并行化处理可有效解决此问题。文中提出并行K-means算法对气候区进行划分方法,应用Spark平台进行处理,能快速有效地分析数据并从中发现有用信息,对气象领域研究具有重要的现实意义。
其他文献
清季社会转型期,民间传统儒家学派太谷学派领袖周太谷、张积中等人在坚持理学客观唯心认识论的基础上,结合道教哲学因素,进行发挥与创造,构建了独特的太谷学派客观唯心认识论
根据人类视觉系统的频率掩蔽特性,提出了一种抗几何攻击的水印自适应嵌入方案。首先对宿主图像进行归一化并确定感兴趣区,然后对感兴趣区实施Contourlet变换,选取Contourlet
20世纪初期,曾痴迷西学的梁启超复归传统开始了管学研究。他考订《管子》真伪及思想流派,以期重新定位不同于商、韩法治的政治大家。梁氏以近代视角和国际主义眼光研究管学,