基于Hadoop的气温数据组织及时空分异特征提取方法研究

来源 :南京师范大学 | 被引量 : 3次 | 上传用户:xltmzzd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
气温要素是气象研究的热点对象,深入了解气温要素的变化规律有助于提高气象预报精度,对指导农业生产、生态治理也具有重要意义。随着气象事业信息化程度的不断提高,气象科研和管理活动中采集并积累了大量气象信息资料。气象信息种类繁多,格式迥异、管理分散等特点,极大阻碍了公共气象信息服务的发展。目前对气象数据的研究存在海量气象数据处理效率低,多种研究技术的融合程度低等问题,无法满足气象服务的时效性和内容丰富性的要求。此外还缺乏针对于气温日变化的时空分异特征的大尺度、多维度的研究。Hadoop这一开源的云计算框架为海量气象数据的研究提供了新的手段。基于此,本文在已有的气象学理论研究基础上,以Hadoop和GIS为技术支撑,引入云计算和地理学中相关的数据分析、处理方法,顾及地域对气湿的影响,以美国国家气候数据中心(以下简称NCDC)2009-2013五年的全球地面小时观测数据为数据源,进行数据组织方法的设计和气温日变化时空分异特征的提取。主要研究内容和研究成果如下:(1)针对气温观测日志数据的特点,基于HBase研究海量气象时空数据组织方法。研究并设计了气象数据的表结构,索引机制及入库方式,并提出了HBase运行参数的优化方案。通过引入Solr分布式搜索引擎的索引机制解决了HBase不支持二级辅助索引的问题。(2)借助Hadoop平台和GIS平台,研究气温日变化时空分异特征提取的方法。基于MapReduce编程模型研究并设计了气温因子提取、统计,气温日变化曲线模拟的分布式算法。在此基础上,借助GIS地学分析方法研究并设计了气温日变化空间影响因素提取、计算方法。(3)对文中提出的气象数据组织方法、气温日变化时空分异特征提取方法分别从高效性和准确性方面进行验证。实验结果表明,本文提出的基于HBase设计的气象数据组织方法和借助Hadoop和GIS技术设计的气温日变化时空分异特征提取方法高效、准确。
其他文献
采用大型蚤21天暴露和子代21天恢复实验法,研究了PFOS对大型蚤的慢性毒性效应及其子代F1 (1st)和F1(3rd)的恢复情况.结果显示:PFOS质量浓度高于20 mg/L时,F0代总产卵量、终点体长
围绕师专学生数学学法 ,从课前预习、课堂学习和课后复习三方面展开讨论 ,总结出课前预习的“八字”法 ,介绍了课堂学习“听、议、记、学”的技巧及课后复习的步骤
<正>摔跌伤所致的颅脑损伤虽然是法医检验中常见的损伤,表现通常比较典型,但在法医实践中往往情况较为复杂,常发生争议。而鉴定结论往往涉及案件性质的判断,影响刑事责任问题
会议
为满足值班调度员对于实时生成操作票的要求,通过对国内十几种主要接线方式进行动态接线技术分析,提出了一种全面的基于多智能体(Multi—agent System,MAS)技术的防误策略,并基于模
针对小子样条件下静态一致性检验问题,介绍了利用次序统计量相关理论进行一致性检验的部分方法,在对此类方法的检验过程进行深入探讨的基础上,借鉴已有的部分研究结论,对利用