我国林地“一张图”数据存储模型与查询分析并行计算技术研究

来源 :中国林业科学研究院 | 被引量 : 6次 | 上传用户:wangwang09
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
林地资源数据反映了全国林地的现状和变化情况,是林业部门和相关企业进行管理和综合决策的重要依据。全国林地“一张图”系统从开始建设至今,已经拥有包括遥感影像、落界数据、林地变化数据、DEM(Digital Elevation Model)数据等,这些数据经过预处理后约33TB,成为我国林业有史以来最大的空间数据库。随着调查的进一步展开和应用类型的丰富,全国林地“一张图”所容纳的数据量越来越大,数据类型也越来越多。面对如此大量的数据,现有的管理方式在效率、可用性和可扩展性上存在的问题越来越突出,目前的研究中也没有合适的整体方案来解决现存问题。在此背景下,本文对大规模的空间数据在分布式系统中的组织方式和查询、分析手段进行深入探讨和研究。本文深入分析了传统GIS架构和已有分布式GIS研究中在部署和运行中存在的问题,结合全国林地“一张图”的数据特点,设计了适用于分布式空间数据存储、空间查询和空间分析的系统架构,对其中使用的主要技术进行详细阐述,并实现了原型系统对相关技术进行验证。验证结果表明原型系统的空间查询、空间分析和并发空间访问都有较高的效率,能够满足对全国林地“一张图”系统对查询时间的需求。本文所做研究工作如下:(1)分析了全国林地“一张图”系统的数据内涵和应用需求,在理论上建立了全国林地“一张图”系统的分布式架构,并提出了架构中的三个核心问题:分布式空间数据存储模型、分布式空间查询与空间分析算法、分布式空间运算任务调度;(2)分布式空间存储模型研究:通过设计键值数据在HDFS(Hadoop Distributed File System)中的组织结构、基于内存的分布式数据库架构、基于分布式数据库的空间数据组织结构、基于散列码的分布式空间索引,实现了空间数据在分布式架构的存储模型,避免了已有研究中存储分布式空间数据时对空间关系的破坏。测试结果表明这种存储模型能将空间查询速度提升到传统方式的17-70倍;(3)分布式空间查询与空间分析算法:使用Hadoop的MapReduce分布式运算框架实现了基于MapReduce的分布式空间分析的基础逻辑,并实现了一些典型空间分析的具体算法。测试结果表明这种方法能够减少复杂空间分析对系统性能的需求,并在运算量较大时能够极大提升空间分析的效率;(4)分布式空间运算任务调度算法:基于用户运算量最低配额的思想设计分布式空间运算任务的调度算法,保证空间运算任务的基本运算量,并尽可能将运算任务分配到数据所在的运算节点。测试证明该算法比MapReduce的默认算法平均响应时间提升了35-40%,任务平均耗时提高了15%-20%,运算过程中本地数据的运算任务百分比提高了5%-10%。本文的创新点如下:(1)设计了能够满足空间数据分布式存储和分布式空间查询与空间分析需求的系统架构;(2)设计了空间数据在分布式文件系统中的物理存储模型、逻辑存储模型和分布式空间索引;(3)设计了空间查询与空间分析在分布式运算框架中的基本逻辑和一些典型分布式空间分析算法;(4)设计了空间运算任务在分布式系统架构中的调度流程。
其他文献
长期以来,学校教学、教研强调教师要领会新课程标准,精读考试说明,灵活处理教材,因此,教师研究教法、钻研教材较多,探索和研究学生的学习方法较少,选择和探索适合初一学生认
随着国际贸易的深化发展,近些年来冷链运输需求量不断增大,集装箱船上的冷藏集装箱数量逐渐增多,主要航线的集装箱运输也朝着大型化且能装载大量冷藏集装箱的方向发展。由于
96年11月起《生活》栏目在“消费驿站”板块中陆续播出的独生子女消费系列节目,引起了广大观众的关注,同时也得到了专家学者的首肯。在被媒体“炒热”的独生子女话题中,中央电视
本文从波粒二重性的粒子到波粒二重性的场对观点解释微观客体进行剖析,阐明"粒子与场"这两个侧面的内在联系,粒子和场的观点还各自存在缺陷,不能全面解释微观客体。
医院是病人密集场所,医院环境最容易被病原微生物污染,从而为疾病的传播提供外部条件,促进医院感染的发生。在医院感染管理中,由于护理工作在整个医疗工作中所占据的重要地位,使得
新生儿黄疸是新生儿时期,尤其是早期新生儿常见的重要体征,重者可致神经细胞损害而造成严重后果.近年来,由于蓝光治疗的普及改善了新生儿黄疸的预后,减少了并发症.故临床上应
9月5日,山西省水利厅召开全厅干部大会,主要任务是认真传达和学习贯彻省委十一届六次全会精神,特别是骆惠宁书记在全会上的重要讲话精神,进一步统一思想认识,进一步统一工作