论文部分内容阅读
遥感技术是对地观测的重要手段,种类繁多的生态环境遥感产品从不同角度反应了区域和全球范围内森林、草原、水等重要资源的状态信息,使得有效掌握全球生态环境的变化趋势及其相应影响成为可能。当前世界许多国家均发射了数量不等的对地观测遥感卫星,如美国的Landsat、Terra、Aqua,法国的Spot等等,这些卫星每天将产生海量的对地观测数据,为生产全球范围的生态环境遥感专题产品提供了丰富的数据源。然而,面对海量的遥感数据以及复杂的专题产品生产算法模型,传统的串行生产方式由于较低的运行效率,已逐渐不能满足对大规模遥感数据及时、高效处理的要求。针对此问题,论文利用Hadoop在分布式计算方面的优势,结合生态环境遥感专题产品的生产需求,构建了一套具有较高生产效率的遥感产品生产系统,实现快速、按需生产生态环境遥感专题产品。论文的主要研究内容包括:(1)论文以全球环境监测指数和草原干旱指数产品为例,使用MapReduce编程模型设计并实现了产品并行生产算法。结合MapReduce模型的工作原理和具体生产算法的特点,研究并设计了MapReduce模型的输入键、输入值和分区函数。针对具有多个MapReduce任务的复杂生产作业,使用工作流技术解决各MapReduce模型间的依赖关系,确保专题产品的高效生产。(2)基于构建的生态环境专题产品MapReduce生产模型,使用单节点和Hadoop集群以串行和分布式计算的方式生产了全球范围内的相应产品,对比分析了串并行生产方式之间的效率差异,以及在不同计算节点情况下Hadoop集群的运算性能。(3)基于Hadoop分布式计算平台,结合Java 2 Platform Enterprise Edition(J2EE)、WebGIS等技术,设计并实现了全球生态环境遥感专题产品生产与服务系统。针对用户对于专题产品的生产需求,系统以接受订单的方式,利用Hadoop集群快速生产出符合用户要求的专题产品。系统围绕Hadoop生态环境专题产品生产,实现了从订单管理、系统管理、数据管理到最终专题产品生产的一个较为完整的生产环境。与传统桌面型遥感产品生产系统相比,系统不仅有效提高了遥感专题产品的生产效率,同时也为生态环境领域相关研究人员提供一种方便、高效获取专题产品的方式。