论文部分内容阅读
气候模式数据是地学研究的基础性数据,具有海量性、高维性以及结构敏感等特性。随着现代全球地理变化技术的不断提升,全球系统的不断加强和更新,模式数据迅速累积,长时段气候模式数据管理和压缩成为模式数据分析和引用的关键难点之一。当前模式数据的增长速度已经远超存储规模的增长速度,使得常见的模式数据压缩方法日渐趋于极限。对气候模式数据的有损压缩研究日渐成为地理模式基础计算与分析架构研究的前沿和热点。然而如何构建特征保持的、可以支撑数据持续追加更新且能高效的支撑计算的模式数据有损压缩方法仍是本领域的难点问题。张量保持数据原始结构的同时,具有多变量、多维度的统一表达的特性,常用于表达高维数据。层次张量分解具有树状的层次结构,在计算机数据存储与检索中具有优势,可以很好地实现模式数据的持续追加和压缩,为模式数据的动态压缩提供优越的数学工具。然而现有的层次张量分解模型很难在分解过程中保持压缩误差的一致性,导致对长时序模式数据压缩时误差的波动性,从而影响了基于模式数据的计算与分析(如趋势计算等)的精度。因此,需要构建误差稳定的层次张量模式数据压缩模型。本文基于气候模式数据时空特征以及层次张量分解理论,研究了基于信息量的模式数据特征检测与分块策略的数据组织方法;提出了多约束条件下基于层次张量分解的有损压缩的研究思路;为特征敏感性的气候模式数据构建误差恒定的气候模式数据压缩策略,并建立了数据误差评价机制。在此基础上以全球气候模式数据T(温度)/U(经向风)变量为例,对气候数据进行压缩试验以及误差分布分析。为突出本文方法在数据误差稳定性等方面的优势,与当前主流有损压缩算法进行对比分析。最后构建基于层次张量的气候模式数据压缩管理系统,实现对气候模式数据的压缩存储。本文的研究工作主要包括以下几个方面:(1)基于特征检测的气候模式数据分块组织。根据气候模式时空维度特性,基于各个维度信息熵进行计算,分别通过相似性、均衡性、最大信息量的特征统计进行数据特征管理,判断数据重组条件,构建考虑信息熵以及计算机存储能力的数据分块策略,实现了基于数据多维特征的模式数据组织框架。(2)多约束条件下的气候模式数据自适应压缩。基于层次张量分解理论,构建时间约束与压缩参数数据模型,实现了压缩参数的可控制性;构建压缩参数与数据误差关系模型,建立了对气候模式数据时间-参数-误差相互关联函数,从而实现了误差可控的有损压缩数据管理与存储。(3)气候模式数据误差评价分析。研究气候模式数据误差评价分析理论。基于不同数据分块策略,研究不同数据块的压缩时间和误差分布特征。将时间维度分层,对数据误差稳定性以及趋势进行分析,实现了气候模式数据误差评价分析机制。本文基于数学张量理论以及数据特征分布,定义气候模式分块张量的数据组织存储模式,通过张量分解理论,对气候模式单变量和多变量数据的分块数据管理以及误差可控的数据分析,对于长时段模式模拟时误差累积带来的数据信息挖掘具有一定的参考意义。