时序数据是同一指标所代表的关于一系列时间点记录的数据列,记录了主体在时间维度上的状态变化和发展规律,如金融股市变化、市场发展规律、水文监测等,有效对时序数据进行查询与分析,能够动态的掌握事物发展趋势,并对作出正确的决策具有特殊的指导意义。近年来,随着互联网应用的逐渐增多,时序数据量产生了指数式增长,并且用户对互联网产品体验的高标准,使传统的单机解决方案已不能满足需求,如何对这些数据进行高效的查询与分析,成为新一轮需解决的问题。采用分布式系统解决海量数据的处理问题,已经成为了行业的主流。如热门的Hadoop+Map Reduce解决方法,Hadoop提供了对海量数据的管理平台,Map Reduce计算框架实现了对数据的处理,两者的相互作用能够有效解决问题。然而,基于外存的计算方案下磁盘的I/O读取性能随数据量的增加而急剧下降,从而降低系统的处理性能。为了解决此类问题,基于内存计算的分布式系统开始出现,如Spark,Flink等,这类计算引擎通过将数据全部加载到内存中,通过将磁盘的I/O性能瓶颈转移到CPU的I/O中,性能得到了很大的提升。因此,内存计算框架逐渐开始,由于Spark易拓展,高可用,高容错的特性,已逐渐成为行业内解决海量数据处理问题的首选计算框架。然而目前基于Spark分布式时序系统的研究并不多,仅有的一些解决方案也只是停留在API表层,并未从框架内部寻找解决办法,鉴于以上存在的问题及考虑,本文的贡献主要包括:1、时序系统:论文提出基于Spark的时序大数据查询分析系统Timo。基于Timo系统,论文实现了对海量时序数据的多种时序查询操作、时序聚合操作以及Topk时序分析操作。同时,针对Spark的RDD核心抽象数据类型及内部Partition分区的设计形式,Timo引入了双层索引管理结构,利用索引的高效性提高系统的整体查询性能。此外,为更好地实现针对分区的索引管理,Timo引入了新的FSPartitioner分区器,利用Forward Scan算法将整体时序数据集进行重新shuffle,并把相邻的时序数据分配到同一或相邻分区中。FSPartitioner保证了分区间时间点的升序增长,提高系统处理时序操作的性能。实验表明,Timo系统与其它系统相比,查询性能得到了成倍的提升。2、时序索引:现有的海量时序索引通常不考虑索引大小的问题,带来了高额的空间开销。由于内存大小对于内存计算的性能具有关键性的作用,为减少Timo运行过程中加载进内存的时序索引大小,论文设计了新的STEID时序索引,相比现有最新海量时序数据索引研究,STEID索引不但空间占用特别小,查询性能也得到了很好的提升。3、CBO模型:针对新增加的时序操作,论文提供了新的时序操作代价优化策略,如查询过程中增加索引查询策略等,并将原Spark下的执行策略进行了相关优化,如Topk分析中,压缩中间执行步骤以提高系统的吞吐量等。并且,针对Spark语言的特性,论文引入了Minheap算法优化Topk执行过程,进一步提高系统的查询分析执行效率。