Spark作为开源的大数据处理平台,其核心是弹性分布式数据集RDD(Resilient Distributed Datasets),通过将RDD以分布式的形式存储在集群的内存中,以提高应用执行效率。随着大数据时代的发展,数据呈现爆发式增长,越来越多的企业采用Spark来提供数据处理服务,但在实际的应用中发现,当内存大小相对于数据的规模出现瓶颈时,Spark运行的稳定性及任务执行效率要远低于Map/Reduce,甚至导致Spark崩溃,这与Spark本身的内存数据管理有密切的关系。因此如何在内存缓存数据管理技术方面提高Spark集群的内存资源利用率和任务执行效率,具有一定的研究价值和现实意义。Spark内存数据管理未提供缓存对象的自动选择机制,且在内存不足时,采用LRU进行缓存替换,未考虑Spark数据特征,影响任务执行效率;Spark内存数据管理只提供在单应用中共享缓存数据,造成多应用缓存数据冗余。针对以上问题,本文主要从缓存对象的选择、替换及缓存数据共享等方面对Spark集群中内存缓存数据的管理技术进行研究,主要贡献包括:1.针对Spark缓存对象选择不确定性及替换对象选择不合理性导致增加任务执行时间的问题,提出了面向RDD内存数据的自适应缓存机制对RDD的缓存进行优化。该机制优先选取重用度高或计算代价高的RDD作为缓存对象;用最小权重替换算法替代LRU,考虑RDD分区的并行计算特征,在权重计算中加入了完整引用计数影响因子,采用线性加权累加的方法构建权重模型,使RDD分区权重值更加准确,以提高缓存替换对象选择的精准度;根据任务执行情况动态调整相关因子值,使缓存替换能够适应任务执行过程的变化。通过对照实验证明,此机制能够有效减少任务执行时间,提高Spark计算性能。2.针对不同应用之间存在的相同数据被缓存,造成缓存数据冗余导致内存资源浪费的问题,在现有研究的基础上利用多应用共享内存数据空间进行改进,提出了一种面向RDD内存数据的共享机制。首先采用主从式内存数据管理架构对集群中缓存数据进行统一管理,为数据共享提供信息支持;通过内存数据共享系统识别不同应用中执行相同任务的RDD,并根据数据缓存情况对DAG进行重写;为了避免重写后的DAG在等待执行过程中,所需的缓存数据由于内存不足而淘汰,考虑数据在多应用中的引用情况,并采用熵值法对最小权重替换算法进行改进,以保证共享数据的完整性。实验结果表明该机制能够提高集群的内存资源利用率,有效减少作业的执行时间。从缓存及替换对象选择的准确度、内存资源利用率及作业执行时间等方面可以看出,本文研究工作对于Spark大数据处理具有重要意义。