论文部分内容阅读
集群存储已成为数据中心方案中一项典型的存储方案,分析发现,现有集群存储整体性能仍受限于磁盘等外存设备.利用高带宽网络,内存和外存相互合力,可以提供一种低延迟的、可扩展的集群式内存存储.通常,由于数据访问局部性,访问负载会呈现倾斜分布,造成各节点负载不均衡.针对此负载不均衡问题,本文对纠删码内存集群下数据放置策略进行研究. 为了提高各节点带宽利用率,本文为纠删码内存集群提出一种负载感知的数据放置方案(Workload-aware Placement Scheme,WPS).WPS方案遵循‘能者多劳的核心思想,将节点性能和访问特征进行匹配,使得高性能节点为热点数据对象服务.具体地,优先将新加载的磁盘数据和新创建的数据分块放置到低负载节点,或将高访问频次的内存对象从低可用带宽节点迁移到高可用带宽节点.WPS分别对内存集群中数据的访问热度和节点的当前访问性能进行定量化:一方面,利用访问频次将内存中数据对象划分成多个热度等级(Heat Level,HL);另一方面,根据可用带宽将节点分为多个带宽等级(Bandwidth Level,BL).借助热度等级和带宽等级,WPS可以将不同热度等级的数据对象放置到相应带宽等级的节点内存中,使得节点负载能够达到动态平衡,从而最大化纠删码内存集群的资源利用率. 在实际的纠删码内存集群环境中实现了WPS方案和其他两种放置方案(即,轻负载优先的放置方案LPS和基于哈希的放置方案HPS),通过重放由YCSB基准测试工具生成的I/O记录来对三种放置方案进行定量化评估.实验结果表明,在平均延迟、中值延迟和尾延迟方面,三种放置方案较为接近;而在负载均衡上,WPS表现最优.具体地,在一个容双错的纠删码内存集群中,WPS、LPS和HPS的不均衡系数λ分别为3.05%、18.61%和27.65%,其中,λ值越低,平衡性越优.