论文部分内容阅读
随着公司、企业信息化程度不断提高,在企业内部运作所需要的数据无论从规模还是种类都高速增长的今天,企业急需一种架构高可扩展,数据高可靠的存储服务以满足企业内部应用需求。在此之前企业数据往往采用单台计算机存储加上重要数据集中存储的方法进行管理。企业中个人用户把数据存储在各自的电脑上,这种数据存储方式在照成企业内部普通数据共享极大不便的同时,更因为个人电脑单机故障问题使这种存储方式存储企业数据存在巨大的安全隐患。私有云存储技术因其数据存储效率高、数据高可靠等特点成为存储企业数据一种很好的解决方案。而私有云存储平台中元数据管理模块成为访问的热点,其元数据高效管理方式、数据并发性以及数据安全性成为元数据管理模块设计的重点和难点。本文结合企业云存储平台需求,提出一套全新贴合企业用户需求的私有云存储平台(C-store),设计并实现了架构高可扩展、数据高可靠且支持用户文件系统访问行为的元数据管理模块集群。本文从总体上介绍C-store项目以及基本架构以及系统基本模块组成,并详细介绍了系统中元数据管理模块的设计与实现工作。本文采用哈希桶策略把来自不同用户的元数据均匀的散列在多个逻辑桶中,并根据元数据集群各节点负载情况进行合理的调配存放。在元数据服务器内部,系统采用最长路径匹配方法,使用户元数据操作最快速的定位到元数据子表中。与此同时,系统采用内部热点分表策略、节点间桶迁移策略动态地平衡单台元数据服务器以及集群间各台主机之间元数据访问负载压力。系统通过元数据一致性检查策略以及元数据容灾备份策略保证元数据的安全性问题。通过测试私有云元数据管理模块从功能和性能上都能满足企业私有云存储元数据定位需求。本文分别从需求分析、总体设计和详细设计的角度分析了元数据管理模块中客户服务模块、元数据内部分表管理模块、集群元数据部署调度模块、元数据一致性检查模块、元数据容灾备份模块的设计与实现。