论文部分内容阅读
随着网络应用的迅速发展,网络信息数据量越来越大,海量数据存储变得很重要。传统意义的文件系统已经不能满足现有应用的大容量、高可靠性、高性能等要求,为满足这些新要求,分布式文件系统应用得到广泛重视。本文针对在多元数据服务器节点上的数据分布问题,元数据副本一致性问题,以及元数据可靠性问题,研究并设计实现了元数据管理系统中的相应模块。本文主要工作内容如下:1、针对多节点上的元数据分布问题,提出了一种基于目录子树迁移与复制的动态元数据管理策略。该策略通过感知服务器负载状况,根据负载均衡策略选择从负载重的元数据服务器上选择相应的目录子树,并通过迁移和复制策略将过热目录转移或复制到其他负载较轻的元数据服务器上管理,这种策略不仅完成了元数据的动态分布工作,而且可以很好的达到服务器间负载平衡。实验结果表明了元数据动态管理策略能够有效的达到元数据的均衡分布。2、针对多节点情况下的元数据副本一致性问题,设计并实现了元数据副本管理机制。该策略主要包括元数据主从副本的架构设计,以及两阶段提交协议与多状态转换机制结合的锁的机制。该机制通过多状态锁机制保证多副本的更新一致性。多状态的FileLock类型锁还解决用户对文件的读写互斥访问问题。3、针对元数据的可靠性问题,设计并实现了一种元数据备份机制。该机制采用了元数据异步提交、本地化与备份机存储结合的方法。元数据提交时通过异步过程,将元数据信息按照存储基本单元存储到本地数据库中,然后将数据存储到其他备份元数据服务器上,从而达到数据备份的可靠性要求。利用上述研究的动态元数据管理策略,元数据副本管理机制与元数据备份机制,研究、设计并实现了分布式文件系统中的LandFile元数据管理系统,该系统是863课题“新一代业务运行管控协同支撑环境的开发(2008AA01A317)”中“海量存储系统”LandStore系统的重要组成部分。