论文部分内容阅读
海量小文件访问应用场景已经广泛存在,具有高比率高并发同步元数据访问与随机小粒度IO数据访问的两个本质特点,给当前分布式文件系统带来了降低访问延迟和提高存储效率的挑战。针对这些挑战,本文以BWFS-pNFS分布式文件系统为研究平台,研究海量小文件元数据访问性能优化的关键技术。本文设计实现了一种全异步海量小文件访问优化系统。标准测试结果表明本文所提出的方法能够显著改善提高分布式文件系统海量小文件的访问性能。本文贡献和创新点如下: 设计实现轻量级目录扩展授权机制,该机制在占用极少系统资源的情况下,能够增强目录元数据缓存的使用效果,为客户端缓存操作本地化提供支持,同时保证了客户端缓存之间访问共享一致性。标准测试工具测试显示,针对海量小文件应用场景,该机制能够减少客户端19.2%至25.3%的RPC操作。 设计实现客户端缓存中全异步元数据更新机制,客户端承担更多的元数据服务器角色,支持在客户端缓存中全异步完成元数据更新操作。在客户端缓存中完成文件创建、文件删除等元数据更新操作以及元数据异步批量回刷操作。标准测试工具测试显示,针对海量小文件应用场景,文件创建性能提高2.5-55倍,文件删除性能提高13.3-61.5倍。 设计实现一种全异步海量小文件访问优化系统,实现了包含轻量级目录扩展授权机制、客户端缓存中全异步元数据更新机制的系统原型,进行大规模海量小文件访问性能测试效果良好,扩展了分布式文件系统的应用范围。