分布式文件系统海量小文件元数据访问优化技术研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:q418004922
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
海量小文件访问应用场景已经广泛存在,具有高比率高并发同步元数据访问与随机小粒度IO数据访问的两个本质特点,给当前分布式文件系统带来了降低访问延迟和提高存储效率的挑战。针对这些挑战,本文以BWFS-pNFS分布式文件系统为研究平台,研究海量小文件元数据访问性能优化的关键技术。本文设计实现了一种全异步海量小文件访问优化系统。标准测试结果表明本文所提出的方法能够显著改善提高分布式文件系统海量小文件的访问性能。本文贡献和创新点如下:  设计实现轻量级目录扩展授权机制,该机制在占用极少系统资源的情况下,能够增强目录元数据缓存的使用效果,为客户端缓存操作本地化提供支持,同时保证了客户端缓存之间访问共享一致性。标准测试工具测试显示,针对海量小文件应用场景,该机制能够减少客户端19.2%至25.3%的RPC操作。  设计实现客户端缓存中全异步元数据更新机制,客户端承担更多的元数据服务器角色,支持在客户端缓存中全异步完成元数据更新操作。在客户端缓存中完成文件创建、文件删除等元数据更新操作以及元数据异步批量回刷操作。标准测试工具测试显示,针对海量小文件应用场景,文件创建性能提高2.5-55倍,文件删除性能提高13.3-61.5倍。  设计实现一种全异步海量小文件访问优化系统,实现了包含轻量级目录扩展授权机制、客户端缓存中全异步元数据更新机制的系统原型,进行大规模海量小文件访问性能测试效果良好,扩展了分布式文件系统的应用范围。
其他文献
在传统的系统设计流中,往往要在设计的末期即在进行软件和硬件整合时才能对整个目标系统的性能进行验证,许多重要的性质如性能、成本、实时性等很大程度上在设计的早期决定,
本课题的主要目的是设计一个优化的小型C编译器,它能在Linux操作系统下工作,将标准C代码编写的源程序翻译成一种自定义的虚拟机语言,并且能够执行出正确结果。OCCL是 Optimiz
以状态空间法为基础的现代控制理论从60年代初期发展以来,已取得了很大进展,对自动控制技术的发展起到了积极的推动作用。一般说来,实际工业过程常具有非线性,时变性,时滞性和不确
随着中国加入WTO,越来越多的企业意识到在竞争日益激烈的今天,进行客户关系管理的必要性。以客户为中心来整合企业的经营方式是客户关系管理的核心理念,而数据挖掘决定了客户关
该文首先设计实现了一个网络流量采集系统,系统利用SNMP从网络设备的MIB库采集流量信息,并存储到历史数据库.根据采集的网络流量数据,该文建立了一个基于实测的网络流量模型.
随着Internet的普及,利用网络进行的攻击越来越多,且手段越来越高明,原有的被动防御安全策略已显得力不从心,有必要使被动防御与主动检测相结合,来加强网络与系统的安全性,保护重要
随着计算机网络在社会生活各个领域的不断渗入,计算机网络已经成为了我们生活的一个基本保障。一个完善的网络管理系统是计算机网络能够可靠和稳定运行的保证,而网络监视功能则
随着计算机网络技术的进一步发展,建立在网络基础上的商业运行模式--电子商务逐渐成熟与完善,并随全球经济一体化进程的加快,在世界范围内日渐得到普及。与传统的商务模式相比,电
BPR(业务过程重组)是90年代发展起来的,旨在通过建立高效优化的业务流程而全面改善产品生命周期的T、Q、C理论和技术.该文通过发展传统BPR理论并结合并行工程的思想,提出动态
随着多媒体技术、网络技术的迅速发展,图像信息的应用日益广泛,对规模越来越大的图像数据库、可视信息进行有效的管理成为迫切需要解决的问题,基于内容的图像检索是解决这一问题