SAN并行文件系统中文件布局的设计与实现

来源 :江苏大学 | 被引量 : 0次 | 上传用户:lhbneil
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文件布局是文件系统的重要组成部分,其作用是保存文件的逻辑位置到物理位置的映射关系。良好的文件布局机制能有效缩短访问文件所需磁盘寻道时间,是提高并行文件系统数据访问性能的重要手段。作者参与清华大学高性能计算研究所为国家863重点项目“海量存储系统关键技术”研制的存储区域网(SAN)并行文件系统——Redbud并行文件系统(RFS),负责文件布局的设计与实现。现有并行文件系统存在在顺序访问大文件时难以获得较高的I/O性能等问题,本文针对SAN并行文件系统的特性,设计并实现了基于扩展区间的文件布局,主要工作如下:首先介绍了RFS的体系结构,以及客户端和元数据服务器端的功能模块,并设计了RFS读写文件的流程。针对现有并行文件系统中基于块文件布局的不足,设计了基于扩展区间文件布局的操作流程、以及扩展区间划分与合并的方法,提出了扩展区间最低匹配策略、空间连续分配策略及扩展区间实时合并策略,构建了基于扩展区间的文件布局机制,减少了并行文件系统中网络通讯和系统开销,提高了顺序访问大文件的I/O性能。在数据条带化存储方法中引入基于扩展区间文件布局,设计了条带化参数设定模型、条带化扩展区间结构模型,提出了扩展区间非条带化转换策略、空间连续分配策略和标志位匹配合并策略,构建了基于扩展区间的条带化文件布局机制,提高了访问文件的I/O性能和并行度,降低了系统实现的复杂性。最后在RFS的基础上实现了文件布局的原型系统,构建了单客户机与多客户机等多种测试环境,使用Iozone作为测试工具进行了测试与分析。结果表明,原型系统读、写文件的I/O性能远高于NFS,不低于EXT3的I/O性能,说明所设计的文件布局机制能有效的提高并行文件系统的I/O性能;此外在设备的I/O能力范围内,原型系统读、写文件的I/O性能与客户机的数量之间保持线性关系,说明所设计的文件布局机制使并行文件系统具有较强的可扩展性,并且有效保证了I/O性能的稳定。
其他文献
由于拍摄环境中光线条件差等原因,低亮度视频中存在着大量的噪声、对比度较低的问题,这给人们的观赏和分辨带来了许多困难。本文通过借鉴知名的非局部平均滤波(Non Local Mea
本体的构建离不开工具的支持。随着本体在人工智能、语义互联网、电子商务、信息检索和抽取等领域的广泛应用,本体已经成为现在的一个研究热点,涌现出了许多本体构建工具。各
改变传统应试阶段学生处于盲目、被动的局面,利用先进手段,提高应试者的兴趣和学习积极性,通过交流互动,开展讨论,快速掌握基本考试内容和相关知识,充分调动学生的主观能动性
目前,大多数的企业管理应用软件都会随着系统运行自动产生大量的日志,这些日志记录了系统的实际业务执行情况等信息。如何合理地对这些日志进行分析,提取有用的知识,成为近年来不
信息隐藏技术作为一种既古老而又年轻的技术,已成为信息安全领域的一个重要组成部分,是现代社会迫切需要解决信息秘密传输的一种途径。其作为一门覆盖大范围科学领域的学科,
敏捷软件开发方法是近年来软件行业提出的一种新方法,它能够适应迅速变化的需求,并能够快速开发出高质量的软件产品。敏捷软件开发方法是轻量型的开发方法,它没有严格的过程
人脸属性识别是模式识别和计算机视觉领域中的重要问题,包括了年龄估计、性别分析、头部姿态估计、人脸表情识别等等,在人机交互、安全系统、检索应用、智能交通等各个领域得
利用数据挖掘技术进行地震预测是一个令人感兴趣的学术研究领域,有着重要的学术价值和现实意义。本文探索基于数据挖掘技术的余震时间预测和震级预测的新途径,探索将流形学习
算法的参数自适应是数据挖掘领域一个重要的研究课题,它的目标是使算法参数能够进行自动调整,从而消除用户在算法参数设置经验方面的不足及差异,使用户能够方便地使用算法并得到
血管类疾病已经成为了世界范围内高死亡率、高致残率、高医疗风险的疾病之一。现代医学对血管类疾病的诊断和治疗常常需要借助一些成像工具对获取的血管数据进行成像和观察,