论文部分内容阅读
文件布局是文件系统的重要组成部分,其作用是保存文件的逻辑位置到物理位置的映射关系。良好的文件布局机制能有效缩短访问文件所需磁盘寻道时间,是提高并行文件系统数据访问性能的重要手段。作者参与清华大学高性能计算研究所为国家863重点项目“海量存储系统关键技术”研制的存储区域网(SAN)并行文件系统——Redbud并行文件系统(RFS),负责文件布局的设计与实现。现有并行文件系统存在在顺序访问大文件时难以获得较高的I/O性能等问题,本文针对SAN并行文件系统的特性,设计并实现了基于扩展区间的文件布局,主要工作如下:首先介绍了RFS的体系结构,以及客户端和元数据服务器端的功能模块,并设计了RFS读写文件的流程。针对现有并行文件系统中基于块文件布局的不足,设计了基于扩展区间文件布局的操作流程、以及扩展区间划分与合并的方法,提出了扩展区间最低匹配策略、空间连续分配策略及扩展区间实时合并策略,构建了基于扩展区间的文件布局机制,减少了并行文件系统中网络通讯和系统开销,提高了顺序访问大文件的I/O性能。在数据条带化存储方法中引入基于扩展区间文件布局,设计了条带化参数设定模型、条带化扩展区间结构模型,提出了扩展区间非条带化转换策略、空间连续分配策略和标志位匹配合并策略,构建了基于扩展区间的条带化文件布局机制,提高了访问文件的I/O性能和并行度,降低了系统实现的复杂性。最后在RFS的基础上实现了文件布局的原型系统,构建了单客户机与多客户机等多种测试环境,使用Iozone作为测试工具进行了测试与分析。结果表明,原型系统读、写文件的I/O性能远高于NFS,不低于EXT3的I/O性能,说明所设计的文件布局机制能有效的提高并行文件系统的I/O性能;此外在设备的I/O能力范围内,原型系统读、写文件的I/O性能与客户机的数量之间保持线性关系,说明所设计的文件布局机制使并行文件系统具有较强的可扩展性,并且有效保证了I/O性能的稳定。