蓝鲸分布式文件系统的资源管理

来源 :中国科学院研究生院(计算技术研究所) | 被引量 : 13次 | 上传用户:binhaiwz_2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前,高性能计算机得到了空前发展,特别是机群结构的超级计算机已经占据了TOP500中半数以上的份额。同时,随着信息技术的发展,越来越多的信息以数字化形式保存,存储子系统已经成为计算机系统中最重要的部分。然而由于外部存储设备受到机械部件的制约,其数据传输性能的提高远远落后于CPU运算能力的提高,造成存储子系统成为整个计算环境的瓶颈。与采用机群结构的高性能计算机系统类似,存储子系统的机群化将为解决数据传输能力的落后面貌提供一个可行的方案。 受国家“八六三”计划重点支持的“蓝鲸”大规模网络存储系统致力于解决高性能计算环境中的存储子系统的瓶颈问题。它借助于高性能计算机网络,管理多个存储节点组成的存储机群,充分利用它们的存储空间和并发数据传输能力,实现高性能、低成本的海量存储。蓝鲸分布式文件系统(BWFS)是蓝鲸大规模网络存储系统的核心系统软件,它向用户提供单一映象的、全局共享的分布式文件系统服务。 本文结合BWFS的设计与实现,对其资源管理做了较深入的研究,提出了分布式分层资源管理模型,以及该模型在BWFS实现中的相关技术。主要研究成果如下: (1)BWFS的分布式分层资源管理模型(Distributed Layered Resource Management Model)。DLRM模型根据相对于资源的角色,将系统划分成多个功能独立的模块,实现分布部署:同时将它们划分成多个层次,有利于系统的实现与优化。DLRM模型确定了BWFS的“带外”数据传输架构,将负载和存储分担到多个节点组成的机群上,实现并发管理和并发数据传输,因此奠定了系统强大可扩展性,为系统实现负载平衡、在线迁移等提供了可能。 (2)高效的物理存储空间管理。DLRM模型将海量存储空间统一编址,然后划分成多个独立的资源组,并发管理各个资源组的存储空间,提高系统的性能与可扩展性。资源组采用的数据块/索引节点的动态分配、带统计信息的动态位图等技术使得BWFS具有高效率的空间管理能力。 (3)全动态元数据绑定技术。BWFS的活跃元数据采用全动态任意绑定技术,可以实现动态负载平衡,提高系统的性能和可扩展性。 (4)文件系统的资源管理优化。元数据服务器管理BWFS的元数据,实现资源批量申请/异步释放、分片存储(striping)、按策略的资源分配、分布式日志等技术。 (5)针对BWFS的性能测试、分析与对比。通过这些测试,验证了DLRM模型以及以上技术的有效性,对比分析显示BWFS在多方面的性能较NFS有显著提高;同时,也发现了系统的一些弱点,对以后进一步优化有参加价值和借鉴意义。
其他文献
马克思“以人为本”的法哲学思想主要体现在该法应以普遍的人性为本、以自由为本、以权利为本、以个体为本。法治的道德起点和最终归宿就是人本身,因此法治作为人类社会的一种
大量使用叠音模糊词是《诗经》语言的显著特点,这一奇特的语言现象却一直被人们所忽视。以模糊语言学理论为指导,从语用学的角度,根据汉语词汇的发展规律考察《诗经》叠音模
目的探讨腹腔镜治疗消化性溃疡急性穿孔的临床价值。方法对腹腔镜手术组(腔镜组)53例和开腹手术组(开腹组)54例患者的手术时间、术中出血量、肠鸣音恢复时间、住院时间、使用镇痛
目的了解北海市居民对碘盐的选择意愿及对碘缺乏病防治知识的知晓情况,进一步推动碘缺乏病防治工作。方法 2010年4月,对北海市3个主城区6个街道办事处(镇)有固定电话的家庭成
总结了清胰汤辅助治疗急性胰腺炎的护理,包括严密观察腹痛情况、腹部体征及大便的次数、性质、肠蠕动变化,给予营养支持、基础护理、健康指导、心理疏导等。认为对SAP患者实
变形模型凭借其独特的优势,在图像分割领域受到了越来越广泛地研究和应用。本文对变形模型在医学图像分割中的应用做了系统研究并加以改善,主要在以下几个方面作了拓展和创新
实时系统在工业、商业和军事领域中得到了广泛应用,这类系统对响应时间具有严格的要求,尤其是强实时系统,如果不能满足响应时限,将可能导致灾难性的后果。因此在实时系统设计