【摘 要】
:
搜索引擎的出现,为人们从互联网中查找信息提供了便利,而搜索引擎的关键技术之一,就是对海量网页数据的存储和管理。利用并行文件系统为搜索引擎提供支持则较好的解决了该问题。
论文部分内容阅读
搜索引擎的出现,为人们从互联网中查找信息提供了便利,而搜索引擎的关键技术之一,就是对海量网页数据的存储和管理。利用并行文件系统为搜索引擎提供支持则较好的解决了该问题。近年来网络存储技术的不断发展,也使得并行文件系统的研究受到越来越多的关注。如何提高并行文件系统的性能和稳定性,一直是研究者的研究重点,负载均衡理论就是其中极其重要的方面。合理的负载均衡机制可以使并行文件系统的资源得到充分利用,应用到搜索引擎中则可以为其提供更高效的支持。 本课题所涉及的搜索引擎采用并行文件系统PVFS2提供数据访问的支持,但PVFS2并没有相应的负载均衡机制。本文根据PVFS2的数据存储方式和负载均衡理论,设计并实现了并行文件系统的负载均衡机制。本文的研究内容主要包括以下几个方面: (1)深入理解PVFS2的系统结构和数据存储管理方式,详细分析了MPI-IO对并行文件系统的数据访问方式;研究了负载均衡机制的相关内容,对不同的任务调度算法进行了比较。 (2)针对搜索引擎对并行文件系统的数据访问方式,选择以集群存储节点的负载状况作为数据访问调度的衡量标准,实现了动态的负载均衡机制,同时建立了一个节点负载的估计模型,对负载均衡机制加以改进。 (3)对负载均衡机制下文件系统的性能作大量的测试实验,验证本文实现的负载均衡机制的有效性。 论文在算法研究的基础上实现了并行文件系统的负载均衡机制。实验评测结果证明该负载均衡机制的设计达到了要求,文件系统的负载能力得到了提高,能够为搜索引擎提供更好的支持。虽然本文仅对PVFS2进行了负载均衡的相关研究,并且研究目的是使并行文件系统能更好的服务于搜索引擎,但其设计思想亦可在并行文件系统和负载均衡理论的相关研究中加以参考。
其他文献
随着计算机通信技术和互联网技术的飞速发展,多媒体数据逐渐成为人们获取信息的重要来源,成为人们生活的重要组成部分。然而在我们获得便利的同时,网络数据的安全性问题凸显
面对越来越复杂的武器装备以及海量的数据资料,交互式电子技术手册(Interactive Electronic Technical Manuals, IETM)系统应运而生,IETM可以为维修人员提供实时的技术资料交
近年来,时空数据库的需求越来越大,它是存储管理随时间变化,其空间位置或范围也发生变化的时空信息的数据库系统,可以应用在GIS、交通、气象预测等领域。时空数据库的设计目
随着网络规模的增大及硬件设备的更新,使得无线传感器网络系统变得越来越复杂,受节点体积、成本、资源的限制,其内存、计算能力有限,并且通常电池供电,无法实现能量的无限供
随着校园网的IPv6越来越普及,越来越多的用户开始能使用到各大PT站点提供的资源,享用较高的下载速度。与此同时,怎么样提高在线种子资源数量,提供更好的下载服务成为越来越突
随着技术的不断进步,材料的物理性能限制了时钟频率和芯片集成度的进一步提高,使得通过这两种方式来提高单核处理器性能已非常困难。为了设计更高性能的处理器以满足用户对速
随着电信市场的开放,电信运营商之间的竞争将越来越激烈,利润的降低使得各运营商必须从粗放的经营转变到集约的经营。为了适应日趋激烈的市场竞争环境,发挥自身的综合优势,实
在网络管理的五大功能域中,网络性能管理作为其中一个重要的功能与其它功能有着密切的关系。在性能管理方法中,根据获取的网络性能参数,可以实时对网络进行监控。如果发现异常,可
在众多安全数据库的数据模型中,MLR模型是非常成功的。MLR模型成功地引入了“数据借用”的概念,解决了多实例等问题,但也带来了安全隐患。在该模型的数据借用操作中,低安全级
随着智能手机等移动设备的日渐普及,人们对于随时随地拍照并进行相关信息检索的需求也与日俱增。在这个背景下,移动视觉检索应运而生。作为一种新兴的移动应用形式,它得到了