论文部分内容阅读
随着硬件和网络技术的发展,集群系统已成为构建网络服务的重要方式.基于集群系统提供网络信息检索服务(如搜索引擎等)具有很大的应用价值.网络信息检索的工作基础是从网络空间采集检索数据,通常由信息采集系统完成.本文介绍一个集群系统上的网络信息采集器.该采集器利用WWW网页之间的链接关系对采集空间进行宽度优先遍历.采用多线程并发方式来提高单结点上的带宽利用率;并在多结点间实现了简单有效的协同工作机制.