随着信息技术的不断发展,人们渐渐地意识到,快速地从数量巨大的、含有大量噪声的网络上获得最新商业信息对企业在商业竞争中取得优势至关重要。靠人为的信息搜集显然并不现实,因此网络爬虫技术应运而生。爬虫技术不断地发展为并行的、分布式的、聚焦的网路爬虫集群。在技术提升的同时,爬虫结构也越来越复杂,各种调度问题、负载平衡问题、瓶颈问题等也随之而来。本文针对当前分布式网络爬虫方法遇到的处理效率、扩展性、可靠性、任务分配和负载平·衡等问题,提出了一种主动获取任务式的分布式网络爬虫方法。该方法在子机节点中加入分控模块,评估节点负载及运行状况,并通过对比子机动态压力栈,主动向中控节点申请任务队列。此基础上结合动态双向优先级任务分配算法,通过综合考虑子机节点的优先级和URL任务的优先级,设计了一种具有负载平衡、任务分级分配、节点异常敏捷识别、节点安全退出等特性的分布式网络爬虫模型,并通过实际测试表明,该主动获取式的分布式网络爬虫方法可有效地利用通用平台建立大型分布式爬虫集群。