随着互联网的广泛使用以及硬件技术的快速发展,网络数据爆炸式增长,数据的重要性日益明显,分析并利用海量的互联网数据对提高网络服务质量、增强网络安全性有着重要的作用。如何快速、高效地对不同种类的非结构化网络信息进行探测和获取成为目前亟待解决的问题。本文通过对分布式计算相关的理论及技术进行分析和研究,结合当前分布式计算产品的设计思想和项目需求,设计并实现了一个面向互联网信息探测的任务管理平台。本系统利用分布式计算的思想建立分布式计算集群,通过网络将集群中的计算机节点连接,形成统一的整体,协调管理互联网信息探测任务。本文对主从模式的分布式集群进行了分析和研究,采用主从模式的分布式集群模式,主节点作为服务器,在集群中起中心控制作用,其他节点作为探测节点执行探测任务。同时,为使系统不间断运行,保证系统的高可用性,采用双机热备的方式,解决了主从模式中的分布式集群主节点故障导致系统故障的瓶颈。本文在已有负载均衡策略的基础上,提出一种基于节点运行状况的动态负载均衡策略,将节点探测负载转化为节点的任务量。综合权衡探测节点的CPU、内存使用情况以及网络状况后,由服务器根据探测节点的运行状况对任务中的任务量进行重组,并下发至各节点执行探测。本文在上述研究技术的基础上,分析系统的需求并对平台进行设计与实现。通过对现有分布式平台的研究和对比,本文提出了主要由服务器端和探测端组成的分布式探测集群,该集群满足了分布式海量数据探测的基本要求,避免了集中式系统或纯分布式系统可控性不高、网络带宽有限等问题。综上所述,本文通过对分布式平台的负载均衡和双机热备进行深入分析,设计并实现了具有容错性及扩展性的互联网信息探测的任务管理平台。经测试,使用本平台探测信息的速度及效率明显高于集中式探测,达到预期效果。