Web服务的松耦合架构及其开发便捷性使得它的应用范围越来越广‘,越来越多的企业和个人热衷于开发新的Web服务并将其放在网络上,如何对这些Web服务进行识别成为Web服务研究中的一个重要的问题,这也就是本文重点研究的问题。目前Web服务可以分为以下两大类：传统的结构化WSDL式Web服务以及非结构化RESTful式Web服务。针对WSDL式的Web服务,目前已有比较成熟的识别方法,但是针对RESTful式的Web服务,国内外仍没有比较成熟可用的识别方法。本文正是在这样一种背景下设计了一个针对Web服务的专用分布式爬虫引擎,此爬虫引擎能够高效的识别并抓取WSDL服务以及RESTful服务。本文首先研究了针对Web服务的专用分布式爬虫引擎中涉及到的相关理论知识及相关技术知识,确定了本文的技术路线；然后从Web服务的专用分布式爬虫引擎的需求出发,分析了此爬虫引擎的重点功能性需求及非功能性需求；随后重点针对RESTful式服务的识别提出了一种基于改进的朴素贝叶斯分类思想的识别算法,并对此算法的可行性及合理性进行了理论分析及具体实验,实验结果表明此算法对于RESTful式服务的识别能够达到很好的召回率及准确率,能够满足我们服务识别的需求；紧接着提出了我们的Web服务的专用分布式爬虫引擎的框架的总体架构,并针对框架中的关键模块间的交互及关键模块内部的交互做了详细说明,随后针对关键模块的设计细节进行了详细叙述；然后设计完成了原型系统,并针对此系统进行了系统测试,测试结果表明此原型系统能够满足我们的需求；论文的最后对整个论文的工作做了总结并对下一步工作的内容进行了分析展望。