本文的研究目的在于设计和实现网络爬虫,该模块是Web应用程序漏洞评估工具的重要组成部分,设计和开发Web应用程序漏洞评估工具目的在于扫描网站、识别安全漏洞并且给出扫描评估报告。网络爬虫同样被称为搜寻器或机器人,是一种自动从网站上下载WEB页面的程序。设计网络爬虫的主要目的在于恢复WEB页面。爬虫的主要目标在于下载一系列重要的页面,刷新已下载的页面,发现新的页面和保证页面拥有一个合适的展现。网络爬虫同样被用在信息提取上,例如提取商业情报,一个公司可以利用网络爬虫从WEB网站上提取关于他们竞争对手的信息。网络爬虫的其他应用在于监测WEB页面和搜索引擎。爬虫使得通过WEB页面中的超链接自动提取网页中的信息来实现上述功应用变得可能。一般来说,爬虫开始都是从一个初始的页面中提取超链接,然后从这些超链接中得到更多的页面信息,直到页面数量达到一定的规模或者已经实现某些较高的目标。在这个简单的叙述下面有更多复杂的研究点,例如可以利用的资源就包括带宽使用、硬盘空间、网络连接、爬虫陷阱、URLs分类、HTML和动态页面内容的分析。WEB的动态特性给网络爬虫的实现带来了挑战,如果WEB页面是静态的,爬虫只需要做少量的工作,因为爬虫可以维持一个它已经获得的页面列表信息,但是爬虫必须处理页面更新和删除问题。