互联网技术高速发展,人们的生活方式也发生了改变。以往读书只能买纸质书,现在其传播媒介发生了改变,电子书很大程度上替代了纸质书。然而,互联网上书籍很多,而且增长迅速,如何从互联网中快速地选择出对自己有用的书籍尤为重要。本文设计并实现了一个基于Scrapy框架的分布式书籍网络爬虫系统DScrapy,实现了对互联网上书籍信息与书籍文件的下载,对爬取得到的数据进行分布式存储。将从互联网上爬取得到的信息存入MongoDB中,可以方便地对下载的书籍进行操作。首先,对Scrapy开源网络爬虫框架进行深入研究。针对它只能单机爬取的不足,设计了新的调度器模块替换掉原有调度器,使其可以进行主从式分布式爬取。然后设计了针对书籍爬取的流水线,其中包括书籍封面存储模块、书籍信息存储模块以及书籍文件存储模块。其次,完成了分布式书籍网络爬虫DScrapy系统的实现。在以上的设计工作基础上进行了具体代码编写与测试工作,其中包括：先确定采用Linux系统作为开发平台；网页信息提取方面使用XPath技术来实现；然后使用Redis内存数据库存储UIL队列；书籍信息存储使用MongoDB进行分布式存储；书籍文件存储则采用GridFS来实现。再次,将本系统对实际网站进行测试。测试结果表明该系统具有实用性,可以将大型爬取任务分散到各个节点,大幅度提高整个系统的爬取速度。最后,对本文的研究内容进行了总结,并展望了进一步的研究工作。