近些年网络技术快速发展,网络已经从开始的获取信息的工具,逐渐开始融入人们生活,成为了生活的一部分。当我们饿了会想起“美团”,当我们想出行会想起“滴滴”,出差在外需要住宿会想起“去哪儿”,可以说网络已经成为了主流的信息交互方式。如何快速、有效、准确的获取网络信息,成为了一个亟待解决的问题。目前无论国家还是行业都大力支持大数据采集、分析、发布。但仅仅依靠人力收集方式不但时效性不高,而且需要过高的成本。在此背景和需求下,通过对信息采集技术的工作原理,及常用的一些爬虫框架、采集算法的深入学习和研究,在深入解析信息网站结构特点后,根据采集对象的特点,并且融合了两种算法,设计出了四种类型的采集程序,并且以Scrapy框架为基础,使用了中间件技术开发动态浏览器标识和代理池。运用My SQL数据库和云平台虚拟化技术部署了一套可靠性和可行性非常高的并行结构的分布式采集集群提高数据采集效率,运用PYQT5实现跨平台的信息发布程序,借助Selenium自动化工具解决了网站登陆、网站查询以及模拟人工进行数据采集。运用了Flask开发了数据采集管理平台和大屏展示。此外为了便于发布格式统一,系统还设计实现了数据清洗模块,包括数据清洗、格式转换、对象去除与添加等功能。本论文设计实现基于Python的分布式信息采集发布系统来采集网络信息数据并且经过分类后发布,大大减轻了相关行业信息从业人员的工作强度,为更快、更好、更便捷的获取发布信息提供技术支持。目前系统从最开始的几个采集目标到日前的数百个国内外网站,已经稳定运行一年,抓取了395万条数据信息。