随着宽带接入技术的发展,人们通过Internet查询信息变得越来越方便快捷。作为全球最大的信息资源网,Internet为人们提供了取之不尽用之不竭的信息资源。IE的WWW浏览器为人们在网上搜索信息提供了方便,但它采用的是一种人工操作方式,无法实现实时动态自动获取信息。在一些大中型企业、新闻机构、政府部门以及一些门户网站等,都很需要实现一种功能,即由计算机实时动态采集网上信息,并对所采集的信息进行审核处理。为此,我们提出了网上信息实时动态采集系统这一课题。 系统建立在分布式多线程体系结构上,采用先进的结构化多模块组合设计,使得在Internet这种大数据量、大访问量的环境下,系统保持高速、稳定,以满足用户对许多个网站同时实时动态采集的要求。整个系统由监控子系统、采集子系统、分析审核子系统、高级检索子系统和管理子系统等组成。系统可以灵活地配置为集中式或分布式方式,在用户所监控采集的信息量不大的场合下,可以采用集中式方式,即所有子系统运行在同一台联入Internet的机器上,同时完成监控、采集和审核处理工作;在用户所动态采集的信息量较大的场合下,可以采用分布式方式,其中监控子系统和采集子系统运行在一台或多台联入Internet的前台机上,完成信息的监控采集工作,而审核处理子系统、高级检索子系统等则运行在后台服务器上,处理来自前台机的信息。 本系统对各类企事业单位进行网上信息的收集利用提供了一个高效的手段,如政府管理部门可以利用这一功能对互联网上信息进行实时监控;新闻媒体可用它实时收集一些热门网站的动态新闻;企业对与其同类产品的价格的采集等。因此,本系统具有较好的推广应用前景。