论文部分内容阅读
主要介绍了主题搜索引擎、网络爬虫的基本概念和Heritrix系统的体系结构，分析了Heritrix的工作流程，在Heritrix框架的基础上进行扩展和优化。通过一个实例，实现了对京东网图书信息的抓取，为建立面向图书信息的垂直搜索引擎提供了网页信息资源。
基于Heritrix的网络爬虫研究与应用
【摘 要】
：
主要介绍了主题搜索引擎、网络爬虫的基本概念和Heritrix系统的体系结构，分析了Heritrix的工作流程，在Heritrix框架的基础上进行扩展和优化。通过一个实例，实现了对京东网图书信
【机 构】
：
北方工业大学
【出 处】
：
软件导刊
【发表日期】
：
2013年5期
【基金项目】
：
基金项目：北京市教委科技发展计划项目（KM201310009001）,国家科技支撑项目（2012BAH04F03）
其他文献
《Web技术应用》课程是计算机应用专业的核心课程，该课程依据企业实际需求和学生就业岗位而设置，重在培养学生运用JSP技术设计开发Web应用系统的动手能力。在分析课程定位与目
高校计算机专业课《操作系统》课程教学概念抽象难懂,对采用启发式教学法进行了研究,从课堂教学和实验教学两方面进行教学探索,探讨了启发式教学对激发学生的学习兴趣、培养