网络爬虫的结构设计研究

来源 :科技信息(学术研究) | 被引量 : 0次 | 上传用户:ooo4zhgr
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
搜索引擎技术随着互联网的日益壮大而飞速发展。它成功的商业运作也造就了Google、百度等这样的商业奇迹。作为搜索引擎的重要组成部分,Spider网络爬虫的爬行效率对搜索引擎至关重要。本文对搜索引擎进行了相关介绍,概述了Spider的结构框架、在爬行不同阶段的各个状态等。 Search engine technology is growing rapidly as the Internet grows. Its successful commercial operations have also created commercial miracles such as Google and Baidu. As an important part of search engine, the crawling efficiency of Spider web crawler is very important to search engine. This article introduces the search engine, summarizes the structural framework of the Spider, crawling in different stages of the various states.
其他文献
本文利用复杂网络这一重要的理论分析工具,针对传统传染病模型仅单一刻画品牌信息传播的不足,结合品牌传播特点,提出品牌信息网和渠道网"双感染"模型,将模型应用到奢侈品品牌
本文基于产业政策的视角沿着两条路径论述了经济发展中的政府作用:一条是理论上的思想脉络,一条是现实中的约束条件,并在这两条思路的基础上进行了模型化。政府在经济发展中
县域经济具有不同于其他层次区域经济的发展模式和特性,其主导产业选择也有别于其他的层次区域主导产业选择。文章将产业关联基准、区域比较优势基准、增长潜力基准、可持续
用快硬硫铝酸盐水泥、大掺量粉煤灰、水玻璃,外加悬浮剂,一步混合法制备了三元复合胶体防灭火材料,研究了该材料的凝结时间、抗压强度和阻化性能,观察了微观形貌,探讨了胶凝
本文将档案置于社会记忆之中,思考、探讨、剖析档案记忆的结构和特点,对档案记忆认识的深化具有基础性意义。
数学是提高学生逻辑思维能力、分析能力、问题解决能力的重要学科,初中阶段数学教学中教师要重视学生解题能力培养.初中数学涉及题型有很多,教师要根据学生学习特点、解题能
目的:探讨赛肤润液体敷料治疗手足口病皮疹患儿的临床效果及护理方法。方法:将90例手足口病皮疹患儿随机分为观察组和对照组各45例,两组均给予相同的精心护理,对照组给予生理
分析重庆市石柱县王场镇农业产业发展现状和存在的问题,提出了促进王场镇农业又好又快发展的对策建议。
目的:通过检测早孕、晚孕期甲状腺功能异常妊娠女性的空腹血糖(GLU)、甘油三酯(TG)、高密度胆固醇(HDL-C)、低密度胆固醇(LDL-C)与总胆固醇(TC)的水平,分析其妊娠并发症,探讨
体育赛事转播权是指有关体育组织或赛事的主办者对体育赛事媒体转播的控制权,源于体育赛事组织者在赛事组织上的投入和贡献。电视媒体在转播体育赛事的过程中,如果转播的画面