【摘 要】
：
网络爬虫在工作时会对目标站点发送大量的请求,这样的爬虫工作方式决定了其会消耗不少目标站点的服务器资源,这对于一个服务器不大的中小型站点来说负载是巨大的,甚至会导致
论文部分内容阅读
网络爬虫在工作时会对目标站点发送大量的请求,这样的爬虫工作方式决定了其会消耗不少目标站点的服务器资源,这对于一个服务器不大的中小型站点来说负载是巨大的,甚至会导致该站点直接崩溃。另外某些网站也不希望自己的内容被轻易的获取,如电商网站的交易额,这些数据是一个互联网产品的核心,因此采取一定的手段保护敏感的数据。因此很多网站都在站点中加入了反爬机制。例如User-Agent+Referer检测、账号登陆及Cookie验证等。文章讨论了几种主流的方法来避免爬虫被目标站点服务器封禁,从而保证爬虫的正常运行。
其他文献
古筝是中国最具代表性的、独特的、重要的民族乐器之一,其历史悠久,音色优美。从地域上来分,古筝分为南派和北派,南派有浙江、客家、潮州,北派有陕西、山东、河南。客家筝曲
现在,几乎任何一个行业都经受了互联网的扫荡,比如卖衣服的、卖电器的,为什么这些行业最快被互联网扫荡？我想是因为他们的产品可以标准化。这两年,印刷行业也开始受到互联网扫
介绍11-38 12PR KT676拖拉机驱动轮轮胎的设计。结构设计：外直径1 530 mm,断面宽度290 mm,行驶面宽度285 mm,行驶面弧度高30 mm,胎圈着合直径970 mm,胎圈着合宽度254 mm,断面
马铃薯为典型的温带植物，对水分很敏感，干旱将严重影响马铃薯幼苗的生长，限制马铃薯农业的发展。钾元素可以在一定程度上增强干旱胁迫下马铃薯幼苗的抗旱性，并且提升马铃薯的产量
广州市七座跨江桥整饰工程是广州珠江两岸景观建设的重要组成部分。文章主要介绍广州市七座跨江桥整饰工程总体设计的控制因素、指导思想和设计构思，通过对七座跨江桥现状简要