robots协议robot协议是谁发明的？为什么不允许蜘蛛来

网络爬虫必须遵守robot协议吗

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

如果将网站视为酒店里的一个房间，robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。

这个文件告诉来访的搜索引擎哪些房间可以进入和参观，哪些房间因为存放贵重物品，或可能涉及住户及访客的隐私而不对搜索引擎开放。

你说的这个情况应该是网站对搜索引擎做了一定的限制了。

比如：限制某个浏览器或者全部浏览器不能抓取整个网站，或者是限制某个浏览器或者所有浏览器不能抓取某个特定的页面。

robot协议是谁发明的？为什么不允许蜘蛛来

robots.txt并不是某一个公司制定的，而是早在20世纪93、94年就早已出现，当时还没有Google。

真实Robots协议的起源，是在互联网从业人员的公开邮件组里面讨论并且诞生的。

即便是今天，互联网领域的相关问题也仍然是在一些专门的邮件组中讨论，并产生（主要是在美国）。

1994年6月30日，在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后，正式发布了一份行业规范，即robots.txt协议。

在此之前，相关人员一直在起草这份文档，并在世界互联网技术邮件组发布后，这一协议被几乎所有的搜索引擎采用，包括最早的altavista，infoseek，后来的google，bing，以及中国的百度，搜搜，搜狗等公司也相继采用并严格遵循。

不允许蜘蛛来抓取的情况有很多，比如某个网站不靠搜索引擎导入流量，就可以通过robots.txt协议禁止搜索引擎抓取，因为搜索引擎频繁抓取页面会占用服务器的带宽，影响服务器性能；再比如会员登录后才能看到的内容、重复内容、程序文件等等都需要通过robots.txt文件来禁止搜索引擎抓取，一方面可以节约带宽，另一方面可以对搜索引擎友好。

。

。