防止爬虫python爬虫怎样预防被主机发现然后被终止

如何给友情链接设置属性防止爬虫访问

这样设置就没有人和你做友情链接了， 友情链接其中一个作用就是相互吸引搜索引擎的爬虫访问。

当然也可以设置你说的这个属性：rel="nofollow"

python爬虫怎样预防被主机发现然后被终止

这个有主要有两种可能： 你生成的url不正确，这个你可以打印一下，找一个报503的url直接在url里访问，看看是否有问题。

亚马逊判断出你是爬虫，给禁止返回数据了，这个就需要伪装一下你的爬虫，比如修改爬取间隔，随机使用http header，或者使用代理ip。