如何对付网络爬虫要甄别网络爬虫也很简单，对真实访问IP进行统计和排序，挑选出来前200名C段IP地址中每天访问量超过3000次的IP段地址，然后去除白名单，最后再用IP地址数据库去比对。根据经验来说，一个C段地址每天超过3000次访问已经肯定是一个大公司在访问JavaEye了，可如果该来源C段并非出自像阿里巴巴，IBM中国公司，搜狐，腾讯这样的公司地址，就可以99%断定是网络爬虫，直接用iptables干掉该C段地址。爬虫好学吗？自学容...
什么是增量式抓取 关于网络爬虫的Nutch爬虫的工作策略一般则可以分为累积式抓取（cumulative crawling）和增量式抓取（incremental crawling）两种。 累积式抓取是指从某一个时间点开始，通过遍历的方式抓取系统所能允许存储和处理的所有网页。在理想的软硬件环境 下，经过足够的运行时间，累积式抓取的策略可以保证抓取到相当规模的网页集合。但由于Web数据的动态特性，集合中网页的被抓取时间点是不同的，页面被更新的...