爬虫社区爬虫爬取的页面，需要登录之后才能爬取数据，我该怎么办

什么是爬虫系统？

这个解释起来比较费劲，需要你有一定的电脑网络知识。

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

爬虫系统是一个很形象的说法，是用来形容象“,”等搜索引擎的，在互联网上搜索用户请求的信息象一群虫子一样的的全方位的爬行、搜索！“爬虫系统”这个词变成了搜索引擎的代名词！ 简单讲，你可以把它理解为一个更高级，更智能化的搜索引擎升级版。

目前做的最好的爬虫项目是哪个，开源github

如下： 大型的： Nutch apache/nutch · GitHub 适合做搜索引擎，分布式爬虫是其中一个功能。

Heritrix archive/heritrix3 · GitHub比较成熟的爬虫。

小型的： Crawler4j yasserg/crawler4j · GitHub WebCollector CrawlScript/WebCollector · GitHub（国人作品） 目标是在让你在5分钟之内写好一个爬虫。

参考了crawler4j，如果经常需要写爬虫，需要写很多爬虫，还是不错的，因为上手肯定不止5分钟。

缺点是它的定制性不强。

WebMagic code4craft/webmagic · GitHub（国人作品，推荐） 垂直、全栈式、模块化爬虫。

更加适合抓取特定领域的信息。

它包含了下载、调度、持久化、处理页面等模块。

每一个模块你都可以自己去实现，也可以选择它已经帮你实现好的方案。

这就有了很强的定制性。

哪个开源的爬虫框架比较成熟

最好的爬虫语言是前嗅的ForeSpider爬虫脚本语言。

是一门专门的爬虫脚本语言，而不是爬虫框架，可以用简单几行代码，实现非常强大的爬虫功能。

ForeSpider是可视化的通用性采集软件，同时内置了强大的爬虫脚本语言。

如果有通过可视化采集不到的内容，都可以通过简单几行代码，实现强大的脚本采集。

软件同时支持正则表达式操作，可以通过可视化、正则、脚本任意方式，实现对数据的清洗、规范。

对于一些高难度的网站，反爬虫措施比较多，可以使用ForeSpider内部自带的爬虫脚本语言系统，简单几行代码就可以采集到高难度的网站。

比如国家自然基金会网站、全国企业信息公示系统等，最高难度的网站完全没有问题。

在通用性爬虫中，ForeSpider爬虫的采集速度和采集能力是最强的，支持登录、Cookie、Post、https、验证码、JS、Ajax、关键词搜索等等技术的采集，采集效率在普通台式机上，可以达到500万条数据/每天。

这样的采集速度是一般的通用性爬虫的8到10倍。

对于大量的网站采集需求而言，ForeSpider爬虫可以在规则模板固定之后，开启定时采集。

支持数据多次清洗。

对于关键词搜索的需求而言，ForeSpider爬虫支持关键词搜索和数据挖掘功能，自带关键词库和数据挖掘字典，可以有效采集关键词相关的内容。

可以去下载免费版，免费版不限制采集功能。

有详细的操作手册可以学习。

爬虫爬取的页面，需要登录之后才能爬取数据，我该怎么办

用前嗅的ForeSpider数据采集软件可以采集登录后才能采集的数据。

在ForeSpider里有一个内置浏览器，在里边打开这个网站，和在浏览器上一样输入用户名密码，登录上去后就可以了。

可以设置自动登录，下次爬虫还会自动登录这个网站。

可以下载个免费版的试试，软件里有一些免费的模板，里边有一个登录的案例。

帮助文档里也有登录的配置步骤。