爬虫论坛如何对知乎内容进行爬虫

python爬虫，遇到403 forbidden，求助

遇到这种情况一般是爬虫被网站发现而禁止了，在这种情况下就要考虑爬取策略，一般有以下几种方法，从简单到容易： 1. 设置ua 2. 添加requests的headers，如refer，content length等 3. 添加cookie 4. 爬取过于频繁，每爬完一个网页sleep一段时间，一般1-5秒，越长越不容易被检测出来，也可以考虑sleep随机的时间 5. 终极大杀招，模拟浏览器，selenium工具 具体方法自行google

如何提高爬虫效率

如何吸引爬虫的抓取四个方面：第一，页面的更新度，如果页面内容经常更新，爬虫就会更加频繁地访问你的页面，页面上出现的新链接，也自然会被蜘蛛更快地跟踪，抓取新页面。

第二，网站和页面权重，质量高、资格老的网站被认为权重比较高，这种网站上的页面被爬行的深度也会比较高，所以会有更多内页被收录。

第三，首页点击距离，一般来说网站上权重最高的是首页，大部分外部链接是指向首页的，蜘蛛访问最频繁的也是首页。

第四，导入链接，无论是外部链接还是同一个网站的内部链接，要被抓取，就必须有导入链接进入页面，否则根本没有机会知道页面的存在。

如何对知乎内容进行爬虫

下面说明知乎爬虫的源码和涉及主要技术点： （1）程序package组织 （2）模拟登录（爬虫主要技术点1） 要爬去需要登录的网站数据，模拟登录是必要可少的一步，而且往往是难点。

知乎爬虫的模拟登录可以做一个很好的案例。

要实现一个网站的模拟登录，需要两大步骤是：（1）对登录的请求过程进行分析，找到登录的关键请求和步骤，分析工具可以有IE自带(快捷键F12)、Fiddler、HttpWatcher；（2）编写代码模拟登录的过程。

?模拟登录 （3）网页下载（爬虫主要技术点2） 模拟登录后，便可下载目标网页html了。

知乎爬虫基于HttpClient写了一个网络连接线程池，并且封装了常用的get和post两种网页下载的方法。

（4）自动获取网页编码（爬虫主要技术点3） 自动获取网页编码是确保下载网页html不出现乱码的前提。

知乎爬虫中提供方法可以解决绝大部分乱码下载网页乱码问题。

（5）网页解析和提取（爬虫主要技术点4） 使用Java写爬虫，常见的网页解析和提取方法有两种：利用开源Jar包Jsoup和正则。

一般来说，Jsoup就可以解决问题，极少出现Jsoup不能解析和提取的情况。

Jsoup强大功能，使得解析和提取异常简单。

知乎爬虫采用的就是Jsoup。

（6）正则匹配与提取（爬虫主要技术点5） 虽然知乎爬虫采用Jsoup来进行网页解析，但是仍然封装了正则匹配与提取数据的方法，因为正则还可以做其他的事情，如在知乎爬虫中使用正则来进行url地址的过滤和判断。

（7）数据去重（爬虫主要技术点6） 对于爬虫，根据场景不同，可以有不同的去重方案。

（1）少量数据，比如几万或者十几万条的情况，使用Map或Set便可；（2）中量数据，比如几百万或者上千万，使用BloomFilter（著名的布隆过滤器）可以解决；（3）大量数据，上亿或者几十亿，Redis可以解决。

知乎爬虫给出了BloomFilter的实现，但是采用的Redis进行去重。

（8）设计模式等Java高级编程实践 除了以上爬虫主要的技术点之外，知乎爬虫的实现还涉及多种设计模式，主要有链模式、单例模式、组合模式等，同时还使用了Java反射。

除了学习爬虫技术，这对学习设计模式和Java反射机制也是一个不错的案例。

4. 一些抓取结果