scrapy为什么觉得Scrapy很难

使用scrapy 爬虫框架，一般是边爬边去重还是爬完一定深度以后再去重

所以这就是自己为什么在写完 [scrapy-demos]( /Allianzcortex/scrapy-demos) 后就决定再也不用 scrapy 的原因⊙﹏⊙b ……爬虫框架用起来自定义程度总是不高～ 用 requests+Selenium+PhantomJs 多线程爬虫的时候用的是 mp.manager.dict() 来存储已经访问过的网站，如果发现再次访问就直接跳过 我能想到的就是 Bloom Filter ，按照上面所说用 redis 来去重应该也可以

beautifulsoup与scrapy 这两者之间有什么区别

beautiful soup可以离线解释html文件，但是获取html文件是由用户的其他行为的定义的，比如urllib或者request 而scrapy是一个完整的获取程序，只需要把网址贴上去，就会自动去爬。

省去很多用户需要关注的细节。

为什么觉得Scrapy很难

rules不能用是因为所继承的类不具备该成员变量。

要使用rules成员变量需要继承自ClawerSpider类，但具体情况还需要具体，因为scrapy会由于版本不同有些属性被取消或更换为其他类型的变量。

但目前你不能使用（即不能调用rules），就代表当前类所继承的类不对。

要用好scrapy，最好参考对应版本的API文档。