scrapypyspider 和 scrapy 比较起来有什么优缺点吗

怎么样使用Python的Scrapy爬虫框架

创造一个项目 在你要抓取之前,首先要建立一个新的Scrapy项目。

然后进去你的存放代码目录,执行如下命令。

? 1 scrapy startproject tutorial 它将会创建如下的向导目录: 复制代码 代码如下: tutorial/ scrapy.cfg tutorial/ __init__.py items.py pipelines.py settings.py spiders/ __init__.py ... 这是一些基本信息: scrapy.cfg: 项目的配置文件。

tutorial/: 项目的python模块, 在这里稍后你将会导入你的代码。

tutorial/items.py: 项目items文件。

tutorial/pipelines.py: 项目管道文件。

tutorial/settings.py: 项目配置文件。

tutorial/spiders/: 你将要放入你的spider到这个目录中。

python用scrapy怎样获取div里的内容

我们都知道python中可以是threading模块实现多线程, 但是模块并没有提供暂停, 恢复和停止线程的方法, 一旦线程对象调用start方法后, 只能等到对应的方法函数运行完毕. 也就是说一旦start后, 线程就属于失控状态.

学Python爬虫一定要学scrapy模块吗

不一定。

Scrapy是个框架，很多轮子不用自己这写了。

不过Scrapy比较“重”，如果是小型、单一的爬虫任务，我觉得自己重头写反而比较轻便快速，够用就好。

题主是不是刚开始学爬虫，如果是，建议先理解爬虫的几个模块，理解了原理再学Scrapy才会有效率。

我理解的模块有如下几个： 访问页面，用requests，知道get和post方法来获得网页的html代码。

如果页面用到ajax之类动态加载的，可以通过分析原码爬人家的json(学习下python里json的包)，或者了解一下selenium（不到万不得以不太推荐）的用法。

提取html里的内容，就是我们要爬的内容啦，这个方法有很多，比如正则式，比如xpath，比如BeautifulSoup等等，我主要是用xpath，复杂一点的情况会配合正则用。

保存，程序里，是存在字典还是列表还是pandas的DateFrame,就看你个人需要啦。

程序外，可以直接存成txt、excel或者放进数据库，python这方面的现在的库也很多，教程也很多。

Scrapy在以上提到的基本模块基础上还加入了其他功能，如果哪天楼主觉得以上的模块不够用可以试着先自己造个小轮子，比如通过代理来换ip等等。

等理解了这些模块时再学scrapy也不迟，而且事半功倍。

至于安装问题，pip install scrapy不就能解决吗。

。

pyspider 和 scrapy 比较起来有什么优缺点吗

pyspider的优点是简单，立刻就能上手，脚本编写规则。

懂了的话，一小时写甚至可以写十多个爬虫。

scrapy的优点是自定义程度高，适合学习研究爬虫技术，要学习的相关知识也较多，故而完成一个爬虫的时间较长。