scrapy如何在scrapy中带cookie访问

如何用 scrapy 同时监控并采集 1000 个网站

我有几个方案: 1.每一个网站用一个scrapy项目来做 2.所有网站都用一个scrapy来做，items都写进去items.py中，每一个网站写一个spider蜘蛛 3.所有网站都用一个scrapy来做，items都写进去items.py中，所有网站写进一个spider蜘蛛 我个人倾向于第二个 另外用scrapyd和supervisor来做管理和监控!

python scrapy是什么意思

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。

如何理解scrapy的field对象

熟悉 Django 的朋友一定会注意到Scrapy Item定义方式与 Django Models 很类似, 不过没有那么多不同的字段类型(Field type)，更为简单。

Item字段(Item Fields) Field 对象指明了每个字段的元数据(metadata)。

例如下面例子中 last_updated 中指明了该字段的序列化函数。

您可以为每个字段指明任何类型的元数据。

Field 对象对接受的值没有任何限制。

也正是因为这个原因，文档也无法提供所有可用的元数据的键(key)参考列表。

Field 对象中保存的每个键可以由多个组件使用，并且只有这些组件知道这个键的存在。

您可以根据自己的需求，定义使用其他的Field 键。

设置 Field 对象的主要目的就是在一个地方定义好所有的元数据。

一般来说，那些依赖某个字段的组件肯定使用了特定的键(key)。

您必须查看组件相关的文档，查看其用了哪些元数据键(metadata key)。

需要注意的是，用来声明item的 Field 对象并没有被赋值为class的属性。

不过您可以通过Item.fields 属性进行访问。

如何在scrapy中带cookie访问

在scrapy使用过程中，很多情况下需要根据实际需求定制自己的扩展，小到实现自己的pipelines，大到用新的scheduler替换默认的scheduler。

扩展可以按照是否需要读取crawler大致分为两种，对于不需要读取的，比如pipelines的编写，只需要实现默认的方法porcess_item。

需要读取的，如scheduler的编写又存在另外的方式。

1.第一种 这种处理起来比较简单，一般是根据scrapy的signals实现相应的处理。

具体实现可见文档pipelines的编写方法。