scrapy如何在eclipse中使用scrapy

现在python爬虫用scrapy框架多吗？我安了好多次都安不上

展开全部 一般吧，爬虫的框架还是很多的，python的就有好几个，其他语言的更多。

各有各的特点，scrapy是基于事件驱动框架twisted的。

安装python的包，一般使用包管理工具pip，你可以先安装pip，之后直接 pip install scrapy就安装好了，非常方便。

我的博客：

如何在eclipse中使用scrapy

一、创建项目 如果安装了最新的pydev，创建一个新项目会有三个选项，这里直接选择一个普通的Python项目即可，此时查看项目目录，目录项只有两个工程文件。

此时，需要使用scrapy命令创建一个scrapy项目到这个目录下，当然也可以把一个现有的工程拷贝到这里。

我这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。

二、配置Debug Configurations 1、进入run——>Debug Configurations-——>Main name中输入这个配置的名称； t选择你的Scrapy项目 Main Module 中填入scrapy库下的cmdline.py文件 2、进入run——>Debug Configurations-——>Arguments 在Program arguments中输入 crawl example，需要注意这个example是你的爬虫的名称 这个名字并不是你的项目名称，而是在你所写的类似于xxxSpider()类中的name的值。

在Working directory中选择other 选择你的爬虫工作目录 如图： 配置完成，点击Debug按钮，如果能正常显示类似于下面的信息则说明配置成功。

2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished) 2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats: 唯一麻烦一点的就是每次debug都需要通过run进行，而不能使用鼠标右键运行。

至此eclipse + pydev开发环境debug Scrapy就全部完成了。

怎样在anaconda中使用scrapy

scapy安装的错误有几种类型。

因为网络限制，你无法自动下载依赖的库 因为版本冲突问题，导致你安装scapy时无法完成安装，或者是安装无法正确使用 因为编译的位数不同64位和32位不同，导致的问题 解决办法： 简单的解决办法。

如果scrapy对你很重要。

重新安装一套python2.7然后从头安装scrapy，可以从pypi网站上下载。

也可以从unofficial来源，一口气安装好的包。

耐心的解决办法。

把scrapy的源码拿过来，执行python setup.py install，遇到哪个包不好用，就替换掉。

办法是将那个包的源代码拿过来，先删除site-packages里的相应包，再手工执行python setup.py install。

要有心理准备，很可能需要vc++ 2010的编译器。

最简单的办法，使用pip install scrapy。

如果你是在ubuntu下面apt-get install python-scrapy就搞定了。

怎么将scrapy开发的爬虫程序打包

Scrapy是一个用 Python 写的 Crawler Framework ，简单轻巧，并且非常方便，并且官网上说已经在实际生产中在使用了，不过现在还没有 Release 版本，可以直接使用他们的 Mercurial 仓库里抓取源码进行安装。

Scrapy 使用 Twisted 这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。

scrapy执行哪个spider

假设某个Scrapy工程目录为X_Spider Shell中执行 cd X_Spider&&scrapy list可查看可用蜘蛛列表 假设列表中有一蜘蛛名为Spider_x 则在shell中 scrapy crawl Spider_x运行该蜘蛛， 也可以直接对Spider_x.py文档使用 scrapy runspider命令

如何在eclipse中使用scrapy

一、创建项目 如果安装了最新的pydev，创建一个新项目会有三个选项，这里直接选择一个普通的python项目即可，此时查看项目目录，目录项只有两个工程文件。

<img data-rawheight="52" data-rawwidth="131" src="/defe3f4b4379ba8007e5be1b1ce07dd5_b.jpg" class="content_image" width="131"> 此时，需要使用scrapy命令创建一个scrapy项目到这个目录下，当然也可以把一个现有的工程拷贝到这里。

我这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。

此时如果运行这个项目会报错如图： <img data-rawheight="507" data-rawwidth="419" src="/003efc0f452637a1560ba73b1e0741b4_b.jpg" class="content_image" width="419"> 二、配置Debug Configurations 1、进入run——>Debug Configurations-——>Main name中输入这个配置的名称； t选择你的Scrapy项目 Main Module 中填入scrapy库下的cmdline.py文件 2、进入run——>Debug Configurations-——>Arguments 在Program arguments中输入 crawl example，需要注意这个example是你的爬虫的名称 这个名字并不是你的项目名称，而是在你所写的类似于xxxSpider()类中的name的值。

在Working directory中选择other 选择你的爬虫工作目录 如图： <img data-rawheight="283" data-rawwidth="599" src="/1bf1440891107de4a64fcaa66fec1294_b.jpg" class="origin_image zh-lightbox-thumb" width="599" data-original="/1bf1440891107de4a64fcaa66fec1294_r.jpg"><img data-rawheight="426" data-rawwidth="582" src="/32fe68dab4bd890e5bff75b2b2c39d5f_b.jpg" class="origin_image zh-lightbox-thumb" width="582" data-original="/32fe68dab4bd890e5bff75b2b2c39d5f_r.jpg"> 配置完成，点击Debug按钮，如果能正常显示类似于下面的信息则说明配置成功。

2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished) 2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats: 唯一麻烦一点的就是每次debug都需要通过run进行，而不能使用鼠标右键运行。

至此eclipse + pydev开发环境debug Scrapy就全部完成了。