scrapy如何在eclipse中使用scrapy

scrapy  时间:2021-01-09  阅读:()

现在python爬虫用scrapy框架多吗?我安了好多次都安不上

展开全部 一般吧,爬虫的框架还是很多的,python的就有好几个,其他语言的更多。

各有各的特点,scrapy是基于事件驱动框架twisted的。

安装python的包,一般使用包管理工具pip,你可以先安装pip,之后直接 pip install scrapy就安装好了,非常方便。

我的博客:

如何在eclipse中使用scrapy

一、创建项目 如果安装了最新的pydev,创建一个新项目会有三个选项,这里直接选择一个普通的Python项目即可,此时查看项目目录,目录项只有两个工程文件。

此时,需要使用scrapy命令创建一个scrapy项目到这个目录下,当然也可以把一个现有的工程拷贝到这里。

我这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。

二、配置Debug Configurations 1、进入run——>Debug Configurations-——>Main name中输入这个配置的名称; t选择你的Scrapy项目 Main Module 中填入scrapy库下的cmdline.py文件 2、进入run——>Debug Configurations-——>Arguments 在Program arguments中输入 crawl example,需要注意这个example是你的爬虫的名称 这个名字并不是你的项目名称,而是在你所写的类似于xxxSpider()类中的name的值。

在Working directory中选择other 选择你的爬虫工作目录 如图: 配置完成,点击Debug按钮,如果能正常显示类似于下面的信息则说明配置成功。

2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished) 2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats: 唯一麻烦一点的就是每次debug都需要通过run进行,而不能使用鼠标右键运行。

至此eclipse + pydev开发环境debug Scrapy就全部完成了。

怎样在anaconda中使用scrapy

scapy安装的错误有几种类型。

因为网络限制,你无法自动下载依赖的库 因为版本冲突问题,导致你安装scapy时无法完成安装,或者是安装无法正确使用 因为编译的位数不同64位和32位不同,导致的问题 解决办法: 简单的解决办法。

如果scrapy对你很重要。

重新安装一套python2.7然后从头安装scrapy,可以从pypi网站上下载。

也可以从unofficial来源,一口气安装好的包。

耐心的解决办法。

把scrapy的源码拿过来,执行python setup.py install,遇到哪个包不好用,就替换掉。

办法是将那个包的源代码拿过来,先删除site-packages里的相应包,再手工执行python setup.py install。

要有心理准备,很可能需要vc++ 2010的编译器。

最简单的办法,使用pip install scrapy。

如果你是在ubuntu下面apt-get install python-scrapy就搞定了。

怎么将scrapy开发的爬虫程序打包

Scrapy是一个用 Python 写的 Crawler Framework ,简单轻巧,并且非常方便,并且官网上说已经在实际生产中在使用了,不过现在还没有 Release 版本,可以直接使用他们的 Mercurial 仓库里抓取源码进行安装。

Scrapy 使用 Twisted 这个异步网络库来处理网络通讯,架构清晰,并且包含了各种中间件接口,可以灵活的完成各种需求。

scrapy执行哪个spider

假设某个Scrapy工程目录为X_Spider Shell中执行 cd X_Spider&&scrapy list可查看可用蜘蛛列表 假设列表中有一蜘蛛名为Spider_x 则在shell中 scrapy crawl Spider_x运行该蜘蛛, 也可以直接对Spider_x.py文档使用 scrapy runspider命令

如何在eclipse中使用scrapy

一、创建项目 如果安装了最新的pydev,创建一个新项目会有三个选项,这里直接选择一个普通的python项目即可,此时查看项目目录,目录项只有两个工程文件。

<img data-rawheight="52" data-rawwidth="131" src="/defe3f4b4379ba8007e5be1b1ce07dd5_b.jpg" class="content_image" width="131"> 此时,需要使用scrapy命令创建一个scrapy项目到这个目录下,当然也可以把一个现有的工程拷贝到这里。

我这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。

此时如果运行这个项目会报错如图: <img data-rawheight="507" data-rawwidth="419" src="/003efc0f452637a1560ba73b1e0741b4_b.jpg" class="content_image" width="419"> 二、配置Debug Configurations 1、进入run——>Debug Configurations-——>Main name中输入这个配置的名称; t选择你的Scrapy项目 Main Module 中填入scrapy库下的cmdline.py文件 2、进入run——>Debug Configurations-——>Arguments 在Program arguments中输入 crawl example,需要注意这个example是你的爬虫的名称 这个名字并不是你的项目名称,而是在你所写的类似于xxxSpider()类中的name的值。

在Working directory中选择other 选择你的爬虫工作目录 如图: <img data-rawheight="283" data-rawwidth="599" src="/1bf1440891107de4a64fcaa66fec1294_b.jpg" class="origin_image zh-lightbox-thumb" width="599" data-original="/1bf1440891107de4a64fcaa66fec1294_r.jpg"><img data-rawheight="426" data-rawwidth="582" src="/32fe68dab4bd890e5bff75b2b2c39d5f_b.jpg" class="origin_image zh-lightbox-thumb" width="582" data-original="/32fe68dab4bd890e5bff75b2b2c39d5f_r.jpg"> 配置完成,点击Debug按钮,如果能正常显示类似于下面的信息则说明配置成功。

2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished) 2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats: 唯一麻烦一点的就是每次debug都需要通过run进行,而不能使用鼠标右键运行。

至此eclipse + pydev开发环境debug Scrapy就全部完成了。

云如故枣庄高防(49元)大内存2H2G49元8H8G109元

云如故是一家成立于2018年的国内企业IDC服务商,由山东云如故网络科技有限公司运营,IDC ICP ISP CDN VPN IRCS等证件齐全!合法运营销售,主要从事自营高防独立服务器、物理机、VPS、云服务器,虚拟主机等产品销售,适合高防稳定等需求的用户,可用于建站、游戏、商城、steam、APP、小程序、软件、资料存储等等各种个人及企业级用途。机房可封UDP 海外 支持策略定制 双层硬件(傲...

wordpress简洁英文主题 wordpress简洁通用型高级外贸主题

wordpress简洁英文主题,wordpress简洁通用大气的网站风格设计 + 更适于欧美国外用户操作体验,完善的外贸企业建站功能模块 + 更好的移动设备特色模块支持,更高效实用的后台自定义设置 + 标准高效的代码程序功能结构,更利于Goolge等国际搜索引擎的SEO搜索优化和站点收录排名。点击进入:wordpress简洁通用型高级外贸主题主题价格:¥3980 特 惠 价:¥1280安装环境:运...

IonSwitch:$1.75/月KVM-1GB/10G SSD/1TB/爱达荷州

IonSwitch是一家2016年成立的国外VPS主机商,部落上一次分享的信息还停留在2019年,主机商提供基于KVM架构的VPS产品,数据中心之前在美国西雅图,目前是美国爱达荷州科德阿伦(美国西北部,西接华盛顿州和俄勒冈州),为新建的自营数据中心。商家针对新数据中心运行及4号独立日提供了一个5折优惠码,优惠后最低1GB内存套餐每月仅1.75美元起。下面列出部分套餐配置信息。CPU:1core内存...

scrapy为你推荐
免费个人网站制作怎样制作个人网站啊?要免费的!软银支付烧钱,玩家多,生态复杂,印度的移动支付大战有多火爆唐人社美国10次啦急!我和我老公都是第一次.我们有十次左右性生活;为什么我每次都没什么感觉;也没高潮(他有高潮)而且感觉好像没进去;怎么办?天玑1000plus和骁龙865哪个好天玑720和骁龙765g哪个好?视频剪辑软件哪个好后期视频剪辑什么软件最专业?手机杀毒软件哪个好安卓手机杀毒软件哪个最好手机炒股软件哪个好手机炒股哪个软件好 要免费的oppo和vivo哪个好vivo好还是oppo手机好呢?云盘哪个好网络云盘哪个好用51个人空间登录为什么登陆51博客个人空间就不能登陆QQ
美国免费虚拟主机 阿里云os hawkhost优惠码 42u机柜尺寸 gateone 免费个人网站申请 1g内存 如何注册阿里云邮箱 双12 厦门电信 台湾google 国内域名 申请免费空间 浙江服务器 摩尔庄园注册 密钥索引 美国vpn代理 标准机柜 ipower 美国达拉斯 更多