scrapy如何在eclipse中使用scrapy

scrapy  时间:2021-01-09  阅读:()

现在python爬虫用scrapy框架多吗?我安了好多次都安不上

展开全部 一般吧,爬虫的框架还是很多的,python的就有好几个,其他语言的更多。

各有各的特点,scrapy是基于事件驱动框架twisted的。

安装python的包,一般使用包管理工具pip,你可以先安装pip,之后直接 pip install scrapy就安装好了,非常方便。

我的博客:

如何在eclipse中使用scrapy

一、创建项目 如果安装了最新的pydev,创建一个新项目会有三个选项,这里直接选择一个普通的Python项目即可,此时查看项目目录,目录项只有两个工程文件。

此时,需要使用scrapy命令创建一个scrapy项目到这个目录下,当然也可以把一个现有的工程拷贝到这里。

我这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。

二、配置Debug Configurations 1、进入run——>Debug Configurations-——>Main name中输入这个配置的名称; t选择你的Scrapy项目 Main Module 中填入scrapy库下的cmdline.py文件 2、进入run——>Debug Configurations-——>Arguments 在Program arguments中输入 crawl example,需要注意这个example是你的爬虫的名称 这个名字并不是你的项目名称,而是在你所写的类似于xxxSpider()类中的name的值。

在Working directory中选择other 选择你的爬虫工作目录 如图: 配置完成,点击Debug按钮,如果能正常显示类似于下面的信息则说明配置成功。

2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished) 2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats: 唯一麻烦一点的就是每次debug都需要通过run进行,而不能使用鼠标右键运行。

至此eclipse + pydev开发环境debug Scrapy就全部完成了。

怎样在anaconda中使用scrapy

scapy安装的错误有几种类型。

因为网络限制,你无法自动下载依赖的库 因为版本冲突问题,导致你安装scapy时无法完成安装,或者是安装无法正确使用 因为编译的位数不同64位和32位不同,导致的问题 解决办法: 简单的解决办法。

如果scrapy对你很重要。

重新安装一套python2.7然后从头安装scrapy,可以从pypi网站上下载。

也可以从unofficial来源,一口气安装好的包。

耐心的解决办法。

把scrapy的源码拿过来,执行python setup.py install,遇到哪个包不好用,就替换掉。

办法是将那个包的源代码拿过来,先删除site-packages里的相应包,再手工执行python setup.py install。

要有心理准备,很可能需要vc++ 2010的编译器。

最简单的办法,使用pip install scrapy。

如果你是在ubuntu下面apt-get install python-scrapy就搞定了。

怎么将scrapy开发的爬虫程序打包

Scrapy是一个用 Python 写的 Crawler Framework ,简单轻巧,并且非常方便,并且官网上说已经在实际生产中在使用了,不过现在还没有 Release 版本,可以直接使用他们的 Mercurial 仓库里抓取源码进行安装。

Scrapy 使用 Twisted 这个异步网络库来处理网络通讯,架构清晰,并且包含了各种中间件接口,可以灵活的完成各种需求。

scrapy执行哪个spider

假设某个Scrapy工程目录为X_Spider Shell中执行 cd X_Spider&&scrapy list可查看可用蜘蛛列表 假设列表中有一蜘蛛名为Spider_x 则在shell中 scrapy crawl Spider_x运行该蜘蛛, 也可以直接对Spider_x.py文档使用 scrapy runspider命令

如何在eclipse中使用scrapy

一、创建项目 如果安装了最新的pydev,创建一个新项目会有三个选项,这里直接选择一个普通的python项目即可,此时查看项目目录,目录项只有两个工程文件。

<img data-rawheight="52" data-rawwidth="131" src="/defe3f4b4379ba8007e5be1b1ce07dd5_b.jpg" class="content_image" width="131"> 此时,需要使用scrapy命令创建一个scrapy项目到这个目录下,当然也可以把一个现有的工程拷贝到这里。

我这里使用一个之前创建过的scrapy项目复制到这个eclipse创建的工程目录。

此时如果运行这个项目会报错如图: <img data-rawheight="507" data-rawwidth="419" src="/003efc0f452637a1560ba73b1e0741b4_b.jpg" class="content_image" width="419"> 二、配置Debug Configurations 1、进入run——>Debug Configurations-——>Main name中输入这个配置的名称; t选择你的Scrapy项目 Main Module 中填入scrapy库下的cmdline.py文件 2、进入run——>Debug Configurations-——>Arguments 在Program arguments中输入 crawl example,需要注意这个example是你的爬虫的名称 这个名字并不是你的项目名称,而是在你所写的类似于xxxSpider()类中的name的值。

在Working directory中选择other 选择你的爬虫工作目录 如图: <img data-rawheight="283" data-rawwidth="599" src="/1bf1440891107de4a64fcaa66fec1294_b.jpg" class="origin_image zh-lightbox-thumb" width="599" data-original="/1bf1440891107de4a64fcaa66fec1294_r.jpg"><img data-rawheight="426" data-rawwidth="582" src="/32fe68dab4bd890e5bff75b2b2c39d5f_b.jpg" class="origin_image zh-lightbox-thumb" width="582" data-original="/32fe68dab4bd890e5bff75b2b2c39d5f_r.jpg"> 配置完成,点击Debug按钮,如果能正常显示类似于下面的信息则说明配置成功。

2015-07-04 00:10:10 [scrapy] INFO: Closing spider (finished) 2015-07-04 00:10:10 [scrapy] INFO: Dumping Scrapy stats: 唯一麻烦一点的就是每次debug都需要通过run进行,而不能使用鼠标右键运行。

至此eclipse + pydev开发环境debug Scrapy就全部完成了。

ReadyDedis:VPS全场5折,1G内存套餐月付2美元起,8个机房可选_服务器安装svn

ReadyDedis是一家2018年成立的国外VPS商家,由印度人开设,主要提供VPS和独立服务器租用等,可选数据中心包括美国洛杉矶、西雅图、亚特兰大、纽约、拉斯维加斯、杰克逊维尔、印度和德国等。目前,商家针对全部VPS主机提供新年5折优惠码,优惠后最低套餐1GB内存每月仅需2美元起,所有VPS均为1Gbps端口不限流量方式。下面列出几款主机配置信息。CPU:1core内存:1GB硬盘:25GB ...

wordpress公司网站模板 wordpress简洁高级通用公司主题

wordpress公司网站模板,wordpresss简洁风格的高级通用自适应网站效果,完美自适应支持多终端移动屏幕设备功能,高级可视化后台自定义管理模块+规范高效的搜索优化。wordpress公司网站模板采用标准的HTML5+CSS3语言开发,兼容当下的各种主流浏览器: IE 6+(以及类似360、遨游等基于IE内核的)、Firefox、Google Chrome、Safari、Opera等;同时...

香港服务器促销:香港华为云混合服务器、高防服务器首月半价,普通110M大带宽服务器月付799,付5用6,付10用13

博鳌云是一家以海外互联网基础业务为主的高新技术企业,运营全球高品质数据中心业务。自2008年开始为用户提供服务,距今11年,在国人商家中来说非常老牌。致力于为中国用户提供域名注册(国外接口)、免费虚拟主机、香港虚拟主机、VPS云主机和香港、台湾、马来西亚等地服务器租用服务,各类网络应用解決方案等领域的专业网络数据服务。商家支持支付宝、微信、银行转账等付款方式。目前香港有一款特价独立服务器正在促销,...

scrapy为你推荐
核芯显卡与独立显卡哪个好独立显卡和核芯显卡有什么区别炒股软件哪个好用玩股票哪个软件好?电陶炉和电磁炉哪个好电磁炉跟电陶炉哪个好手机管家哪个好有哪些人下了手机管家,最好的是哪个?电动牙刷哪个好飞利浦电动牙刷哪款好?求推荐考生个人空间登录我是2007年入的学2010年毕业我想查询这3年的成绩,怎么办啊?求解答!考生个人空间登录自学考试的“考生个人空间”密码忘记了……一定要本人带身份证和考籍证去有关部门吗?辽宁联通营业厅请问辽宁鞍山最大的联通营业厅在哪电信10000宽带测速怎样测试电信宽带的网速? 771212YunOSYunOS怎么样,有用过的吗?
ip反查域名 二级域名查询 linuxvps 快速域名备案 gateone 空间服务商 双拼域名 刀片服务器的优势 刀片式服务器 vip购优惠 hkt 100mbps hktv 空间购买 atom处理器 测速电信 godaddy空间 大化网 国外免费网盘 葫芦机 更多