猿人学-爬虫对抗比赛事宜写在最前面的话【很重要】建了一个本网站的刷题交流群,扫下方二维码,备注"刷题",加我私人微信,拉你进猿人学-爬虫对抗赛刷题交流群.
后面新出的对抗题,也在群里通知.
刷题规则(原比赛限制规则)一、刷题禁用技术(非常重要,如果想通过刷题提升能力,烦请细读)首先,我们鼓励进行一些骚操作进行解题.
如SwitchyOmega,mitmdumpr,sekiro等.
从而为解题提供更多的思路.
但是,在最开始比赛的过程中,由于比赛性质偏向于对抗,所以对一些爬虫通杀手段进行了限制.
限制的目的也很单纯,避免由于骚操作失去了比赛原有的意义.
由于比赛已经结束,所以对于技术的限制自然已经解除.
但是官方依然建议刷题时严格遵守下面的刷题规则,否则将无法发挥/体验到题目本身的魅力.
爬虫的水平也无法得到应有的提升.
下面是对于技术的使用的限制:1.
比赛禁止使用selenium/pyppeteer/puppeteer等一系列驱动浏览器自行渲染的工具进行抓取(包括无头浏览器在内)严禁使用SwitchyOmega,mitmdump等手段依托于浏览器进行数据采集.
2.
比赛禁止使用sekiro等websocket框架,严禁利用jsRPC进行抓取.
严禁OCR等非爬虫操作(第八题的验证码可以使用OCR识别)!
3.
比赛中允许使用execjs/pyv8/node.
js接口等方式去进行js代码的执行,但在执行的js代码中禁止导入一切第三方库(如:jsdom等),若有自己写的node.
js库,需将核心逻辑写入该执行的js文件中.
4.
比赛允许在抓取调试过程中使用AST辅助js进行分析.
原则上可以搭建node.
js接口(即利用express)然后调用接口处理js.
5.
由于题目并没有对IP进行任何限制(并没有必要进行限制),所以比赛中禁止使用IP代理池、验证码打码平台等第三方提供的爬虫辅助服务.
6.
由于比赛中对抓取速度没有要求,所以禁止使用scrapy等爬虫框架以及多线程、多进程、异步等加快抓取速度的采集方法.
二、刷题注意事项刷题时,调试代码推荐使用chrome浏览器(并且关闭chrome相关插件)并且校准系统的时间,其他浏览器可能会引发各种异常问题导致网页无法正常显示.
题目已在多台电脑的chrome无痕浏览器测试正常.
不保证对其他浏览器的兼容性.
三、写在最后的话比赛结束后有太多的朋友希望比赛平台能够继续保持开启,作为一个长期爬虫练习靶场供大家提升自己.
所以最后决定保持平台的继续开放.
题目也会不定期的进行更新.
做出这个决定也是能让朋友们尽可能多的见识到市面上出现的常规反爬手段,并且不必有后顾之忧的去练习爬虫的水平(或者是写解题技术博客给大家提供思路)、从而让您在真正的爬虫工作中如鱼得水,来去自如.
提升自身市场的竞争力.
为了最大程度的提升您的爬虫能力,我们依然建议您刷题时能够遵守以上的刷题规则,从而提升自身水准.
最后,如果您有任何的意见或者好的出题建议.
或者对于题目的解题思路有任何疑惑,欢迎您扫描本文件最上方的二维码并备注"刷题",拉您进猿人学-爬虫对抗赛刷题交流群,与大家共同进步.
生而为虫,我很快乐!
Webhosting24是一家始于2001年的意大利商家,提供的产品包括虚拟主机、VPS、独立服务器等,可选数机房包括美国洛杉矶、迈阿密、纽约、德国慕尼黑、日本、新加坡、澳大利亚悉尼等。商家VPS主机采用AMD Ryzen 9 5950X CPU,NVMe磁盘,基于KVM架构,德国机房不限制流量,网站采用欧元计费,最低年付15欧元起。这里以美国机房为例,分享几款套餐配置信息。CPU:1core内存...
VPSDime是2013年成立的国外VPS主机商,以大内存闻名业界,主营基于OpenVZ和KVM虚拟化的Linux套餐,大内存、10Gbps大带宽、大硬盘,有美国西雅图、达拉斯、新泽西、英国、荷兰机房可选。在上个月搞了一款达拉斯Linux系统VPS促销,详情查看:VPSDime夏季促销:美国达拉斯VPS/2G内存/2核/20gSSD/1T流量/$20/年,此次推出一款Windows VPS,依然是...
hostsailor怎么样?hostsailor成立多年,是一家罗马尼亚主机商家,机房就设在罗马尼亚,具说商家对内容管理的还是比较宽松的,商家提供虚拟主机、VPS及独立服务器,今天收到商家推送的八月优惠,针对所有的产品都有相应的优惠,商家的VPS产品分为KVM和OpenVZ两种架构,OVZ的比较便宜,有这方面需要的朋友可以看看。点击进入:hostsailor商家官方网站HostSailor优惠活动...
爬虫代理为你推荐
操作httplibcurlphpdestoondestoon有多少人用Destoon做站360退出北京时间怎样让电脑时间与北京时间相同建企业网站建立一个企业网站要多少费用filezillaserver怎么用FileZilla Server 0.9.27 绿色汉化版软件?什么是支付宝支付宝是什么意思泉州商标注册泉州注册一个商标具体要怎么弄?具体流程是什么?瑞东集团海澜集团有限公司怎么样?青岛网通测速网通,联通,长城这三个宽带哪个网速最快?我是青岛的
1g虚拟主机 西安虚拟主机 cn域名价格 新世界机房 香港机房托管 512m 42u标准机柜尺寸 网通服务器ip qq数据库下载 骨干网络 hostker 北京双线 129邮箱 国外免费asp空间 网通服务器托管 微软服务器操作系统 申请网页 闪讯官网 美国盐湖城 数据库空间 更多