抓取利用NUTCH来抓取网站数据并进行后期数据分析
利用NUTCH来抓取网站数据并进行后期数据分析
参会人员李凯、马继光、卢少锦、许雷
会议主题如何利用NUTCH来抓取网站数据并进行后期数据分析
会议发言摘要
李凯
利用NUTCH来抓取网站数据的优势在于我们可以把程序员的工作重心转移到后期的数据分析上边。并且工作不再受时间限制目前我们的大部分数据抓取只能在晚上进行因为NUTCH会把我们感兴趣的网站的内容全部镜像到本地。
可以充分利用NUTCH的分布式抓取的机制那么即使将来我们收录的网站到了另外一个数量级整个系统依然能正常运行。
如果我们能在今年年底以前把这套系统很流畅地运作起来我们在同类的网站当中已经是领先一大步了。
马继光
我们现在最紧迫的任务是要熟悉NUTCH的工作流程对它还处在认识阶段需要先利用它来抓取一些网站来测试一下。
卢少锦
我最关心的是数据抓取过来以后的读取如何完整再现他们的内容。计划研究Htmlparse来进行底层页面的抽取工作。
许雷
目前还处于探索阶段包括NUTCH本身是不是真的能将网站所有的数据都抓取下来、会不会丢失掉一些我们需要的比如产品类别信息、如何专门针对我们特别感兴趣的页面进行抓取都需要继续研究。另外现在的公司的程序员还没有特别精通JAVA的 因此JAVA的部分知识还需要进行学习。
下一步工作的计划
1李凯需要继续熟悉NUTCH的抓取流程包括NUTCH的重试机制分布式抓取。2马工学习一下JAVA的常见错误和报错信息还有JAVA中面向对象的基本概念。在下周五下午对程序员做一个讲座。同时尽快修复目前的空间余留的BUG。
3卢少锦在保证目前抓取工作进度的情况下研究Htmlpars e实现页面信息更方便的抽取。4许雷 研究如何把NUTCH抓取过来的页面缓存信息读取出来供信息抽取人员使用。5下周三下午两点的时候继续开会汇报目前的工作进度研究有关NUTCH的下一步开发计划。
6下周五下午三点开始由马工对程序员进行有关j ava开发的讲座。
大拿网技术部
2006-8-9
- 抓取利用NUTCH来抓取网站数据并进行后期数据分析相关文档
- 中国财经教育资源共享联盟数据科学实战训练营
- 最受欢迎的网页数据采集软件
- 地震网站数据抓取
- 获取PHP抓取远程网站 数据 的 代码
- 请求JAVA抓取网站数据
- 信息网站数据抓取之争
bgpto：BGP促销,日本日本服务器6.5折$93/月低至6.5折、$93/月
bgpto怎么样?bgp.to日本机房、新加坡机房的独立服务器在搞特价促销，日本独立服务器低至6.5折优惠，新加坡独立服务器低至7.5折优惠，所有优惠都是循环的，终身不涨价。服务器不限制流量，支持升级带宽，免费支持Linux和Windows server中文版(还包括Windows 10). 特色：自动部署，无需人工干预，用户可以在后台自己重装系统、重启、关机等操作!bgpto主打日本(东京、大阪...
PIGYun中秋特惠：香港/韩国VPS月付14元起
PIGYun发布了九月份及中秋节特惠活动，提供8折优惠码，本月商家主推中国香港和韩国机房，优惠后最低韩国每月14元/中国香港每月19元起。这是一家成立于2019年的国人商家，提供中国香港、韩国和美国等地区机房VPS主机，基于KVM架构，采用SSD硬盘，CN2+BGP线路(美国为CUVIP-AS9929、GIA等)。下面列出两款主机配置信息。机房：中国香港CPU：1core内存：1GB硬盘：10GB...
CloudCone闪购优惠洛杉矶MC机房VPS月$1.99 便宜可随意删除重开
CloudCone商家我们很多喜欢低价便宜VPS主机的肯定是熟悉的，个人不是特别喜欢他。因为我之前测试过几次，开通的机器IP都是不通的，需要删除且开通好几次才能得到一个可用的IP地址。当然他们家的优势也是有的，就是价格确实便宜，而且还支持删除重新开通，而且机房只有一个洛杉矶MC。实话，如果他们家能多几个机房，保持现在的特点，还是有很多市场的。CloudCone是来自美国的主机销售商，成立于2017...
-
邮箱群发邮箱最多能群发多少人刷网站权重刷出来的流量会提高网站的权重吗？微信如何建群微信如何建群1433端口怎么去看1433端口xp系统停止服务Windowsxp系统为什么停止服务安装迅雷看看播放器迅雷看看播放器安装ios系统ios系统有哪些版本？ios系统iOS系统是什么iphone6上市时间苹果6什么时候出？多少钱blogcnCK沉珂是个怎样的一个人？之后又是怎样的 ？