采集(WORD)-如何让DEDECMS支持部分采集?

dedecms采集  时间:2021-03-19  阅读:()

如何让DEDECMS支持部分采集

如何让DEDECMS支持部分采集

D ED E CM S自带的采集功能虽然比不上其他专业的采集软件但对比其他采集程序在性能上还是非常不错。很多其他程序无法采集下来的网页使用DEDECMS可以采集得到。 比如58同城首页使用discuz的下载函数采集过来的都是一片空白或者警告内容但是使用dedecms的下载完全可以下载下来。

D ED E采集程序原理

DEDECMS的采集原理很简单 通过PHP程序socket模拟HTTP请求下载整张网页的HTML。不过这里面有一个不足之处——不支持部分采集。如果我们仅仅要获得对方网页的标题却下载了整张网页。一两张无所谓但是大量的下载就会挤占服务器资源和带宽。 比如商务大陆网35dalucom的分类信息网站大全该频道含有600多分类信息网站 网站程序后台自动定期获取这些网站的标题 以判断这些网站是否可以正常打开 内容是否发生改变。如果使用dede的程序直接默认下载整张网页而不是仅网页HTML头部部分长期下去可想而知会挤占多少服务器资源。此时我们此处仅仅需要获得对方网页的标题而已。

修改文件dedehttpdown.class.php

要让D E D E CM S实现部分采集的功能非常简单 只需要修改采集程序文件dedehttpdown.class.php中的2个地方即可。使用notepad++或者dreamweaver打开/include/dedehttpd. class.php

1第118行$this->m_html = ' ' ;背后加入$this->dataLimit =

0;

2第285行$this->m_html .= fgets($this-& gt;m_fp,256) ;背后加入if($this->dataLimit > 0 && strlen($this->m_html) > $this->dataLimit) break;保存即可。

使用方法

$remoteURL = ‘http://www.35dalu. com/info/fabu/’ ;

$dh = new DedeHttpDown() ;

$dh->OpenUrl ($remoteURL) ;

$dh->dataLimit = 1024;

$remoteHTML = $dh->GetHtml() ;

我们只需要在$dh->OpenUrl ($remoteURL) ;背后加入$dh->dataLimit =1024; (你想采集的字节大小即可。 通过这样的方法我们可以更节约服务器资源。 by 35dalu.com

MechanicWeb免费DirectAdmin/异地备份

MechanicWeb怎么样?MechanicWeb好不好?MechanicWeb成立于2008年,目前在美国洛杉矶、凤凰城、达拉斯、迈阿密、北卡、纽约、英国、卢森堡、德国、加拿大、新加坡有11个数据中心,主营全托管型虚拟主机、VPS主机、半专用服务器和独立服务器业务。MechanicWeb只做高端的托管vps,这次MechanicWeb上新Xeon W-1290P处理器套餐,基准3.7GHz最高...

ShockHosting日本机房VPS测试点评

这个月11号ShockHosting发了个新上日本东京机房的邮件,并且表示其他机房可以申请转移到日本,刚好赵容手里有个美国的也没数据就发工单申请新开了一个,这里做个简单的测试,方便大家参考。ShockHosting成立于2013年,目前提供的VPS主机可以选择11个数据中心,包括美国洛杉矶、芝加哥、达拉斯、杰克逊维尔、新泽西、澳大利亚、新加坡、日本、荷兰和英国等。官方网站:https://shoc...

美国云服务器 1核 1G 100M 10G防御 39元/月 物语云计算

物语云计算(MonogatariCloud)是一家成立于2016年的老牌国人商家,主营国内游戏高防独服业务,拥有多家机房资源,产品质量过硬,颇有一定口碑。本次带来的是美国圣何塞 Equinix 机房的高性能I9-10980XE大带宽VPS,去程CN2GIA回程AS9929,美国原生IP,支持解锁奈飞等应用,支持免费安装Windows系统。值得注意的是,物语云采用的虚拟化技术为Hyper-V,资源全...

dedecms采集为你推荐
在线代理QQ代理服务器怎么弄啊?地址是指IP,端口是什么?有必要该吗?还有用户,密码,都代表什么啊?波音737起飞爆胎一般的客机的起飞速度是多少?重庆400年老树穿楼生长生长百年的老树,仍能不断生长,是因为主要有什么组织字节跳动回应TikTok易主互动百科被字节跳动收购意味着什么?重庆电信dnsPSP上网急救!重庆电信的DNS是多少啊?文档下载如何 下载 文库文件传奇域名谁能帮忙查查传奇的IP和域名curl扩展大神帮忙看下centos 7.2 系统 php7.0.12的 curl 扩展怎么开启,谢谢啦curl扩展如何增加mysqli扩展pintang目前世界上最稀有、最珍贵的钱币是什么?
asp主机空间 沈阳虚拟主机 备案域名 域名备案网站 免费申请网页 zpanel raksmart godaddy主机 diahosting 免备案空间 日志分析软件 火车票抢票攻略 http500内部服务器错误 免费个人博客 炎黄盛世 免费个人空间 idc资讯 网站卫士 怎么建立邮箱 cloudlink 更多