采集(WORD)-如何让DEDECMS支持部分采集?

dedecms采集  时间:2021-03-19  阅读:()

如何让DEDECMS支持部分采集

如何让DEDECMS支持部分采集

D ED E CM S自带的采集功能虽然比不上其他专业的采集软件但对比其他采集程序在性能上还是非常不错。很多其他程序无法采集下来的网页使用DEDECMS可以采集得到。 比如58同城首页使用discuz的下载函数采集过来的都是一片空白或者警告内容但是使用dedecms的下载完全可以下载下来。

D ED E采集程序原理

DEDECMS的采集原理很简单 通过PHP程序socket模拟HTTP请求下载整张网页的HTML。不过这里面有一个不足之处——不支持部分采集。如果我们仅仅要获得对方网页的标题却下载了整张网页。一两张无所谓但是大量的下载就会挤占服务器资源和带宽。 比如商务大陆网35dalucom的分类信息网站大全该频道含有600多分类信息网站 网站程序后台自动定期获取这些网站的标题 以判断这些网站是否可以正常打开 内容是否发生改变。如果使用dede的程序直接默认下载整张网页而不是仅网页HTML头部部分长期下去可想而知会挤占多少服务器资源。此时我们此处仅仅需要获得对方网页的标题而已。

修改文件dedehttpdown.class.php

要让D E D E CM S实现部分采集的功能非常简单 只需要修改采集程序文件dedehttpdown.class.php中的2个地方即可。使用notepad++或者dreamweaver打开/include/dedehttpd. class.php

1第118行$this->m_html = ' ' ;背后加入$this->dataLimit =

0;

2第285行$this->m_html .= fgets($this-& gt;m_fp,256) ;背后加入if($this->dataLimit > 0 && strlen($this->m_html) > $this->dataLimit) break;保存即可。

使用方法

$remoteURL = ‘http://www.35dalu. com/info/fabu/’ ;

$dh = new DedeHttpDown() ;

$dh->OpenUrl ($remoteURL) ;

$dh->dataLimit = 1024;

$remoteHTML = $dh->GetHtml() ;

我们只需要在$dh->OpenUrl ($remoteURL) ;背后加入$dh->dataLimit =1024; (你想采集的字节大小即可。 通过这样的方法我们可以更节约服务器资源。 by 35dalu.com

易探云:买香港/美国/国内云服务器送QQ音乐绿钻豪华版1年,价值180元

易探云产品限时秒杀&QQ音乐典藏活动正在进行中!购买易探云香港/美国云服务器送QQ音乐绿钻豪华版1年,价值180元,性价比超级高。目前,有四大核心福利产品推荐:福利一、香港云服务器1核1G2M,仅218元/年起(香港CN2线路,全球50ms以内);福利二、美国20G高防云服务器1核1G5M,仅336元/年起(美国BGP线路,自带20G防御);福利三、2G虚拟主机低至58.8元/年(更有免费...

2021HawkHost老鹰主机黑色星期五虚拟主机低至3.5折 永久4.5折

老鹰主机HawkHost是个人比较喜欢的海外主机商,如果没有记错的话,大约2012年左右的时候算是比较早提供支付宝付款的主机商。当然这个主机商成立时间更早一些的,由于早期提供支付宝付款后,所以受众用户比较青睐,要知道我们早期购买海外主机是比较麻烦的,信用卡和PAYPAL还没有普及,大家可能只有银联和支付宝,很多人选择海外主机还需要代购。虽然如今很多人建站少了,而且大部分人都用云服务器。但是老鹰主机...

spinservers春节优惠:$149/月10Gbps圣何塞服务器-2*E5-2630Lv3 CPU,256G内存,2*1.6T SSD硬盘

spinservers是Majestic Hosting Solutions LLC旗下站点,商家提供国外服务器租用和Hybrid Dedicated等产品,数据中心包括美国达拉斯和圣何塞机房,机器默认10Gbps端口带宽,高配置硬件,支持使用PayPal、信用卡、支付宝或者微信等付款方式。农历春节之际,商家推出了几款特别促销配置,最低双路E5-2630Lv3机器每月149美元起,下面列出几款机器...

dedecms采集为你推荐
东软集团股份有限公司杭州市网易yeahthinksns网站成功 安装ThinkSNS后主页有问题支付宝注册网站在哪里注册支付宝账号三友网三友有机硅是不是国企,待遇如何?现在花钱去是不是值得?三友网网测是什么意思?银花珠树晓来看用黄皮比喻心酸的诗句网站方案设计网站文案策划怎么写discuz伪静态Discuz! X3.0 到底能不能伪静态?门户怎么伪静态?美国独立美国是什么时候独立的?
台湾虚拟主机 免费域名注册 播放vps上的视频 万网域名管理 便宜服务器 rackspace godaddy域名转出 ssh帐号 远程登陆工具 大容量存储 绍兴高防 52测评网 台湾谷歌地址 asp免费空间申请 web服务器安全 服务器是干什么用的 上海电信测速网站 www789 东莞主机托管 iki 更多