采集(DOC)-dedecms采集教程大探秘(超详细)

dedecms采集  时间:2021-03-19  阅读:()

dedecms采集教程大探秘(超详细)

看到很多网友都为织梦DEDE CMS的采集教程头疼 的确官方出的教程太笼

统了什么都没说换个网站你什么都做不了这个教程是最详尽的教程让你一看即会

首先我们打开织梦后台点击采集——采集节点管理——增加新节点

这里我们以采集普通文章为例我们选择普通文章然后确定

我们进入了采集的设置页面填写节点名称就是给这个新节点取个名字这里你可以任意填写。

然后打开你想要采集的文章列表页这里我们以织梦官网为例http://www.dedecms. com/web-manage/jianzhanxinde/打开这个页面右键——查看源文件

找到目标页面编码就在charset后面

页面基本信息其他的一般就不用管了填完了如图

现在我们来填写列表网址获取规则

看看文章列表第一页的地址http://www.dedecms. com/web-manage/jianzhanxinde/list_49_1.html对比第二页的地址http://www.dedecms. com/web-manage/jianzhanxinde/list_49_2.html我们发现了他们除了49_后面的数字不一样其他的都一样所以我们可以这样写http://www.dedecms.com/web-manage/j ianzhanxinde/list_49_(*) .html

就是把1换成了(*) 因为这里只有2页所以我们就填从1到2每页递增当然是1了 2-1. . .是等于1吧

这里我们就填写完了

可能大家采集的有些列表没有规则那就只有手工指定列表网址了如图

每行写一个页面地址

列表规则写完了我们就开始写文章网址匹配规则了,回到文章列表页右键查看源文件找到区域开始的HTML就是找文章列表开始的标志。

我们很容易的找到了如图中的“新闻列表” 。从这里开始后面就是文章列表里我们再找文章列表结束的HTML

就是这个了一个很容易找到的标志

不处理采集为缩略图这里根据自己的需要选如果链接中含有图片 择对区域网址进行再次筛选

(使用正则表达式)必须包含 (优先级高于后者)不能包含

打开源文件我们可以很清楚的看到文章链接都是以.html结束的所以我们在必须包含后面填.html如果遇到有些列表很麻烦还可以填写后面的不能包含

我们点击保存设置进入下一步可以看到我们获得的文章网址

看到这些就是对的了我们保存信息进入下一步设置内容字段获取规则

我们看看文章有没有分页 随便进入一篇文章看看。 。我们看到这里的文章没有分页

所以这里的我们就默认了

我们现在来找文章标题等等随便进入一篇文章右键查看源文件

看看这些

依照源码填写

我们再来填写文章内容的开始结束和上面的一样找到开始和结束标志

开始

结束

你想过滤文章中的什么内容就到过滤规则里写吧 比如要过滤文章中的图片

选择常用规则

再勾选IMG

这样我们就把正文中的图片过滤了设置完毕后点保存设置并预览

然后确定

这样一个采集规则就写好了很简单吧有些网站很难写可要多下点功夫了哦我们点保存并开始采集——开始采集网页一会的功夫就采集完了

我们看看我们采集到的文章

456

看来是成功了我们导出数据吧

首先选择要导入到的栏目按“请选择”那里即可在弹出的窗口中选择你需要导入的栏目发布选项这里一般默认即可除非你不想马上发布。每批导入默认是30条这里修改与否都无所谓 附带选项一般选“排除重复标题” 至于自动生成HTML那个选项建议先别生成 因为我们还要去批量提取摘要和关键字。

去链接不去文字的方法 {dede:trim}<a( [^>]*)>{/dede:trim}

{dede:trim}</a>{/dede:trim}

Friendhosting,美国迈阿密机房新上线,全场45折特价优惠,100Mbps带宽不限流量,美国/荷兰/波兰/乌兰克/瑞士等可选,7.18欧元/半年

近日Friendhosting发布了最新的消息,新上线了美国迈阿密的云产品,之前的夏季优惠活动还在进行中,全场一次性45折优惠,最高可购买半年,超过半年优惠力度就不高了,Friendhosting商家的优势就是100Mbps带宽不限流量,有需要的朋友可以尝试一下。Friendhosting怎么样?Friendhosting服务器好不好?Friendhosting服务器值不值得购买?Friendho...

日本CN2独立物理服务器 E3 1230 16G 20M 500元/月 提速啦

提速啦的来历提速啦是 网站 本着“良心 便宜 稳定”的初衷 为小白用户避免被坑 由赣州王成璟网络科技有限公司旗下赣州提速啦网络科技有限公司运营 投资1000万人民币 在美国Cera 香港CTG 香港Cera 国内 杭州 宿迁 浙江 赣州 南昌 大连 辽宁 扬州 等地区建立数据中心 正规持有IDC ISP CDN 云牌照 公司。公司购买产品支持3天内退款 超过3天步退款政策。提速啦的市场定位提速啦主...

美国高防云服务器 1核 1G 10M 38元/月 百纵科技

百纵科技:美国云服务器活动重磅来袭,洛杉矶C3机房 带金盾高防,会员后台可自助管理防火墙,添加黑白名单 CC策略开启低中高.CPU全系列E52680v3 DDR4内存 三星固态盘列阵。另有高防清洗!百纵科技官网:https://www.baizon.cn/联系QQ:3005827206美国洛杉矶 CN2 云服务器CPU内存带宽数据盘防御价格活动活动地址1核1G10M10G10G38/月续费同价点击...

dedecms采集为你推荐
新闻联播网易yeahasp.net什么叫ASP.NET?购物车(淘宝)为什么推荐购物车购买,是什么意思啊?最土团购程序团购网真实吗,流程是什么?地址栏图标网站在地址栏显示的图标,是怎么显示出来的oscommerceosc.s是个什么文档?要怎样打开?有谁知道?谢谢!!图文模块图文模块的标题栏填什么啊?discuz教程Discuz怎样使用?shopex分销王易分销与分销王有什么区别啊?密码丢失手机密码忘了
紧急升级请记住新域名 免费网站域名注册 广州服务器租用 免费vps webhostingpad tier 香港主机 香港cdn idc评测网 12306抢票攻略 网站实时监控 骨干网络 52测评网 anylink 阿里云浏览器 双十一秒杀 web服务器安全 个人免费主页 360云服务 云营销系统 更多