通用论坛正文提取算法

discuznt  时间:2021-02-21  阅读:()

一、背景介绍在当今的大数据时代里,伴随着互联网和移动互联网的高速发展,人们产生的数据总量呈现急剧增长的趋势,当前大约每六个月互联网中产生的数据总量就会翻一番.
互联网产生的海量数据中蕴含着大量的信息,已成为政府和企业的一个重要数据来源,互联网数据处理也已成为一个有重大需求的热门行业.
借助网络爬虫技术,我们能够快速从互联网中获取海量的公开网页数据,对这些数据进行分析和挖掘,从中提取出有价值的信息,能帮助并指导我们进行商业决策、舆论分析、社会调查、政策制定等工作.
但是,大部分网页数据是以半结构化的数据格式呈现的,我们需要的信息在页面上往往淹没在大量的广告、图标、链接等"噪音"元素中.
如何从网页中有效提取所需要的信息,一直是互联网数据处理行业关注的重点问题之一.
网页通常采用超级文本标记语言(英文缩写:HTML)来编写,页面上的不同元素如作者、主题、发布日期等出现在一对特定的标记符之间.
例如当我们看到如下一个论坛网页:图1我们可以通过查看这个网页的源代码,查看到与之对应的信息(1)标题信息:图2(2)题主信息:图3(3)题主发帖内容图4(4)回帖信息图5图中的网页源代码就是超级文本标记语言(HTML),关于超级文本标记语言百度百科中是这样描述的:超级文本标记语言是标准通用标记语言下的一个应用,也是一种规范,一种标准,它通过标记符号来标记要显示的网页中的各个部分.
网页文件本身是一种文本文件,通过在文本文件中添加标记符,可以告诉浏览器如何显示其中的内容(如:文字如何处理,画面如何安排,图片如何显示等).
维基百科中对HTML语言的标记、元素、属性、数据类型等也有详细的描述和样例说明.
对于给定的一个具体网页,通常的做法是,人工分析这个网页的源代码,找到特定内容对应的标签,然后通过关键字匹配(例如标签匹配)的方法就可以从网页源代码中获取到我们所关心的数据,如下表所示:表1HTML标签与内容的对应标题:题主:发帖内容:回帖信息:但是,不同网站甚至网页所使用的网页格式、网页结构和标签体系都可能是不一样的,对于从互联网中获取的海量网页的批量处理,如果还利用传统的方法去对每个有差异的网页逐一做人工分析,是不可行的.
如何从这些存在差异的网页中快速有效的提取所需信息,就成为互联网数据处理中一个急需解决的问题.

819云(240元)香港CN2 日本CN2 物理机 E5 16G 1T 20M 3IP

819云是我们的老熟人了,服务器一直都是稳定为主,老板人也很好,这次给大家带来了新活动,十分给力 香港CN2 日本CN2 物理机 E5 16G 1T 20M 3IP 240元0官方网站:https://www.819yun.com/ 特惠专员Q:442379204套餐介绍套餐CPU内存硬盘带宽IP价格香港CN2 (特价)E5 随机分配16G1T 机械20M3IP240元/月日本CN2 (...

ThomasHost(月付5美元)美国/法国/英国/加拿大KVM,支持Windows

ThomasHost域名注册自2012年,部落最早分享始于2016年,还算成立了有几年了,商家提供基于KVM架构的VPS,数据中心包括美国、法国、英国、加拿大和爱尔兰等6个地区机房,VPS主机套餐最低2GB内存起步,支持Windows或者Linux操作系统,1Gbps端口不限制流量。最近商家提供了一个5折优惠码,优惠后最低套餐月付5美元起。下面列出部分套餐配置信息。CPU:1core内存:2GB硬...

修罗云50元/月起香港大宽带NAT VPS,香港沙田建站2核2G5M仅70元/月起

修罗云怎么样?修罗云是一家国内老牌商家,修罗云商家以销售NAT机器起家,国内的中转机相当不错,给的带宽都非常高,此前推荐的也都是国内NAT VPS机器。今天,云服务器网(www.yuntue.com)小编主要介绍一下修罗云的香港云服务器,适合建站,香港沙田cn2云服务器,2核2G,5M带宽仅70元/月起,同时香港香港大带宽NAT VPS低至50元/月起,性价比不错,可以尝试一下!点击进入:修罗云官...

discuznt为你推荐
weipin唯品会的唯品钱包里的钱怎么用weipin唯品会的唯品币是干什么用的?支付宝查询余额支付宝怎么查余额?!?!腾讯文章怎么在手机腾讯网发文章硬盘人移动硬盘的优缺点神雕侠侣礼包大全神雕侠侣手游版四重大礼包怎么得到啊?qq空间打扮如何打扮QQ空间?商标注册查询官网怎么查商标有没有注册QzongQQ空间是Qzone还是Qzong网站地图制作如何制作、提交网站地图
ftp空间 华为云主机 qq数据库下载 免费申请个人网站 免费cdn 微软服务器操作系统 便宜空间 宿迁服务器 97rb 杭州电信 免费网站加速 so域名 海尔t68g qq部落18-3 招聘瓦工 sockscap教程 企业私有云存储 网站服务器硬件配置 好看的空间名字 代理服务器是什么 更多