通用论坛正文提取算法

discuznt  时间:2021-02-21  阅读:()

一、背景介绍在当今的大数据时代里,伴随着互联网和移动互联网的高速发展,人们产生的数据总量呈现急剧增长的趋势,当前大约每六个月互联网中产生的数据总量就会翻一番.
互联网产生的海量数据中蕴含着大量的信息,已成为政府和企业的一个重要数据来源,互联网数据处理也已成为一个有重大需求的热门行业.
借助网络爬虫技术,我们能够快速从互联网中获取海量的公开网页数据,对这些数据进行分析和挖掘,从中提取出有价值的信息,能帮助并指导我们进行商业决策、舆论分析、社会调查、政策制定等工作.
但是,大部分网页数据是以半结构化的数据格式呈现的,我们需要的信息在页面上往往淹没在大量的广告、图标、链接等"噪音"元素中.
如何从网页中有效提取所需要的信息,一直是互联网数据处理行业关注的重点问题之一.
网页通常采用超级文本标记语言(英文缩写:HTML)来编写,页面上的不同元素如作者、主题、发布日期等出现在一对特定的标记符之间.
例如当我们看到如下一个论坛网页:图1我们可以通过查看这个网页的源代码,查看到与之对应的信息(1)标题信息:图2(2)题主信息:图3(3)题主发帖内容图4(4)回帖信息图5图中的网页源代码就是超级文本标记语言(HTML),关于超级文本标记语言百度百科中是这样描述的:超级文本标记语言是标准通用标记语言下的一个应用,也是一种规范,一种标准,它通过标记符号来标记要显示的网页中的各个部分.
网页文件本身是一种文本文件,通过在文本文件中添加标记符,可以告诉浏览器如何显示其中的内容(如:文字如何处理,画面如何安排,图片如何显示等).
维基百科中对HTML语言的标记、元素、属性、数据类型等也有详细的描述和样例说明.
对于给定的一个具体网页,通常的做法是,人工分析这个网页的源代码,找到特定内容对应的标签,然后通过关键字匹配(例如标签匹配)的方法就可以从网页源代码中获取到我们所关心的数据,如下表所示:表1HTML标签与内容的对应标题:题主:发帖内容:回帖信息:但是,不同网站甚至网页所使用的网页格式、网页结构和标签体系都可能是不一样的,对于从互联网中获取的海量网页的批量处理,如果还利用传统的方法去对每个有差异的网页逐一做人工分析,是不可行的.
如何从这些存在差异的网页中快速有效的提取所需信息,就成为互联网数据处理中一个急需解决的问题.

spinservers($89/月),圣何塞10Gbps带宽服务器,达拉斯10Gbps服务器

spinservers是Majestic Hosting Solutions LLC旗下站点,主要提供国外服务器租用和Hybrid Dedicated等产品的商家,数据中心包括美国达拉斯和圣何塞机房,机器一般10Gbps端口带宽,高配置硬件,支持使用PayPal、信用卡、支付宝或者微信等付款方式。目前,商家针对部分服务器提供优惠码,优惠后达拉斯机房服务器最低每月89美元起,圣何塞机房服务器最低每月...

ProfitServer折优惠西班牙vps,荷兰vps,德国vps,5折优惠,不限制流量

profitserver正在对德国vps(法兰克福)、西班牙vps(马德里)、荷兰vps(杜廷赫姆)这3处数据中心内的VPS进行5折优惠促销。所有VPS基于KVM虚拟,纯SSD阵列,自带一个IPv4,不限制流量,在后台支持自定义ISO文件,方便大家折腾!此外还有以下数据中心:俄罗斯(多机房)、捷克、保加利亚、立陶宛、新加坡、美国(洛杉矶、锡考克斯、迈阿密)、瑞士、波兰、乌克兰,VPS和前面的一样性...

BlueHost主机商年中618活动全场低至五折

BlueHost 主机商在以前做外贸网站的时候还是经常会用到的,想必那时候有做外贸网站或者是选择海外主机的时候还是较多会用BlueHost主机商的。只不过这些年云服务器流行且性价比较高,于是大家可选择商家变多,但是BlueHost在外贸主机用户群中可选的还是比较多的。这次年中618活动大促来袭,毕竟BLUEHOST商家目前中文公司设立在上海,等后面有机会也过去看看。他们也会根据我们的国内年中促销发...

discuznt为你推荐
weipin唯品单号为16060958116346的快递在哪了呢?快速美白好方法快速美白的好点子!?(不是晒黑的)bluestacksbluestacks怎么用今日热点怎么删除千牛里面的今日热点怎么取消_?网易公开课怎么下载如何下载网易公开课腾讯文章怎样才能在手机腾讯网上发表文章?奇虎论坛奇虎论坛最新推荐歌曲列表·虚拟专用网intranet,extranet,虚拟专用网与internet有什么区别与联系小米手柄手机用小米手柄能玩什么游戏小米手柄小米手柄和飞智手柄哪个好?
未注册域名查询 highfrequency mach5 香港托管 免费ftp空间 外国空间 xfce 国外免费空间 html空间 炎黄盛世 网站木马检测工具 ntfs格式分区 阿里校园 稳定免费空间 台湾谷歌 四核服务器 国内域名 贵阳电信测速 wordpress中文主题 工信部icp备案查询 更多