通用论坛正文提取算法

discuznt  时间:2021-02-21  阅读:()

一、背景介绍在当今的大数据时代里,伴随着互联网和移动互联网的高速发展,人们产生的数据总量呈现急剧增长的趋势,当前大约每六个月互联网中产生的数据总量就会翻一番.
互联网产生的海量数据中蕴含着大量的信息,已成为政府和企业的一个重要数据来源,互联网数据处理也已成为一个有重大需求的热门行业.
借助网络爬虫技术,我们能够快速从互联网中获取海量的公开网页数据,对这些数据进行分析和挖掘,从中提取出有价值的信息,能帮助并指导我们进行商业决策、舆论分析、社会调查、政策制定等工作.
但是,大部分网页数据是以半结构化的数据格式呈现的,我们需要的信息在页面上往往淹没在大量的广告、图标、链接等"噪音"元素中.
如何从网页中有效提取所需要的信息,一直是互联网数据处理行业关注的重点问题之一.
网页通常采用超级文本标记语言(英文缩写:HTML)来编写,页面上的不同元素如作者、主题、发布日期等出现在一对特定的标记符之间.
例如当我们看到如下一个论坛网页:图1我们可以通过查看这个网页的源代码,查看到与之对应的信息(1)标题信息:图2(2)题主信息:图3(3)题主发帖内容图4(4)回帖信息图5图中的网页源代码就是超级文本标记语言(HTML),关于超级文本标记语言百度百科中是这样描述的:超级文本标记语言是标准通用标记语言下的一个应用,也是一种规范,一种标准,它通过标记符号来标记要显示的网页中的各个部分.
网页文件本身是一种文本文件,通过在文本文件中添加标记符,可以告诉浏览器如何显示其中的内容(如:文字如何处理,画面如何安排,图片如何显示等).
维基百科中对HTML语言的标记、元素、属性、数据类型等也有详细的描述和样例说明.
对于给定的一个具体网页,通常的做法是,人工分析这个网页的源代码,找到特定内容对应的标签,然后通过关键字匹配(例如标签匹配)的方法就可以从网页源代码中获取到我们所关心的数据,如下表所示:表1HTML标签与内容的对应标题:题主:发帖内容:回帖信息:但是,不同网站甚至网页所使用的网页格式、网页结构和标签体系都可能是不一样的,对于从互联网中获取的海量网页的批量处理,如果还利用传统的方法去对每个有差异的网页逐一做人工分析,是不可行的.
如何从这些存在差异的网页中快速有效的提取所需信息,就成为互联网数据处理中一个急需解决的问题.

建站选择网站域名和IP主机地址之间关系和注意要点

今天中午的时候有网友联系到在选择网站域名建站和主机的时候问到域名和IP地址有没有关联,或者需要注意的问题。毕竟我们在需要建站的时候,我们需要选择网站域名和主机,而主机有虚拟主机,包括共享和独立IP,同时还有云服务器、独立服务器、站群服务器等形式。通过这篇文章,简单的梳理关于网站域名和IP之间的关系。第一、什么是域名所谓网站域名,就是我们看到的类似"www.laozuo.org",我们可以通过直接记...

PQS彼得巧 年中低至38折提供台湾彰化HiNet线路VPS主机 200M带宽

在六月初的时候有介绍过一次来自中国台湾的PQS彼得巧商家(在这里)。商家的特点是有提供台湾彰化HiNet线路VPS主机,起步带宽200M,从带宽速率看是不错的,不过价格也比较贵原价需要300多一个月,是不是很贵?当然懂的人可能会有需要。这次年中促销期间,商家也有提供一定的优惠。比如月付七折,年付达到38折,不过年付价格确实总价格比较高的。第一、商家优惠活动年付三八折优惠:PQS2021-618-C...

妮妮云香港CTG云服务器1核 1G 3M19元/月

香港ctg云服务器香港ctg云服务器官网链接 点击进入妮妮云官网优惠活动 香港CTG云服务器地区CPU内存硬盘带宽IP价格购买地址香港1核1G20G3M5个19元/月点击购买香港2核2G30G5M10个40元/月点击购买香港2核2G40G5M20个450元/月点击购买香港4核4G50G6M30个80元/月点击购买香...

discuznt为你推荐
回收站在哪回收站 在c盘的路径手游运营手册游戏策划新手应该看那些书籍?手游运营手册新浪无线 这个公司开发手机游戏吗?iphone5解锁苹果5手机怎么解屏幕锁最新qq空间代码qq空间都是有哪些免费代码!(要全部)中国电信互联星空电信不明不白收了我200元互联星空信息费 求解百度手写百度手写怎么不见了镜像文件是什么镜像文件是什么意思?安卓应用平台哪个手机应用平台的软件比较正版,安全?彩信中心联通手机的彩信中心如何设置?
个人域名注册 域名注册使用godaddy 怎样注册域名 已经备案域名 万网域名证书查询 naning9韩国官网 主机测评网 z.com webhostingpad iis安装教程 双11抢红包攻略 网站被封 ftp教程 100m空间 双十一秒杀 亚马逊香港官网 cxz 阿里云邮箱登陆 域名转入 万网注册 更多