Web页面的信息抽取算法设计
【摘要】本文给出一种Web页面的数据结构描述方式比对所需信息的字符串序列对通用型框架结构和数据域进行划分经规则化处理后可以对web 网页自动地生成模板从而达到抽取信息的目的。
【关键词】信息抽取通用框架算法设计
1.引言
计算机和计算机网络的发展和普及使得网络逐渐成为信息交流的关键平台。为了人们在海量的网络信息中更加便捷地获取所需信息有必要对同领域信息的抽取、汇总、集成可以建立对应领域的信息库。
Web动态网页由服务器根据请求从数据库中选取数据并嵌入到通用模板而生成缺乏结构和语义信息的描述其中包含的信息不易被一般应用程序直接获取。因此如何将网页中的数据抽取出来就变得非常迫切。Web页面的信息抽取技术为实现这一目标提供了新的途径[1]。
2.Web信息抽取的过程设计
2.1信息抽取
信息抽取Information Extraction是从文本包含中识别出用户所需的部分信息并将其转换为结构化、有特定组织形式的数据集合的过程。
2.2 Web页面信息的数据结构的定义
Web网页的基本元素用三类标签来描述分别是开始标签、结束标签以及文本内容。Web网页的数据结构是用字符串序列、标签树两种结构来描述。字符串序列是用开始标签、结束标签以及文本内容构成的一种线性数据结构标签树用开始标签和文本内容表示网页层次结构。
2.3 Web信息抽取过程的设计
Web信息抽取方法关键环节为通用框架结构检测、模板抽取。图1是Web 信息抽取的过程图。
Web信息抽取是将包含用户所需信息的Web网页中的数据自动提取到一个结构化的数据集内的信息处理过程。Web信息抽取针对有价值的文本进行结构分析其效率和质量较高更注重工程性和可操作性也更容易面向实际应用
[2]。
小白云是一家国人自营的企业IDC,主营国内外VPS,致力于让每一个用户都能轻松、快速、经济地享受高端的服务,成立于2019年,拥有国内大带宽高防御的特点,专注于DDoS/CC等攻击的防护;海外线路精选纯CN2线路,以确保用户体验的首选线路,商家线上多名客服一对一解决处理用户的问题,提供7*24无人全自动化服务。商家承诺绝不超开,以用户体验为中心为用提供服务,一直坚持主打以产品质量用户体验性以及高效...
mineserver怎么样?mineserver是一家国人商家,主要提供香港CN2 KVM VPS、香港CMI KVM VPS、日本CN2 KVM VPS、洛杉矶cn2 gia端口转发等服务,云服务器网(yuntue.com)介绍过几次,最近比较活跃。现在新推出了3款特价KVM VPS,性价比高,香港CMI/洛杉矶GIA VPS,2核/2GB内存/20GB NVME/3.5TB流量/200Mbps...
Dataideas是一家2019年成立的国外VPS主机商,提供基于KVM架构的VPS主机,数据中心在美国得克萨斯州休斯敦,主机分为三个系列:AMD Ryzen系列、Intel Xeon系列、大硬盘系列,同时每个系列又分为共享CPU和独立CPU系列,最低每月1.5美元起。不过需要注意,这家没有主页,你直接访问根域名是空白页的,还好他们的所有套餐支持月付,相对风险较低。下面以Intel Xeon系列共...