Web页面的信息抽取算法设计
【摘要】本文给出一种Web页面的数据结构描述方式比对所需信息的字符串序列对通用型框架结构和数据域进行划分经规则化处理后可以对web 网页自动地生成模板从而达到抽取信息的目的。
【关键词】信息抽取通用框架算法设计
1.引言
计算机和计算机网络的发展和普及使得网络逐渐成为信息交流的关键平台。为了人们在海量的网络信息中更加便捷地获取所需信息有必要对同领域信息的抽取、汇总、集成可以建立对应领域的信息库。
Web动态网页由服务器根据请求从数据库中选取数据并嵌入到通用模板而生成缺乏结构和语义信息的描述其中包含的信息不易被一般应用程序直接获取。因此如何将网页中的数据抽取出来就变得非常迫切。Web页面的信息抽取技术为实现这一目标提供了新的途径[1]。
2.Web信息抽取的过程设计
2.1信息抽取
信息抽取Information Extraction是从文本包含中识别出用户所需的部分信息并将其转换为结构化、有特定组织形式的数据集合的过程。
2.2 Web页面信息的数据结构的定义
Web网页的基本元素用三类标签来描述分别是开始标签、结束标签以及文本内容。Web网页的数据结构是用字符串序列、标签树两种结构来描述。字符串序列是用开始标签、结束标签以及文本内容构成的一种线性数据结构标签树用开始标签和文本内容表示网页层次结构。
2.3 Web信息抽取过程的设计
Web信息抽取方法关键环节为通用框架结构检测、模板抽取。图1是Web 信息抽取的过程图。
Web信息抽取是将包含用户所需信息的Web网页中的数据自动提取到一个结构化的数据集内的信息处理过程。Web信息抽取针对有价值的文本进行结构分析其效率和质量较高更注重工程性和可操作性也更容易面向实际应用
[2]。
npidc全称No Problem Network Co.,Limited(冇問題(香港)科技有限公司,今年4月注册的)正在搞云服务器和独立服务器促销,数据中心有香港、美国、韩国,走CN2+BGP线路无视高峰堵塞,而且不限制流量,支持自定义内存、CPU、硬盘、带宽等,采用金盾+天机+傲盾防御系统拦截CC攻击,非常适合建站等用途。活动链接:https://www.npidc.com/act.html...
Hostadvice主机目录对我们的服务进行了测试,然后给PQ.hosting颁发了十大WordPress托管奖。为此,宣布PQ.Hosting将在一周内进行折扣优惠,购买和续订虚拟服务器使用优惠码:Hostadvice ,全部优惠10%。PQ.hosting,国外商家,成天于2019年,正规公司,是全球互联网注册商协会 RIPE 的成员。主要是因为提供1Gbps带宽、不限流量的基于KVM虚拟的V...
WebHorizon是一家去年成立的国外VPS主机商,印度注册,提供虚拟主机和VPS产品,其中VPS包括OpenVZ和KVM架构,有独立IP也有共享IP,数据中心包括美国、波兰、日本、新加坡等(共享IP主机可选机房更多)。目前商家对日本VPS提供一个8折优惠码,优惠后最低款OpenVZ套餐年付10.56美元起。OpenVZCPU:1core内存:256MB硬盘:5G NVMe流量:200GB/1G...