Web页面的信息抽取算法设计
【摘要】本文给出一种Web页面的数据结构描述方式比对所需信息的字符串序列对通用型框架结构和数据域进行划分经规则化处理后可以对web 网页自动地生成模板从而达到抽取信息的目的。
【关键词】信息抽取通用框架算法设计
1.引言
计算机和计算机网络的发展和普及使得网络逐渐成为信息交流的关键平台。为了人们在海量的网络信息中更加便捷地获取所需信息有必要对同领域信息的抽取、汇总、集成可以建立对应领域的信息库。
Web动态网页由服务器根据请求从数据库中选取数据并嵌入到通用模板而生成缺乏结构和语义信息的描述其中包含的信息不易被一般应用程序直接获取。因此如何将网页中的数据抽取出来就变得非常迫切。Web页面的信息抽取技术为实现这一目标提供了新的途径[1]。
2.Web信息抽取的过程设计
2.1信息抽取
信息抽取Information Extraction是从文本包含中识别出用户所需的部分信息并将其转换为结构化、有特定组织形式的数据集合的过程。
2.2 Web页面信息的数据结构的定义
Web网页的基本元素用三类标签来描述分别是开始标签、结束标签以及文本内容。Web网页的数据结构是用字符串序列、标签树两种结构来描述。字符串序列是用开始标签、结束标签以及文本内容构成的一种线性数据结构标签树用开始标签和文本内容表示网页层次结构。
2.3 Web信息抽取过程的设计
Web信息抽取方法关键环节为通用框架结构检测、模板抽取。图1是Web 信息抽取的过程图。
Web信息抽取是将包含用户所需信息的Web网页中的数据自动提取到一个结构化的数据集内的信息处理过程。Web信息抽取针对有价值的文本进行结构分析其效率和质量较高更注重工程性和可操作性也更容易面向实际应用
[2]。
EdgeNat 商家在之前也有分享过几次活动,主要提供香港和韩国的VPS主机,分别在沙田和首尔LG机房,服务器均为自营硬件,电信CN2线路,移动联通BGP直连,其中VPS主机基于KVM架构,宿主机采用四路E5处理器、raid10+BBU固态硬盘!最高可以提供500Gbps DDoS防御。这次开年活动中有提供七折优惠的韩国独立服务器,原生IP地址CN2线路。第一、优惠券活动EdgeNat优惠码(限月...
LOCVPS商家我们还是比较熟悉的老牌的国内服务商,包括他们还有其他的产品品牌。这不看到商家的信息,有新增KVM架构轻量/迷你套餐,提供的机房包括香港云地和美国洛杉矶,适用全场8折优惠,月付29.6元起。LOCVPS是一家成立于2011年的稳定老牌国人商家,主要从事XEN、KVM架构的国外VPS销售,主推洛杉矶MC、洛杉矶C3、香港邦联、香港沙田电信、香港大埔、日本东京、日本大阪、新加坡等数据中心...
BGP.TO目前针对日本和新加坡服务器进行促销,其中日本东京服务器6.5折,而新加坡服务器7.5折起。这是一家专门的独立服务器租售网站,提供包括中国香港、日本、新加坡和洛杉矶的服务器租用业务,基本上都是自有硬件、IP资源等,国内优化直连线路,机器自动化部署上架,并提供产品的基本管理功能(自助开关机重启重装等)。新加坡服务器 $93.75/月CPU:E3-1230v3内存:16GB硬盘:480GB ...