语义搜人引擎

第59卷第5期2015年3月智能搜索引擎关键技术及应用研究刘耀1郑德举2潘希阳1黄毅11中国科学技术信息研究所北京1000382北京大学语言信息工程系北京100871摘要:[目的/意义]技术创新服务平台的建设中需要智能搜索引擎技术,智能搜索引擎技术的内涵或者说重点在于自动语义标注.
技术创新服务平台上对搜索引擎的要求,与大众的搜索引擎的需求还是不同的,处理的对象主要是专业领域的文本,通过语义标注技术,能快速对企业文档进行语义化和结构化组织,从而为企业提供精准的知识服务.
[方法/过程]针对专业领域语义标注的相关问题,在进行深入研究与探讨的基础上,将语义标注理解为是对一组文档资源进行组织语义化的过程,提出利用结构化语义概念资源或集合对数字化文本进行自动标引的方法,并根据概念实体出现频次、位置和关系等因素,自动抽取相关语义概念集合,实现相关文本的语义内容的自动标注.
[结果/结论]评价语义标注相关实验的效果,展示语义标注的具体应用场景.
同时,体现领域本体与语义标注语料不断更新、进化、形成互动的过程,旨在为专业领域的语义自动标注及智能搜索引擎的构建提供有益的参考.
关键词:语义标注自然语言处理文本内容理解搜索引擎分类号:G203DOI:10.
13266/j.
issn.
0252-3116.
2015.
05.
018本文系"十二五"国家科技支撑计划项目"技术创新服务平台关键技术与应用示范"(项目编号:2011BAH30B00)研究成果之一.
作者简介:刘耀(ORCID:0000-0003-3729-3866),研究员,Email:liuy@istic.
ac.
cn;郑德举,硕士;潘希阳,学士;黄毅,硕士.
收稿日期:2015-01-15修回日期:2015-02-18本文起止页码:113-118本文责任编辑:徐健1引言技术创新服务平台的建设需要智能搜索引擎技术,虽然现阶段在互联网领域搜索引擎众多,但都是大而全,不是小而精,适用虽然广泛,但针对性不强,很难提供个性化的、精准的搜索结果.
技术创新服务平台上对搜索引擎的要求,与大众的搜索引擎的需求还是不同的,处理的对象主要是专业领域的文本,重点在于解决自动语义标注的问题.
面对数字资源的有效组织,笔者提出面向知识密集型片段的文本特征获取和面向网络的文本内容获取总体框架和技术,以有效地从结构化的领域专业文本和网络中的非结构化文本中提取出所需要的知识片段[1-2].
但是,虽然通过文献[1-2]中所介绍的技术方法提取出的文本片段能够反映文本知识的领域特征(面向知识密集型文本的特征获取)和反映最新的描述专业领域知识的情况(面向网络的文本内容获取技术),对知识的描述粒度却过于粗糙,没有对领域文本的内容进行精细的加工处理,对于知识内容的表现形式也过于简单,没有反映文本片段语义信息[3-4].
为了达到对数字资源进行内容层面理解的目的,需要利用自然语言处理技术对文本片段语料进行深入加工,实施对数字资源的内容语义化,从而支持智能搜索引擎服务.
数字资源的内容语义化依赖于组织语义化,即实际上利用自然语言处理相关技术将数字资源标注成语义标签的形式,达到对资源进行内容语义化的目的[5-7].
2问题定义语义标注是对一组文档资源进行组织语义化的过程,是利用一个语义概念资源对数字资源上的文本片段进行标引,根据概念实体出现频次、位置和关系等因素抽取一组语义概念集合用以表现该文本片段的内容语义.
语义标注的性能主要依赖于概念知识库知识是否完备和标注算法的性能是否优良.
问题定义:依据一组语义概念资源,S=P→Q;P∈语义概念集合,Q∈{}语义概念之间的关系,对文本片段T=D1,D2,D3,…,D{}n进行语义标注,311第59卷第5期2015年3月得到用以表现文本片段内容的一组语义索引R=P→T;P∈语义概念集合,T{}为被标注的文档.
3技术框架与思路3.
1技术总体框架语义标注所利用的资源是领域的本体知识库,本体知识库中提供了概念之间网状结构的关联关系,而标注的对象是结构化半结构化的领域文本或者无结构的网络文本.
通过对这些语料的初步预处理和加工,将文本切分成不同大小的领域文本片段,利用本体知识库中提供的本体知识关系,对切分后的文本资源进行标注,标注后构成的资源作为语义索引,语义索引结构为本体中出现的概念,索引到的内容就是标注的领域资源,语义标注总体框架如图1所示:图1语义标注总体框架3.
2具体标注思路语义标注的基本思路是不按照整篇文档的内容对资源进行索引,一方面是因为整篇文档对于概念的描述过于宽泛,涉及到概念的很多方面;另一方面,整篇文档的语义内容可能涉及到多个概念,不容易将其概括到基本的语义内容上.
本文按照段落和句子两个维度进行语义标注,对段落进行标注时注重整段内容语义的索引,对句子进行标注时主要注重相关概念的提取.
在对数字资源进行标注时,首先要考虑数字资料的来源,一般来说,领域文档的来源大部分来自经过人工校对过的领域文本,这些文本有着结构化半结构化的特征,标注的信息比较准确;另一部分数字资源来自网络领域文本,这部分资源的结构特征并不明显,标注的语料一般作为参考.
然后,对数字资源进行语料加工和处理,形成用以标注的语料.
在标注时,使用文本向量空间模型(VSM)作为领域语料分析的基本模型,其中文档片段中的相关概念和概念的属性会被赋予较高的标注权重.
标注后的规模领域语料形成语义索引结构,索引的键是领域概念及概念的属性,索引的值是领域文档的位置、文档的内容、文档的语义信息.
语义标注一般是一个离线计算的过程,标注后应将领域文本的索引结构以一定的形式保存起来,以供知识检索.
4语义标注流程及算法4.
1领域标注语料准备领域语料的来源主要分为知识密集型文本片段和网络领域文本.
其中,知识密集型文本片段在组织上呈现结构化半结构化的特征,内容上对于知识的表述比较专业和规范,对领域内的知识内容阐述准确、全面.
知识密集型文本片段的行文组织和内容阐述是有紧密关联的.
文档结构的特征,如分段、标题、行文结构顺序等都和知识的本质表述,如概念之间的包含关系、概念之间的分类关系和概念之间的内在联系等有着对应的关系.
对于网络领域文本而言,在结构组织上可能比较集中或稀疏,内容上对于知识的表述或者过于集中,未对知识作整体描述;或者过于概括,对于知识的描述并不准确和规范.
其结构上的特征也会反映出对于知识内容描述的结构,比如,在一个领域对于某个概念集中的段落描述,反映的是对这个概念的深入表述,并不侧重于对全面知识结构的把握.
两种来源的文本资料结构上各有特点,在内容描述上也是根据结构的不同而有所侧重.
知识密集型文本片段的来源主要是领域内的专业内容文本.
常见的文本来源是领域知识教材、专业文献、学术论文等.
网络领域文本的主要来源是网络上与领域内容相关的文本资源.
常见的文本来源有领域专业网站、领域知识综合性数据库等.
4.
2领域标注语料加工语义标注的文本粒度是按照段落、句子划分的,因此,要对领域文档作切分处理,形成对应的段落和句子结构.
切分段落的依据是段首的空格、段尾的空白和段与段之间的空行.
切分成段落后,以汉字GBK编码中半角或全角格式的句号作为分隔符,将段落切分成句子.
对领域标注语料的加工需要针对领域文本所定制的一些工具,常见的资源有《领域专业概念词典》、《领域专业切分词典》和领域本体知识库等.
对于文本资源,首先通过《领域专业切分词典》对语料内容进行切词和词性标注.
依据各个领域的不同需求,制定领域内的停用词表,对切分、标注后的文本做过滤停用词等相关处理.
4.
3语义标注算法经过初步加工后的领域语料,已经形成了段落、句子两个级别的文本片段.
语义标注需要运用领域本体411刘耀,郑德举,潘希阳,等.
智能搜索引擎关键技术及应用研究[J].
图书情报工作,2015,59(5):113-118.
知识库中的相关资源,实现文本片段内容的语义化标注.
定义:对于一篇领域文档片段D,按照文本向量空间模型,将D切分成词的组合D={w1,w2,w3,…,wn},其中这组词是已经经过《领域专业词典》切分过的,并且过滤了停用词,对于领域本体知识库S={P→Q;P∈语义概念集合,Q∈语义概念之间的关系},最后标注的结果是文档D的语义T={wi,wj;wi∈P*D,wj∈Q*D}.
语义标注算法是试图分析领域文本片段所表现的语义,在标注过程中,主要参考的是领域概念实体或概念实体属性在文本片段中的共现,描述相关概念的文本片段一般会在文本中出现该概念相关的内容,而这部分内容是描述概念和概念的属性,所以会出现与概念和概念的属性相关的词汇.
语义标注算法同时也使用了领域本体知识库的领域数据进行标注,主要将领域本体中概念的属性2作为判断段落语义相关程度的因素.
以铝行业本体库为例,多功能天车是一个概念,它拥有一些属性,其中包括结构1和结构2.
这两个属性中都有属性值,结构1的属性值是领域文本中对多功能天车结构的专业描述,结构2的属性值是对结构1的属性值进行切分后,自动选出与该属性最相关、且被包含在本体词表中的词语.
具体的标注特征规则如下:如果领域文本片段中出现概念实体,则相较于未出现该概念实体的文本片段,该段文本与该概念实体更相关.
如果领域文本片段中出现概念实体,则文本片段中出现的概念实体次数越多,该段文本与该概念实体越相关.
如果领域文本片段中出现概念实体及其属性,则该文本片段与未出现属性的文本片段相比,更加全面地表述概念实体.
如果领域文本片段中出现概念实体,并且出现概念实体的属性更多,则该文本片段与出现属性比较少的文本片段相比,更加全面地表述概念实体.
如果领域文本片段中出现概念实体及其属性,则概念实体和概念实体属性出现的文本距离较近的文本片段,比文本距离较远的概念实体更能较为准确地表现实体.
如果领域文本片段中出现了多个概念实体及其属性,则概念实体本身及其属性出现次数较多的概念实体,则更能表达该段文本的语义.
如果领域文本片段中出现了概念实体,则文本片段中出现的概念实体的属性2的次数越多,覆盖越全,该文本片段与该概念实体越相关.
语义标注算法如下:Listword_list=cut_words(text_paragraph);for(Stringword:word_list){for(Stringclass:ontology_classes){if(class.
equals(word)){semantic_set.
add(class);}for(Stringproperty:class.
getProperty()){if(property.
equals(word)){semantic_set.
add(property);}}}}semantic_set.
add(property2);intdistance=computeSemanticDistance(semantic_set);doublescore=computeIndexScore(semantic_set,distance);saveSemanticIndex(text_paragraph,semantic_set,score);在针对段落的标注过程中,可能有领域文本片段出现多个概念实体的情况,在语义标注的过程中,也将该段文本标注为不同概念实体索引到的文本片段.
但是,也会根据前面的标注规则,将特征更为明显的语义赋予更高的权重,这样,一份文本片段也可能被多个语义概念所索引.
语义索引中对于文档的语义索引分数计算方式如下:A=class_countword_count,B=property_countword_countC=log(paragraph_dissemantic_dis),D=occur_property2_countproperty2_countSemanticScore=α·A+β·B+δ·C+γ·D其中,word_count是标注文档中词的个数,class_count是标注文档中出现的实体的个数,property_count是文档中出现的属性的个数,paragraph_dis是标注文档的距离(以词为单位),semantic_dis是标注文档中最近的语义关键词的距离,property2_count是该属性的属性2的词数,occur_property2_count是出现的属性2的词数.
因而,SemanticScore的计算参考了类名、属性名、类和属性距离、属性2这4种因素,其中α,β,δ,γ是权重因子.
同时,对文本进行语义索引时,利用本体概念属性词表,通过循环查找词表提取关键词,按提取的关键词从倒排索引中提取文本集合,获得文本集合并计算文本的语义分数.
然后通过信息检索的向量空间模型和511第59卷第5期2015年3月布尔模型计算的得分进行加权计算,得出综合分数来对倒排索引中的文件进行排名,并存储至索引库中供用户进行检索.
scoreq,()d=coord(q,d)*queryNorm(q)*∑tinq(tf(tind)*idf()t2*t.
getBoost()*norm(t,d))[8]t:即term,是指包含域信息的term;coord(q,d):一次搜索可能包含多个搜索词,一篇文档中也可能包含多个搜索词,若一篇文档中包含的搜索词越多,则此文档打分越高;queryNorm(q):计算每个查询条目的方差和,此值并不影响排序,而仅仅使得不同的query之间的分数可以比较.
4.
4语义标注结果语义标注的结果是形成领域的语义索引,语义索引主要保存了一个文档文本片段的3个主要信息:①文本粒度,分成层次级别(篇章、段落、句子);②文本片段的内容;③文本片段的语义.
当通过语义标注算法标注过一篇文档之后,根据标注出的对应实体对应属性,向对应的标注索引文件中添加文档的记录,由于文档是经过分段处理后进行标注的,所以,实验中实际存储的是标注文档的对应位置及段落.
同时,也要存储根据算法得到的对应文档对应于该本体属性的语义索引分数值.
这样,在具体的数据结构表示上,保存为一个倒排表,这个表的键为概念语义,表的值为这些索引的相关文档片段以及这组相关文档片段的语义索引分数值,文档的分数越高,表明其与该实体属性的语义越相关.
5结果分析与应用实验将针对语义标注的性能和结果作分析,一方面,利用领域本体标注领域语料,使用铝行业本体去标注铝行业领域文档,并且对结果作了评价,排序质量较搜索引擎有所提高.
另一方面,利用标注后的语料更新领域本体,对标注后的语料进行加工处理后,生成了新的属性2,可以填充和丰富本体,达到进化本体的目的;同时,利用本体中的概念及其属性描述,在自动撰写方面开展了应用.
5.
1利用领域本体标注领域语料通过搜狗搜索引擎检索铝行业领域的特定检索词,利用返回的前10页结果作为铝行业领域的领域标注语料.
检索词由两部分组成:第一部分是领域概念实体的名称,第二部分是该领域概念实体的属性,如图2所示:图2领域语料来源示例利用现有的铝行业本体资源,分析语料内容语义之间的关系,对语料进行语义标注.
针对铝行业文本资源的特点,通过分析研究和计算,将语义索引分数中的几个权重设置为α=1,β=1,δ=0.
7,γ=1.
5.
通过对搜狗搜索引擎返回的结果文档进行标注,按照计算好的语义索引分数进行排序,得到关于该实体属性的一组排好序的领域文档片段集合.
人工整理语料中文档语义内容与语义检索词的关联程度,按照语义相关性进行排序后,得到一组排序好的与语义检索词相关的领域文档.
然后根据人工整理的语义文档顺序,分别计算搜狗搜索引擎返回的文档顺序和语义标注算法的文档顺序的逆序数,实验结果见表1(逆序数越小越好).
表1搜狗搜索引擎与智能搜索引擎逆序数对比多功能天车搜狗搜索引擎语义标注算法技术原理4333维护保养138操作规程3918设备故障7823检修规程6320设备结构4525平均值46.
8321.
16可以看到,语义标注算法将搜狗引擎与人工排序的结果的逆序数降低了55%,可以较好地提升语义相关文档的排序.
其中主要原因是语义标注算法考虑了文档内容与语义之间的关联,利用领域本体库中语义实体属性2的值,可以有效地统计片段对于实体属性2的覆盖程度,同时也考虑了语义实体、属性共现和距离等因素.
5.
2利用标注后领域语料更新领域本体通过领域本体库进行语料标注之后,得到了语义611刘耀,郑德举,潘希阳,等.
智能搜索引擎关键技术及应用研究[J].
图书情报工作,2015,59(5):113-118.
索引,即一组与实体的属性语义相关的经标注后的领域文档,按照语义索引的分数,将最能够表现领域实体属性语义的文档片段进行切分标注,即可得到该实体属性的属性2.
这一组属性2是通过语义标注学习获得的,可以有效地填充本体,达到本体进化的目的.
在对铝行业领域文档进行标注之前,可以看到平台中有了初始本体属性2的相关数据,这次试验主要使用的是铝行业本体.
语义标注前,统计相关的属性2的结果,如表2所示:表2语义标注前铝行业本体属性2统计多功能天车属性属性2个数技术原理3维护保养5操作规程4设备故障7检修规程4设备结构9经过上一节实验的语义标注之后,平台会根据语义标注的分数自动选出语义最相关的文档,经过领域专业切分之后,根据属性2所定义的作用范围查看相关的实体,符合要求的被增加到平台的属性2之中,如图3所示:图3语义标注后铝行业本体属性2示例语义标注后增加的属性2的统计结果如表3所示:表3语义标注后铝行业本体属性2统计多功能天车属性属性2个数新增个数技术原理96维护保养127操作规程73设备故障1811检修规程95设备结构145可以看到,经过语义标注后的语料可以更新领域本体库的数据,这样,本体知识库的内容也就得到了进化.
更新后的领域本体知识库又可以更好地提升语义标注算法的性能,通过网络获得更多的领域文档.
这样,领域本体库的内容和语义标注的语料都得到不断的更新、进化,形成互动,达到一体化的目的.
5.
3自动撰写根据本体库中概念的属性组织结构来表现本体知识,而本体知识本身的属性内容是一组经过语义标注的表现该属性的领域语料集合,选出最能表现该属性的语料内容作为自动撰写生成页面的内容.
利用本体中的概念及其属性描述,将索引库里现有的文件以及结合爬虫抓取专业的结构化语料作为信息来源,利用TextRank的打分思路提取摘要,在自动撰写方面开展应用研究.
TextRank的打分思路是从PageRank的迭代思想中衍生的[9].
WS(Vi)=(1-d)+d*Vj∈In(Vi)wjiVk∈Out(j)wjkWS(Vj)等式左边表示一个句子的权重(WS是weight_sum的缩写),右侧的求和表示每个相邻句子对本句子的贡献程度;求和的分子wji表示两个句子的相似程度,分母又是一个weight_sum,而WS(Vj)代表上次迭代j的权重,整个公式是一个迭代的过程.
相似度的计算则采用BM25算法计算文件集的相关度矩阵[10],对Query进行语素解析,生成语素qi;对于每个搜索结果D,计算每个语素qi与D的相关性得分;将qi相对于D的相关性得分进行加权求和,从而得到Query与D的相关性得分;以本体中概念及其属性为基础,对相关句子进行迭代投票,计算排序后输出并生成自动撰写结果,如图4所示:图4自动撰写页面效果711第59卷第5期2015年3月6结语本文研究了智能搜索引擎关键技术———语义标注的相关内容,提出了利用结构化语义概念资源或集合对文本进行自动标引的方法.
从语义标注的整体框架和思路开始,阐述了建立语义索引的整个流程,评价了智能搜索引擎的检索结果,还阐述了智能搜索引擎的应用,体现了本体库与语义标注语料不断更新、进化、形成互动的过程,为专业领域的语义自动标注及智能搜索引擎的构建提供了有益的参考.
目前,笔者只在铝行业相关领域开展了智能搜索引擎的研究及应用,今后,计划在更多的领域及行业开展研究与应用.
参考文献:[1]LiuYao,SuiZhifang,ZhaoQingliang,etal.
Onautomaticconstructionofmedicalontologyconcept'sdescriptionarchitecture[J].
InternationalJournalofInnovativeComputing,InformationandControl,2012,8(5):3601-3616.
[2]LiuYao,ChenXuefei,LiSujian,etal.
Asemanticanalyzingmethodinthefieldoftechnologicalliterature[J].
ICICExpressLetters,2011,5(9):3225-3230.
[3]LiuYao,ZhaoYazhen.
Researchonancientliteraturecorpuscreationanddevelopmentofchinesetraditionalmedicine[J].
ICICExpressLetters,2009,3(4B):1227-1232.
[4]SuiZhifang,LiuYao,HuYongwei.
Extractinghyponymyrelationbetweenchinesetermsbasedontermtypes'commonality[J].
ICICExpressLetters,2009,3(4):1233-1238.
[5]KimHL,ScerriS,BreslinJG,etal.
Thestateoftheartintagontologies:Asemanticmodelfortaggingandfolksonomies[C]//Proceedingsofthe2008InternationalConferenceonDublinCoreandMetadataApplications.
Berlin:DublinCoreMetadataInitiative,2008:128-137.
[6]SpeciaL,MottaE.
IntegratingfolksonomieswiththeSemanticWeb[M]//TheSemanticWeb:researchandapplications.
SpringerBerlinHeidelberg,2007:624-639.
[7]HuangCC,ChuangSL,ChienLF.
UsingaWebbasedcategorizationapproachtogeneratethematicmetadatafromtexts[J].
ACMTransactionsonAsianLanguageInformationProcessing(TALIP),2004,3(3):190-212.
[8]McCandlessM,HatcherE,GospodneticO.
Luceneinaction:Coversapachelucene3.
0[M].
Connecticut:ManningPublicationsCo.
,2010:86-89.
[9]李鹏,王斌,石志伟,等.
TagTextRank:一种基于Tag的网页关键词抽取方法[J].
计算机研究与发展,2012,49(11):2344-2351.
[10]PérezIglesiasJ,PérezAgüeraJR,FresnoV,etal.
IntegratingtheprobabilisticmodelsBM25/BM25FintoLucene[J/OL].
[2015-02-01].
http://arxiv.
org/abs/0911.
5046.
作者贡献说明:刘耀:负责提出语义标注思想、框架及标注流程;郑德举:负责语义标注算法的代码实现;潘希阳:负责代码优化及研究应用实现;黄毅:负责实验的数据、分析及验证.
ResearchonKeyTechnologiesandApplicationofIntelligentSearchEngineLiuYao1ZhengDeju2PanXiyang1HuangYi11InstituteofScientificandTechnicalInformationofChina,Beijing1000382LanguageInformationEngineeringDepartment,PekingUniversity,Beijing100871Abstract:[Purpose/significance]TheconstructionofTechnologicalInnovationServicePlatformisheavilyreliantonintelligentsearchengine,andthekeyliesinautomaticsemanticannotation.
Whilethegeneralsearchenginecouldnotfullyfilltherequirementstheplatformasks,anditmainlydealswithtextsinprofessionalfields.
Withsemanticannotationtechnology,wecanquicklygetthedocumentsofanenterprisesemanticallyorganizedandstructuredsoastoprovidepreciseknowledgeservicestousers.
[Method/process]Thispaperconductsanindepthresearchtowardstheissuesrelatedtokeytechnologiesandapplicationofintelligentsearchengine,basedonthefactthatsemanticannotationcanbeunderstoodasthesemanticorganizationofasetofdocuments.
Therefore,thispaperproposesamethodtoautomaticallyannotatedigitaltextfragmentsbyextractingsomekeyconceptstoformaconceptsetbasedonoccurrencefrequencies,positionsandrelationsbetweenconceptsorinstances,withthehelpofstructuralsemanticconceptsresourcesorcollections.
[Result/conclusion]Then,weevaluatedtheexperimentresult,andconductedapplicationresearchinautomaticcomposition.
Atthesametime,theupdateandevolutionofontologyandsemanticallyannotatedfragmentsformavirtuouscycleofcontinuousprocessimprovement.
Thispaperaimstoprovideausefulreferencetotheautomaticsemanticannotationforprofessionalliterature.
Keywords:semanticannotationnaturallanguageprocessingtextcomprehensionsearchengine811