关系的中文

领域自适应的中文实体关系抽取研究导师:秦兵教授学生:王莉峰大纲绪论关系类型发现关系种子集抽取关系描述模式挖掘结论问题的提出现有的关系抽取方法存在一些问题人工参与较多预先定义关系类型体系构建标注语料库构造关系种子集可移植性差集中在特定领域的关系抽取不适用于海量、多样化的Web信息抽取需求领域自适应的研究相对滞后2007年Banko提出了OpenIE的概念领域自适应的中文关系抽取研究较少解决思路领域自适应的中文实体关系抽取研究框架只需一定规模的未标注语料库作为输入最大程度避免人工参与提高关系抽取自动化程度增强可移植性,扩大应用范围关键技术关系类型自动发现关系种子集自动构建关系描述模式挖掘关系元组抽取数据存储及可视化关系实例抽取上下文模式生成模式泛化与过滤基于Bootstrapping的关系描述模式挖掘领域自适应的中文实体关系抽取存储与可视化大规模网页库实体关系知识库Web检索和问答系统元组抽取与评价大纲绪论关系类型发现关系种子集抽取关系描述模式挖掘结论关系类型发现(1)语言现象绝大多数产生关系的实体对均可以由其上下文中的一般动词和一般名词触发描述统称为特征词(FeatureWord,FW)主要思想以实体对类型为单位进行处理——领域如"人名—人名"、"人名—机构名"基于大规模语料库统计,抽取与特定实体对类型相关度较大的特征词集利用语义词典计算特征词之间的相似度特征词聚类,聚类结果即为关系类型Arg1Arg2Relation王树国哈尔滨工业大学校长王树国法国荣誉勋章荣获Arg1Arg2Relation刘德华巩俐携手刘德华《我知女人心》打造巩俐《我知女人心》打造《我知女人心》博纳悠唐国际影城首映PERLOCORGMISCFW哈尔滨工业大学校长王树国荣获法国荣誉勋章.
巨星刘德华携手巩俐等人气明星打造的都市爱情大片《我知女人心》在博纳悠唐国际影城正式首映.
关系类型发现(2)基于特征词聚类的关系类型发现网页库正文抽取文本处理种子实体抽取特征词抽取特征词聚类关系类型体系特征词集语义词典关系类型发现(3)特征词抽取抽取由种子实体形成的高频实体对及其句子集统计与高频实体对共现的动、名词使用启发式通用规则过滤,得到候选特征词必须出现在实体对之间动词细分类,仅保留一般动词名词细分类,仅保留一般名词动词必须满足与实体对中的任一实体存在主谓关系SBV或动宾关系VOB计算候选特征词与实体对类型相关度,取Top-KFreqT(wk)和FreqA(wk)分别表示wk在特定实体对类型上下文中和整个语料库中的出现频率关系类型发现(4)特征词聚类相似度计算基于HowNet相同义原个数基于《同义词词林(扩展版)》树距离语义代码是否相同(如level=3、4)聚类算法层次聚类HAC(singlelink、completelink、averagelink)AffinityPropagation(AP),Science2007提出语义代码直接聚类(只针对语义代码相似度)Ni和Nj分别为wi和wj义原个数,NCij为相同义原个数关系类型发现(5)语料库获取RE100W:9个门户网站的100W娱乐资讯网页实验实体对类型人名—人名,即人物社会关系抽取测试数据多人协作构建标准聚类结果共1,225个特征词,256类评价标准F值纯度Purity关系类型发现(6)大纲绪论关系类型发现关系种子集抽取关系描述模式挖掘结论关系种子集抽取(1)人工构建关系种子集存在的问题关系类型繁多,完全依靠人工选择困难难以保证种子覆盖面投入成本较大,可移植性差主要思想关系表示成三元组:e1为种子实体,e2未知R为关系类型,对应一个特征词集合将e2槽填充问题看作事实型答案抽取问题利用搜索引擎收集和处理海量数据的能力和优势基于WebMining方法抽取答案e2关系种子集抽取(2)基于WebMining的关系种子集抽取查询构造查询扩展网页检索答案抽取问答系统检索系统页面摘要关系种子集抽取(3)查询构造根据e2类型,定义启发式规则,构造基本查询查询扩展借助问答系统百度知道扩展查询相关性排序问句列表针对单个问句的相似问题推荐名词性特征词的查询构造规则e1+""+fw,例如:周杰伦父亲,周杰伦老爸fw+""+e1,例如:父亲周杰伦,老爸周杰伦e1+fw+是谁,例如:周杰伦的父亲是谁,周杰伦的老爸是谁谁是+e1+的+fw,例如:谁是周杰伦的父亲,谁是周杰伦的老爸动词性特征词的查询构造规则e1+""+fw,例如:赵薇饰演,赵薇出演fw+""+e1,例如:饰演赵薇,出演赵薇关系种子集抽取(4)网页检索百度网页:snippet百度新闻:snippet百度知道:snippet,最佳答案答案抽取基于频率统计的方法(baseline)基于上下文模式的方法基于频率统计与上下文模式相结合的方法关系种子集抽取(5)基于上下文模式的方法权威媒体TVBS娱乐记者正式对外公布了周杰伦的父亲周耀中的一篇关于杰伦身世之迷的博客文章.
对外/v公布/v了/u周杰伦/Nh的/u父亲/n周耀中/Nh的/u一篇/Nm关于/p对外/v公布/v了/u[SLOT1]/Nh的/u父亲/n[SLOT2]/Nh的/u/Nm关于/p关系实例候选上下文模式上下文模式cP为上下文模式Freq(cP)为上下文模式出现频率关系种子集抽取(6)基于频率统计与上下文模式相结合的方法关系种子集抽取(7)实验数据种子实体e1:Top-500关系类型R:9种评价标准每类随机选取100个进行人工评价准确率、平均准确率不直接评价召回率,通过关系种子总数间接反映夫妻关系、经纪人关系、合作关系情侣关系、父母-子女、好友关系角色扮演、兄弟姐妹、伯乐关系大纲绪论关系类型发现关系种子集抽取关系描述模式挖掘结论关系描述模式挖掘(1)基于Bootstrapping的关系描述模式挖掘关系元组模式泛化关系实例抽取上下文模式生成模式过滤关系描述模式大规模语料库特征词集关系元组集候选元组抽取元组过滤关系描述模式挖掘(2)上下文模式生成梁朝伟和刘嘉玲自本月21日于不丹正式结婚后,24日早上首次公开露面.
梁朝伟和刘嘉玲7月21日将于不丹完婚.
梁朝伟/Nh和/c刘嘉玲/Nh自/p本月21日/Nr于/p不丹/Ns正式/a结婚/v梁朝伟/Nh和/c刘嘉玲/Nh7月21日/Nr将/d于/p不丹/Ns完婚/v.
/wp{结婚,完婚}[SLOT1]/Nh和/c[SLOT2]/Nh自/p/Nr于/p/Ns正式/a/Ed53A结婚/v/Hj51C[SLOT1]/Nh和/c[SLOT2]/Nh/Nr将/d于/p/Ns完婚/v/Hj51C.
/wp关系实例候选上下文模式上下文模式关系描述模式挖掘(3)软模式生成对任意两个上下文模式计算最佳匹配长度(带权重的最长公共子序列)匹配度J定义为:仅当匹配度大于阈值minJaccard时,用于生成软模式,即构造最长公共子序列cPicPj代价[SLOT1]/Nh[SLOT1]/Nh0和/c和/c0[SLOT2]/Nh[SLOT2]/Nh0自/p10/Nr/Nr0将/d10于/p于/p0/Ns/Ns0正式/a/Ed53A10结婚/v/Hj51C完婚/v/Hj51C5.
/wp10上下文模式最佳匹配过程J=7/(9+9-7)=0.
636关系描述模式挖掘(4)软模式生成及元组抽取*[SLOT1]/Nh和/c[SLOT2]/Nh*/Nr*于/p/Ns*结婚/v/Hj51C*[SLOT1]/Nh和/c[SLOT2]/Nh自/p/Nr于/p/Ns正式/a/Ed53A结婚/v/Hj51C[SLOT1]/Nh和/c[SLOT2]/Nh/Nr将/d于/p/Ns完婚/v/Hj51C.
/wp软模式关系元组上下文模式李亚鹏和王菲昨日于乌鲁木齐正式登记结婚,两人爱情终于修得正果!
"关系实例李亚鹏/Nh和/c王菲/Nh昨日/Nt于/p乌鲁木齐/Ns正式/a/Ed53A登记/v/Hc15A结婚/v/Hj51C,/wp上下文模式关系描述模式挖掘(5)关系元组评价新抽取元组将作为下一轮迭代的种子过滤噪声元组,避免错误蔓延现象根据关系元组与特征词fw共现情况,定义元组T可信度计算公式:仅保留可信度大于阈值minTupleConf的元组关系描述模式挖掘(6)实验数据RE100W:100W娱乐资讯网页关系类型:9种关系种子:基于WebMining方法自动获取评价标准每类随机选取100个进行人工评价准确率、平均准确率不直接评价召回率,通过关系元组总数间接反映夫妻关系、经纪人关系、合作关系情侣关系、父母-子女、好友关系角色扮演、兄弟姐妹、伯乐关系关系描述模式挖掘(7)四组对比实验(根据关系元组过滤时机)B:在迭代过程中不采取任何过滤措施B+F1:每一轮获取的元组全部进入下一轮迭代,最后对获取的所有元组进行过滤B+F2:每一轮都对获取的元组进行过滤,可信度超过某一阈值的元组进入下一轮迭代,而低于可信度阈值的元组直接作为最终结果B+F1+F2:每一轮都对获取的元组进行过滤,可信度超过某一阈值的元组进入下一轮迭代,舍弃低于可信度阈值的元组大纲绪论关系类型发现关系种子集抽取关系描述模式挖掘结论结论提出了全新的领域自适应的关系抽取研究框架提出了基于特征词聚类的关系类型发现提出了基于WebMining的关系种子集抽取采用了基于Bootstrapping的关系描述模式挖掘提出了裁剪的上下文模式表示方法提出了基于最佳匹配的软模式生成策略搭建了人物社会关系抽取演示系统人脉搜索请各位老师批评指正谢谢!