封面
标题 中文分词算法在自然语言处理技术中的研究及应用
Word格式可编辑含目录
精心整理放心阅读欢迎下载
文档信息
中文分词算法在自然语言处理技术中的研究及应
用
目录
2.分句处理
2. 1分句处理技术简介
2.2分句算法的设计
3.分词处理
3. 1中文分词技术简介
1)基于字符串匹配的分词算法
2)基于统计的分词方法
3)基于理解的分词方法
3.2自动分词的评价标准
一般对自动分词有三个评价标准正确率、召回率、调和平均数
3.3分词算法设计
4.结束语
正文
摘要摘 要 中文分词是自然语言处理处理的基础有着极其广泛的实际应用。可以说在各类中文信息处理软件系统中 中文
分词是不可或缺的环节。 自上个世纪末 由于互联网在中国的兴起更对中文信息处理提出要求即在语义层面上处理中文这使得中文分词算法的研究显得更加困难 中文分词技术的发展显得更为重要
关键字 中文分词 自然语言处理算法
伴随着计算机的日益普及互联网的迅猛发展文本的数量电子邮件、新闻、 网页、科技论文等在不停的增长 因而对文本作智能化处理以获取所需信息的需求日益迫切。在这样的社会需求下 自然语言处理技术的地位和作用日益重要。经过几十年的研究计算机处理自然语言的理论基础日趋成熟应用范围也越来越广初步形成了面向各种不同应用和研究的技术体系。分词作为自然语言处理的第一个步骤是其他高层应用的基础起着极其重要的作用。
2.分句处理
2. 1分句处理技术简介
分句处理就是把句子以某些特定的标点符号为分隔划分为若干个句子。根据汉语对语句、句群和篇章的定义主要以基本的标点符号句号、 问号、感叹号、分号、逗号等作为子句的分隔符。通过使用这些标点符号对语言进行计算机子句分割完成分句处理。
2.2分句算法的设计
在进行分词之前首先应对句子进行分割分为以句子为单位的一个个语句片段。因为以逗号、分号来分隔的语句通常能表达完整的语义
信息所以本文主要使用逗号、分号等标点符号也作为子句分句的分隔符号 以它们为标志进行语句的分句处理。
分句处理的具体算法设计如下
①判断答案字符串aString是否为空若为空则结束
②取aString左侧的一个字符存入tChar中判断tChar是否是句末标点符或回车符若不是转⑤
③若tChar是句末标点符号则子句数组下标加1并将字符tChar从字符串aString中删掉转①
④若tChar为回车符或者换行符去掉aString左侧两字符并将字符tChar从字符串aString中删掉转①。
⑤将tChar合并到子句数组当前元素中去掉aString左侧一字符转①。
上述算法中 aString为待处理的字符串 tChar为字符类型变量。
3.分词处理
3. 1中文分词技术简介
中文分词(Chinese Word Segmentation)指的是将一个汉字序列切分成一个一个单独的词。 中文分词是文本挖掘的基础对于输入的一
段中文成功的进行中文分词可以达到电脑自动识别语句含义的效果。 中文分词技术属于自然语言理解的研究范畴。
目前主要有三种中文词算法分别为基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。介绍如下
1)基于字符串匹配的分词算法
基于字符串匹配的分词方法也叫机械匹配法是分词技术的诸多理论算法中较简单实用的一种分词算法。它是按照一定的策略将待分析的汉字串与一个"充分大的"机器词典中的词条进行区配若在词典中找到某个字符串则匹配成功识别出一个词 。常用的几种机械分词方法如下①正向最大匹配法由左到右的方向②逆向最大匹配法由右到左的方向③最少切分使每一句中切出的词数最小还可以将上述各种方法相互组合。
2)基于统计的分词方法
在很多情况下最大匹配时即使采用双向扫描也不能检查出所有的交集型切分歧义。为了消除歧义我们还需要其他知识。这也是自然语言处理里统计方法出现的原因。这种方法只需对语料中的字组频度进行统计不需要切分词典 因而又叫做无词典分词法或统计取词方法。从形式上看词是稳定的字的组合 因此在上下文中相邻的字同时出现的次数越多就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。可以对语料中相邻共现的各个字的组合的频度进行统计计算它们的互现信息。互现信息
体现了汉字之间结合关系的紧密程度。当紧密程度高于某一个阈值时便可认为此字组可能构成了一个词。
3)基于理解的分词方法
通常的分析系统都力图在分词阶段消除所有歧义切分现象。而基于理解的分词方式则在后续过程中来处理歧义切分问题其切分过程只是整个语言理解过程的一小部分。其基本思想就是在分词的同时进行句法、语义分析利用句法信息和语义信息来处理歧义现象。它通常包括三个部分分词子系统、句法语义子系统、总控部分。在总控部分的协调下分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断 即它模拟了人对句子的理解过程。
目前无法作出结论证明以上三个算法中哪一个是最好的针对具体问题采用不同的算法。这三种算法都有自己的利弊它们的对比见表1所示
<table style="border-right:medium none;border-top:mediumnone;border-left:medium none;width:428. 3pt;border-bottom:medium none;border-collapse:collapse;mso-border-alt:solid windowtext 1.5pt;mso-border-iideh: . 5pt solidwindowtext;mso-border-iidev: .5pt solid windowtext;mso-padding-top-alt:0cm;" cellspacing="0" cellpadding="0"width="571" border="1"><tr style="height:25.5pt;mso-yfti-irow:0;mso-yfti-fitrow:yes;mso-height-rule:exactly;"><td
style="border-right:windowtext 1pt solid;padding-right:5.25pt;border-top:windowtext 1.5pt solid;padding-left:5.25pt;padding-bottom:0.75pt;border-left:windowtext
1.5pt solid;width:94.5pt;padding-top:0. 75pt;border-bottom:windowtext 1pt solid;height:25.5pt;background-color:traparent;mso-border-left-alt: 1.5pt;mso-border-top-alt: 1.5pt;mso-border-bottom-alt: .5pt;mso-border-right-alt: .5pt;mso-height-rule:exactly;mso-border-color-alt:windowtext;mso-border-style-alt:solid;" width="126">分词方法<?xml:namespace prefix = o = "urn:schemas-microsoft-com:off ice:office" />
基于字符串匹配分词
基于统计的分词
基于理解的分词
歧义识别
新词识别
需要词典
需要
不需要
不需要
需要语料库需要规则库算法复杂性容易
一般
很难
技术成熟度成熟
成熟
不成熟
实施难度容易
一般
很难
分词准确性
一般
较准
准确
分词速度
一般
表1三种算法优劣比较
3.2自动分词的评价标准
一般对自动分词有三个评价标准正确率、召回率、调和平均数。其定义如下
由定义可见分词正确率和分词召回率是互相矛盾的要得到高的分词召回率需保留多个分词结果以保证更大可能地包含正确的结果而这样却会降低分词正确率。所以引入了调和平均数作为评价参数。
3.3分词算法设计
英文是以词为单位的词和词之间是靠空格隔开而中文是以字为单位句子中所有的字连起来才能描述一个意思。
