分词中文分词算法在自然语言处理技术中的研究及应用

分词技术  时间:2021-02-09  阅读:()

封面

标题 中文分词算法在自然语言处理技术中的研究及应用

Word格式可编辑含目录

精心整理放心阅读欢迎下载

文档信息

中文分词算法在自然语言处理技术中的研究及应

目录

2.分句处理

2. 1分句处理技术简介

2.2分句算法的设计

3.分词处理

3. 1中文分词技术简介

1)基于字符串匹配的分词算法

2)基于统计的分词方法

3)基于理解的分词方法

3.2自动分词的评价标准

一般对自动分词有三个评价标准正确率、召回率、调和平均数

3.3分词算法设计

4.结束语

正文

摘要摘 要 中文分词是自然语言处理处理的基础有着极其广泛的实际应用。可以说在各类中文信息处理软件系统中 中文

分词是不可或缺的环节。 自上个世纪末 由于互联网在中国的兴起更对中文信息处理提出要求即在语义层面上处理中文这使得中文分词算法的研究显得更加困难 中文分词技术的发展显得更为重要

关键字 中文分词 自然语言处理算法

伴随着计算机的日益普及互联网的迅猛发展文本的数量电子邮件、新闻、 网页、科技论文等在不停的增长 因而对文本作智能化处理以获取所需信息的需求日益迫切。在这样的社会需求下 自然语言处理技术的地位和作用日益重要。经过几十年的研究计算机处理自然语言的理论基础日趋成熟应用范围也越来越广初步形成了面向各种不同应用和研究的技术体系。分词作为自然语言处理的第一个步骤是其他高层应用的基础起着极其重要的作用。

2.分句处理

2. 1分句处理技术简介

分句处理就是把句子以某些特定的标点符号为分隔划分为若干个句子。根据汉语对语句、句群和篇章的定义主要以基本的标点符号句号、 问号、感叹号、分号、逗号等作为子句的分隔符。通过使用这些标点符号对语言进行计算机子句分割完成分句处理。

2.2分句算法的设计

在进行分词之前首先应对句子进行分割分为以句子为单位的一个个语句片段。因为以逗号、分号来分隔的语句通常能表达完整的语义

信息所以本文主要使用逗号、分号等标点符号也作为子句分句的分隔符号 以它们为标志进行语句的分句处理。

分句处理的具体算法设计如下

①判断答案字符串aString是否为空若为空则结束

②取aString左侧的一个字符存入tChar中判断tChar是否是句末标点符或回车符若不是转⑤

③若tChar是句末标点符号则子句数组下标加1并将字符tChar从字符串aString中删掉转①

④若tChar为回车符或者换行符去掉aString左侧两字符并将字符tChar从字符串aString中删掉转①。

⑤将tChar合并到子句数组当前元素中去掉aString左侧一字符转①。

上述算法中 aString为待处理的字符串 tChar为字符类型变量。

3.分词处理

3. 1中文分词技术简介

中文分词(Chinese Word Segmentation)指的是将一个汉字序列切分成一个一个单独的词。 中文分词是文本挖掘的基础对于输入的一

段中文成功的进行中文分词可以达到电脑自动识别语句含义的效果。 中文分词技术属于自然语言理解的研究范畴。

目前主要有三种中文词算法分别为基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。介绍如下

1)基于字符串匹配的分词算法

基于字符串匹配的分词方法也叫机械匹配法是分词技术的诸多理论算法中较简单实用的一种分词算法。它是按照一定的策略将待分析的汉字串与一个"充分大的"机器词典中的词条进行区配若在词典中找到某个字符串则匹配成功识别出一个词 。常用的几种机械分词方法如下①正向最大匹配法由左到右的方向②逆向最大匹配法由右到左的方向③最少切分使每一句中切出的词数最小还可以将上述各种方法相互组合。

2)基于统计的分词方法

在很多情况下最大匹配时即使采用双向扫描也不能检查出所有的交集型切分歧义。为了消除歧义我们还需要其他知识。这也是自然语言处理里统计方法出现的原因。这种方法只需对语料中的字组频度进行统计不需要切分词典 因而又叫做无词典分词法或统计取词方法。从形式上看词是稳定的字的组合 因此在上下文中相邻的字同时出现的次数越多就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。可以对语料中相邻共现的各个字的组合的频度进行统计计算它们的互现信息。互现信息

体现了汉字之间结合关系的紧密程度。当紧密程度高于某一个阈值时便可认为此字组可能构成了一个词。

3)基于理解的分词方法

通常的分析系统都力图在分词阶段消除所有歧义切分现象。而基于理解的分词方式则在后续过程中来处理歧义切分问题其切分过程只是整个语言理解过程的一小部分。其基本思想就是在分词的同时进行句法、语义分析利用句法信息和语义信息来处理歧义现象。它通常包括三个部分分词子系统、句法语义子系统、总控部分。在总控部分的协调下分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断 即它模拟了人对句子的理解过程。

目前无法作出结论证明以上三个算法中哪一个是最好的针对具体问题采用不同的算法。这三种算法都有自己的利弊它们的对比见表1所示

<table style="border-right:medium none;border-top:mediumnone;border-left:medium none;width:428. 3pt;border-bottom:medium none;border-collapse:collapse;mso-border-alt:solid windowtext 1.5pt;mso-border-iideh: . 5pt solidwindowtext;mso-border-iidev: .5pt solid windowtext;mso-padding-top-alt:0cm;" cellspacing="0" cellpadding="0"width="571" border="1"><tr style="height:25.5pt;mso-yfti-irow:0;mso-yfti-fitrow:yes;mso-height-rule:exactly;"><td

style="border-right:windowtext 1pt solid;padding-right:5.25pt;border-top:windowtext 1.5pt solid;padding-left:5.25pt;padding-bottom:0.75pt;border-left:windowtext

1.5pt solid;width:94.5pt;padding-top:0. 75pt;border-bottom:windowtext 1pt solid;height:25.5pt;background-color:traparent;mso-border-left-alt: 1.5pt;mso-border-top-alt: 1.5pt;mso-border-bottom-alt: .5pt;mso-border-right-alt: .5pt;mso-height-rule:exactly;mso-border-color-alt:windowtext;mso-border-style-alt:solid;" width="126">分词方法<?xml:namespace prefix = o = "urn:schemas-microsoft-com:off ice:office" />

基于字符串匹配分词

基于统计的分词

基于理解的分词

歧义识别

新词识别

需要词典

需要

不需要

不需要

需要语料库需要规则库算法复杂性容易

一般

很难

技术成熟度成熟

成熟

不成熟

实施难度容易

一般

很难

分词准确性

一般

较准

准确

分词速度

一般

表1三种算法优劣比较

3.2自动分词的评价标准

一般对自动分词有三个评价标准正确率、召回率、调和平均数。其定义如下

由定义可见分词正确率和分词召回率是互相矛盾的要得到高的分词召回率需保留多个分词结果以保证更大可能地包含正确的结果而这样却会降低分词正确率。所以引入了调和平均数作为评价参数。

3.3分词算法设计

英文是以词为单位的词和词之间是靠空格隔开而中文是以字为单位句子中所有的字连起来才能描述一个意思。

pacificrack:2021年七夕VPS特别促销,$13.14/年,2G内存/2核/60gSSD/1T流量,支持Windows

pacificrack官方在搞2021年七夕促销,两款便宜vps给的配置都是挺不错的,依旧是接入1Gbps带宽,KVM虚拟、纯SSD raid10阵列,支持包括Linux、Windows 7、10、server2003、2008、2012、2016、2019在内多种操作系统。本次促销的VPS请特别注意限制条件,见本文末尾!官方网站:https://pacificrack.com支持PayPal、支...

hosteons:10Gbps带宽,免费Windows授权,自定义上传ISO,VPS低至$21/年,可选洛杉矶达拉斯纽约

hosteons当前对美国洛杉矶、达拉斯、纽约数据中心的VPS进行特别的促销活动:(1)免费从1Gbps升级到10Gbps带宽,(2)Free Blesta License授权,(3)Windows server 2019授权,要求从2G内存起,而且是年付。 官方网站:https://www.hosteons.com 使用优惠码:zhujicepingEDDB10G,可以获得: 免费升级10...

HostYun:联通AS9929线路,最低月付18元起,最高500Mbps带宽,洛杉矶机房

最近AS9929线路比较火,联通A网,对标电信CN2,HostYun也推出了走联通AS9929线路的VPS主机,基于KVM架构,开设在洛杉矶机房,采用SSD硬盘,分为入门和高带宽型,最高提供500Mbps带宽,可使用9折优惠码,最低每月仅18元起。这是一家成立于2008年的VPS主机品牌,原主机分享组织(hostshare.cn),商家以提供低端廉价VPS产品而广为人知,是小成本投入学习练手首选。...

分词技术为你推荐
flash导航条如何用Flash制作简单的导航栏伪静态怎么做伪静态?iphone越狱后怎么恢复已经越狱的iphone怎么恢复到原来的系统开机滚动条电脑开机有滚动条的画面xp系统停止服务XP系统停止服务后电脑怎么办?虚拟专用网拨号网络与虚拟专用网的区别系统分析员系统分析员的工作内容微信电话本怎么用怎么用微信打电话购买流量买流量怎么买怎样申请支付宝怎样申请支付宝?
域名主机空间 域名抢注工具 128m内存 godaddy优惠码 宕机监控 美国php主机 服务器日志分析 火车票抢票攻略 win8升级win10正式版 建站代码 panel1 绍兴高防 52测评网 智能骨干网 dd444 可外链相册 免费网络 ledlamp 免费稳定空间 免备案cdn加速 更多