中文分词工具

第51卷第1期Vol.
51No.
1山东大学学报(理学版)JournalofShandongUniversity(NaturalScience)2016年1月Jan.
2016收稿日期:20150918;网络出版时间:2015121416∶19∶39网络出版地址:http://www.
cnki.
net/kcms/detail/37.
1389.
N.
20151214.
1619.
004.
html基金项目:国家自然科学基金资助项目(61170112)作者简介:马丽菲(1991—),女,硕士研究生,CCF会员,研究方向为数据挖掘、文本挖掘.
Email:mali_fei@163.
com通讯作者:莫倩(1972—),男,博士研究生,副教授,CCF高级会员,研究方向为互联网信息挖掘、深度搜索引擎、知识管理.
Email:moqian@btbu.
edu.
cn文章编号:16719352(2016)01005206DOI:106040/j.
issn.
1671935212015062面向中文短影评的分类技术研究马丽菲,莫倩,杜辉(北京工商大学计算机与信息工程学院,北京100048)摘要:针对电影影评语句短小、特征矩阵稀疏问题,提出一种利用本体扩展特征矩阵的方法.
首先通过传统与新型文本分类方法的比较和分析,发现适合中文短影评的分类方法,并通过试验证明决策树的短文本分类效果优于SVM、Bayes和KNN等文本分类方法,然后进一步利用决策树分类本体扩展后的特征向量.
试验表明,基于本体扩展的中文短影评的分类效果比传统的分类效果提高3%,查准率达到901%.
关键词:中文短影评;分类;决策树;本体中图分类号:TP391文献标志码:A引用格式:马丽菲,莫倩,杜辉.
面向中文短影评的分类技术研究[J].
山东大学学报(理学版),2016,51(1):5257.
ResearchonclassificationforChineseshortfilmreviewsMALifei,MOQian,DUHui(SchoolofComputerandInformationEngineering,BeijingTechnologyandBusinessUniversity,Beijing100048,China)Abstract:Aimingattheproblemsoffilmreviewsthatthesentencesareshortandcharacteristicsmatrixissparse,amethodusingontologytoexpandthematrixwasproposed.
Throughcomparisonandanalysisoftraditionalanddevelopmentaltextclassificationmethods,asuitablewayforChineseshortfilmreviewsclassificationwasfound.
TheexperimentresultsprovedthatthedecisiontreeisbetterthantheSVM,BayesandKNNinthisessay,andthedecisiontreeclassifierwasfurtherusedtoclassifythefeaturevectorsoftheontologyexpanding.
TheresultsofexperimentshowedthattheeffectofChineseshortfilmreviewsclassificationbasedontheontologyexpandingwas3%higherthanthetraditionalmethods,andtheclassificationaccuracyreached901%.
Keywords:Chineseshortfilmreviews;classification;decisiontree;ontology0引言近年来,随着社会媒体的不断发展,越来越多的人习惯通过豆瓣网、时光网等社会媒体表达自己的观影情感.
这些信息的本质是短文本的集合,并且这些中文短影评具有时效性强、文本长度短、内容稀疏、网络新词层出不穷、表达不规范、指代模糊等特点,给文本挖掘带来很大困难.
与此同时,中文短影评表达了观众对电影各方面的评价,包括导演、演员、角色、剧情、主题、背景等多角度的观影感受,中文短影评分类对用户做出选择很有帮助,用户可以通过中文短影评的分类信息选择自己感兴趣的电影,电影投资商也可以针对用户的需求改进自己的制作目标,因此有效的中文短影评的分类方法对于影评的情感分析、主题追踪等都是很有必要的.
传统的文本分类是指根据文本的内容,将大量的文本归到一个或多个类别中的过程,但是大多数都是针对长文本,然而短文本在现实生活中无处不在,如论坛、聊天记录、手机短信、微博、新闻摘要、用第1期马丽菲,等:面向中文短影评的分类技术研究53户评价、电影评论等.
常用的短文本分类方法均是采用相似性度量或者基于web核函数的方法,虽然也能实现短文本的分类,但是由于短文本的篇幅较短会造成信息量少、特征稀疏、依赖上下文等情况,传统的分类方法不能很好地解决短文本的分类问题,因此短文本的分类问题成为目前值得研究的问题[1].
支持向量机(supportvectormachine,SVM)针对传统的短文本分类效果很好,但是中文短影评是用户对电影各个角度的观影感受,具有主题复杂的特点,传统的短文本像微博、论坛具有几乎一致的主题,传统的短文本分类方法也不适合分类电影的中文短影评,因此研究针对中文短影评的分类方法具有重要的意义.
为此,本文提出一种针对中文短影评分类的本体和决策树相结合的方法.
该算法首先构建电影领域的本体,利用领域本体扩展特征词来解决特征矩阵稀疏的问题,用扩展的特征向量训练分类决策树,并基于电影中文短影评进行测试,试验表明该方法针对中文短影评分类的查准率可以达到901%.
1相关工作针对中文短文本,国内很多学者针对不同的研究领域提出了很多分类方法.
文献[2]利用知网的上下位关系有效补充了短文本语义信息量.
文献[3]提出基于维基百科的短文本分类方法.
文献[4]针对档案领域的短文本分类,设计一种基于概念网络的自动分类方法.
文献[5]针对问答系统提出了基于语义扩展的短文本分类方法.
文献[6]提出了一种隐含主题的短文本分类方法,这种方法可以处理矩阵稀疏的问题,但针对电影中文短影评效果不是很好.
文献[7]提出了一种针对短文本的动态组合分类算法,可以有效缓解短文本特征稀疏和样品高度不均衡对分类性能的影响.
文献[8]提出了使用概念描述的中文短文本分类算法.
文献[9]提出了采用正则表达式作为规则生成工具,对大规模短文本进行过滤.
文献[10]借助知网提出基于领域词语本体的短文本分类方法.
文献[11]将产品评论中的产品特征、观点词作为语义内容,并将语义内容数量和评论内容文本长度加到分类特征进行产品评论的挖掘.
文献[12]提出将不规范的短文本规范化,然后从规范的短文本中抽取特征串表征短文本.
文献[13]提出了一种基于语义的短文本分类算法,利用中文短文本概念所包含的语义信息有效提高中文短文本特征的语义表达能力.
文献[14]采用"字"作为短文本的特征进行表示,并结合共现信息量,使得特征字更全面地表达出短文本语义信息.
文献[15]提出了一种结合维基百科进行特征扩展以辅助中文短文本分类算法.
文献[16]通过抽取每个类别的高频词作为向量空间模型的特征空间,提出来一种基于线性判别式分析(lineardiscriminantanalysis,LDA)的高频词扩展的中文短文本分类算法.
文献[17]针对中文短文本篇幅较短、特征稀疏性等特征,提出了一种基于隐含狄利克雷分布模型的特征扩展的短文本分类方法.
中文短文本由于长度短,很难挖掘出有效特征和有价值的信息,目前有关中文短文本的研究多数是以关键词作为文本特征进行表示,由于短文本内容少、词汇量少,关键词的提取容易遗失文本信息.
对于中文短影评分类,特征向量空间的高维度和矩阵稀疏等是处理分类的难点,目前虽然已经提出了很多处理矩阵稀疏的问题,但由于电影中文短影评与其他短文本不同,没有统一的主题,因此分类效果不理想.
2传统文本分类算法比较目前,电影中文短影评研究中没有公开可用的数据集,为验证中文短影评的分类效果,需要从网络中抽取相关的数据集.
本试验采用的数据为豆瓣上的中文短影评.
首先从豆瓣的中文短影评搜集整理中文短影评文本数据,并对所有的中文短影评利用kettle[18]处理,去除语言格式不规范、内容重复的文本,转换成统一格式,最终选取100部电影的中文短影评,随机抽取其中的部分数据作为训练测试数据,相关中文短影评数据的数量如表1所示.
表1试验相关数据Table1Theexperimentaldata分类数据数量/篇爱情动作喜剧励志动漫战争青春感人训练集11321095219196181216270测试集118200107190200210200275数据的预处理对于分类的效果有很重要的影响,本文采用中科院ICTCLAS分词工具实现中文分词和停用词的处理[19],这些词作为向量的维数来表示文本,最初的向量表示完全是0、1形式,即如果54山东大学学报(理学版)第51卷中文短影评中出现该词,那么文本向量的该维为1,否则为0[20].
这种方法无法体现这个词在文本分类中的重要程度,所以本文使用tfidf算法作为计算特征权向量的函数,tfidf算法在信息检索领域和信息处理领域广泛应用,其经典的计算公式为:Wij=tfijidfj=ijijlg(N/nj),式中:Wij是某字词对于一个文件集或一个语料库中的其中一份文件的重要程度;tfij是特征tj在文档中di中出现的频率;idfj是一个词语普遍重要性的度量,由总文件数除以包含该词语的文件数然后取对数得到;N为总文件数;nj为出现特征项tj的文件数[21].
本次试验将中文短影评的类别标签分为8类(爱情影评、动漫影评、励志影评、喜剧影评、青春影评、悲剧影评、战争影评、动作影评)进行标注.
训练集和测试集分别为1500篇中文短影评,不同分类器的分类结果如表2所示.
表2不同分类器分类效果对比Tab.
2Contrasteffectofdifferentclassifiers分类器PrecisionRecallFmeasurelibSVM074707410744SMO080907830796NaveBayes056005580559NaveBayesMultinomial067306700671KNN056705060535决策树(C45)087308550864对表2的试验结果分析可知,传统的分类方法SVM等对于电影短文本的分类效果并不很理想,而决策树的分类效果明显好于SVM等分类算法.
短文本的分类问题不同于长文本,短文本没有大量的语料为分类器学习,因此对于长文本分类效果很好的SVM算法没有决策树理想.
决策树的建立是一种自上而下、分而治之的归纳过程,按照各个特征的不断划分生成决策树,可以抽取出决策树表示的分类知识并可用ifthen的分类规则形式化予以表示(其中ifthen可以是1个或多个),因此决策树不强调分类属性集的大小,只要找到满足分类依据的分类属性就能完成分类.
决策树能够对不完整数据进行处理,并且可以处理具有缺少属性值的训练样本集.
传统的短文本有一致的主题,而电影中文短影评存在主题不一致、特征矩阵稀疏等问题,传统的决策树分类方法不能很好地解决这一问题.
本文提出了一种新的本体+决策树的中文短影评分类方法.
3本体+决策树方法决策树是一种树状结构,从根节点开始,对数据样本(由影评组成,每条影评含有若干属性)进行测试,根据不同的结果将影评划分成不同的数据样本子集,生成的决策树对应一个分类,构造决策树就是要找出属性和类别的对应关系,用来预测未知影评的类别,决策树的基本构造过程为:(1)根据实际的中文电影影评的数据选取合适特征集作为决策树的候选集;(2)在候选集中选择最有分类能力的属性作为当前决策树结点的分裂依据,结点中选择的属性为测试属性;(3)根据当前决策节点属性取值的不同,将训练数据集划分为若干子集;(4)根据数据的类别标签,确定叶节点的类别.
本体是概念和关系的集合,是对领域知识概念的抽象和描述.
利用本体,可以让人、数据库和应用软件来共享、重用领域知识[22].
领域本体的构造方法有很多,本文通过分析中文短影评的特点,利用斯坦福大学的protégé构建中文短影评本体模型,如图1所示.
图1中文短影评本体模型Fig.
1TheontologymodelofChineseshortfilmreviews第1期马丽菲,等:面向中文短影评的分类技术研究55利用知网对特征词进行语义和概念的扩展,使电影中文短影评的特征词不再是孤立的词,而是由原始特征词根据本体扩展的具有相似含义的特征词的集合.
特征词的扩展步骤为:(1)对中文短影评语料进行预处理,根据中科院ICTCLAS分词软件进行中文分词和去停用词操作,使用tfidf函数统计中文短影评高频特征词;(2)定义阈值T,过滤掉词频不大于T的所有特征词,得到初始的特征词本体库;(3)根据初始特征词,利用知网进行特征词扩展,找到在知网中初始特征的所有相似概念,假设特征词为K1,K2,K3,…,Kn,则利用知网对每个特征词扩展的结果为K1(concept1|concept2|concept3|…|conceptn),K2(concept1|concept2|concept3|…|conceptn),…,Kn(concept1|concept2|concept3|…|conceptn),经过扩展后的每个特征词都是一个特征词集合,也即将短文本扩展为长文本;(4)本体的树形结构能够反映概念之间的层次关系,因此可以为特征词的语义相似度匹配提供基础.
按照以上步骤,可以得到经过扩展的中文短影评的特征词集合,从而解决特征矩阵稀疏的问题.
例如:感人的电影影评可以通过知网将感人、太感人了、好伤心、好难过、哭死等扩展到特征向量,从而将短文本扩展为长文本.
中文短影评的分类步骤为:(1)训练集和测试集的数据预处理;(2)领域本体扩展词汇表;(3)根据扩展词汇构建特征向量;(4)根据决策树对扩展后的中文短影评特征向量分类.
具体的中文短影评分类模型如图2所示.
图2基于本体和决策树的中文短影评分类模型Fig.
2Theshortfilmreviewsclassificationmodelbasedonontologyandthedecisiontree中文短影评要用简短的文字表达完整的意思,所以中文短影评中的每个词包含了相对丰富的含义,本文提出的模型便是根据领域本体模型对中文短影评中的主要词进行语义扩展,构成一个相对较长的文本,解决特征向量稀疏问题.
首先,对于训练集中的中文短影评,将其进行分词并过滤停用词,则中文短影评被分割成不含停用词的词组(k1,k2,…,kn),将词组中的每个词参照本体模型进行概念扩展组成新的词组(m1,m2,…,mn).
对于每条待分类的中文短影评,同样也进行分词、过滤停用词处理,然后使用处理后的待分类中文短影评的扩展词汇构建特征向量.
利用本体构建扩展词汇表,对短文本分类模型改进,与传统分类模型相比,领域本体分类模型具有特征扩展、词义消歧、同义词识别、潜在语义信息挖掘、流行词识别等作用.
利用决策树对扩展的特征向量进行分类的准确率得到进一步提高.
4试验结果与分析41试验结果试验步骤和传统的对比试验相同,只是使用了本文提出的本体+决策树的方法对训练集进行训练,通过扩展特征词的方法对中文短影评的分类效果和原始文本分类效果最好的决策树对比,如表356山东大学学报(理学版)第51卷所示.
表3分类效果对比Table3Thecontrastofclassificationresults分类器PrecisionRecallFmeasure决策树087308550864本体+决策树090908910899表4是本文提出的分类方法对1500篇中文短影评进行分类的Precision、Recall、Fmeasure值等分类所得的每一类的具体结果.
表4决策树+本体具体分类结果Tab.
4Thedecisiontree+ontologyspecificclassificationresultsclassTPRateFPRatePrecisionRecallFmeasureROCArea爱情061600180719061606630914动作097600030976097609760988励志061200090922061207360833喜剧088200770592088207080896动漫089100120909089108990987悲剧096000070964096009620990战争089500310807089508490934青春09170006095909170938096842结果分析通过表3可以看到,本文提出的方法的查全率、查准率、F值都比传统短文本分类方法好.
通过分析语料发现,由于中文短影评来自豆瓣等网友自由评论的平台,不免会存在大量信息不足、表达不明确的特点,通过对中文短影评进行分词并去除停用词之后,由于关键词很少,因此试验效果不理想.
而本文针对特征矩阵稀疏问题提出了本体扩展特征语料的方法,充分挖掘每个词的含义,将中文短影评分类问题扩展为长影评分类问题.
并且本文使用决策树算法C45[23],C45的结构是一棵多叉树,利用信息增益率选择数据属性,克服了利用信息增益选择属性时偏向于优先选择有较多可能取值的属性的不足,而且C45在建造决策树的过程中进行剪枝,以免树的过度拟合.
一棵决策树可以转化成一系列的ifthen的关联规则,决策树把训练数据分割成不相交的子集,叶子节点代表关联规则的结果,并且决策树也适合处理非离散的数据,从而适合处理短文本的分类.
文本将本体和决策树相结合,提高了中文短影评的分类效果.
通过表4具体分类结果对比可以看到,因为类别不同,分类的准确性也有明显的差异,喜剧片的查准率相对最低,爱情片的查全率最低,这也说明分类的准确性也受到分类数据的影响.
5结语本文提出了一种高效的中文短影评分类算法,此算法通过分析每个特征词的深层次含义,利用本体将短文本扩展为长文本,再利用传统的文本分类算法进行分类,相对于传统的分类算法,查准率等有明显的提高.
利用本体对中文短文本进行知识扩展,可有效解决文本较短、特征稀疏的问题.
然而由于语言信息的复杂性和灵活性,需要不断地探索和完善.
所建立的电影本体只是初型,随着越来越多的电影的不断出现,要从更多的语义方面进一步优化和扩充电影词语本体,另外需要人工过滤掉本体中一些对分类作用不大的虚词以及特征词的不断更新和扩充.
与长文本相比,短文本描述的信息弱、噪声数据多,并且由于中文短影评语句长度的限制,使得利用上下文理解语句的方式变得很困难,因此进一步研究基于语义处理短文本的方法是很重要的.
针对分类的影评数据进行用户的情感识别,利用大量的中文短影评数据挖掘出有价值的信息很困难.
因此,本文为后续分析用户的情感做了准备并且也是我们未来研究的重点.
参考文献:[1]姜英杰.
基于本体的短文本分类研究[D].
长春:东北师范大学,2010.
JIANGYingjie.
Researchonontologybasedshorttextclassification[D].
Changchun:NortheastNormalUniversity,2010.
[2]王盛,樊兴华.
利用上下位关系的中文短文本分类[J].
计算机应用,2010,30(3):603606.
WANGSheng,FANXinghua.
Chineseshorttextclassificationbasedonhyponymyrelation[J].
JournalofComputerApplications,2010,30(3):603606.
[3]范云杰.
基于维基百科的中文短文本分类研究[D].
西安:西安电子科技大学,2013.
FANYunjie.
ResearchonChineseshorttextclassificationbasedonwikipedia[D].
Xian:XidianUniversity,2013.
[4]林小俊,张猛,暴筱,等.
基于概念网络的短文本分类方法[J].
计算机工程,2010,36(21):46.
LINXiaojun,ZHANGMeng,BAOXiao,etal.
Shorttextclassificationmethodbasedonconceptnetwork[J].
ComputerEngineering,2010,36(21):46.
[5]冶忠林,杨燕,贾真,等.
基于语义扩展的短问题分类[J].
计算机应用,2015,35(3):792796.
YEZhonglin,YANGYan,JIAZhen,etal.
Shortquestionclassificationbasedonsemanticextensions[J].
Jour第1期马丽菲,等:面向中文短影评的分类技术研究57nalofComputerApplications,2015,35(3):792796.
[6]PHANXH,NGUYENLM,HORIGUCHIS.
Learningtoclassifyshortandsparsetext&webwithhiddentopicsfromlargescaledatacollections[C]//Proceedingsofthe17thInternationalConferenceonWorldWideWeb.
Beijing:ACM,2008:91100.
[7]闫瑞,曹先彬,李凯.
面向短文本的动态组合分类算法[J].
电子学报,2009,37(5):10191024.
YANRui,CAOXianbin,LIKai.
Dynamicassemblyclassificationalgorithmforshorttext[J].
ActaElectronicaSinica,2009,37(5):10191024.
[8]杨天平,朱征宇.
使用概念描述的中文短文本分类算法[J].
计算机应用,2012,32(12):33353338.
YANGTianping,ZHUZhengyu.
AlgorithmforChineseshorttextclassificationusingconceptdescription[J].
JournalofComputerApplications,2012,32(12):33353338.
[9]吴薇.
大规模短文本的分类过滤方法研究[D].
北京:北京邮电大学,2007.
WUWei.
Researchonfilteractionandclassificationmethodsoflargescaleshorttext[D].
Beijing:BeijingUniversityofPostsandTelecommunications,2007.
[10]宁亚辉,樊兴华,吴渝.
基于领域词语本体的短文本分类[J].
计算机科学,2009,36(3):142145.
NINGYahui,FANXinghua,WUYu.
Shorttextclassificationbasedondomainwordontology[J].
ComputerScience,2009,36(3):142145.
[11]黄永文.
中文产品评论挖掘关键技术研究[D].
重庆:重庆大学,2009.
HUANGYongwen.
ResearchonkeyminingtechniquesofproductreviewsinChinese[D].
Chongqing:ChongqingUniversity,2009.
[12]黄永光,刘挺,车万翔,等.
面向变异短文本的快速聚类算法[J].
中文信息学报,2007,21(2):6368.
HUANGYongguang,LIUTing,CHEWanxiang,etal.
Afastclusteringalgorithmforabnormalandshorttexts[J].
JournalofChineseInformationProcessing,2007,21(2):6368.
[13]刘婧姣.
基于语义的短文本分类算法研究[D].
郑州:郑州轻工业学院,2013.
LIUJingjiao.
Thestudyofshorttextclassificationalgorithmbasedonsemantic[D].
Zhengzhou:ZhengzhouUniversityofLightIndustry,2013.
[14]崔争艳.
中文短文本分类的相关技术研究[D].
开封:河南大学,2011.
CUIZhengyan.
ResearchofChineseshorttextclassification[D].
Kaifeng:HenanUniversity,2011.
[15]赵辉,刘怀亮.
一种基于维基百科的中文短文本分类算法[J].
图书情报工作,2013,57(11):120124.
[16]胡勇军,江嘉欣,常会友.
基于LDA高频词扩展的中文短文本分类[J].
现代图书情报技术,2013,234(6):4248.
[17]吕超镇,姬东鸿,吴飞飞.
基于LDA特征扩展的短文本分类[J].
计算机工程与应用,2015,51(4):123127.
LYUChaozhen,JIDonghong,WUFeifei.
ShorttextclassificationbasedonexpandingfeatureofLDA[J].
ComputerEngineeringandApplications,2015,51(4):123127.
[18]BAUMGARTENM,GULDENRINGD,POLANDM,etal.
Embeddingselfawarenessintoobjectsofdailylifethesmartkettle[C]//Proceedingsof2010SixthInternationalConferenceonIntelligentEnvironments.
Malaysia:IEEEComputerSociety,2010:3439.
[19]薛亮.
基于SVM的中文文本分类系统的设计与实现[D].
重庆:重庆大学,2012.
XUELiang.
DesignandImplementationofChinesetextcategorizationsystembasedonsupportvectormachine[D].
Chongqing:ChongqingUniversity,2012.
[20]叶志刚.
SVM在文本分类中的应用[D].
哈尔滨:哈尔滨工程大学,2006.
YEZhigang.
ApplicationontextclassifyingWithSVM[D].
Harbin:HarbinEngineeringUniversity,2006.
[21]施聪莺,徐朝军,杨晓江.
TFIDF算法研究综述[J].
计算机应用,2009,29(6):167170.
SHICongying,XUChaojun,YANGXiaojiang.
StudyofTFIDFalgorithm[J].
JournalofComputerApplications,2009,29(6):167170.
[22]CASTELLSP,FERNANDEZM,VALLETD.
Ansdaptationofthevectorspacemodelforontologybasedinformationretrieval[J].
IEEETransactionsonKnowledge&DataEngineering,2007,19(2):261272.
[23]QUINLANJR.
C45:programsformachinelearning[M].
SanFrancisco:MorganKaufmannPublishersInc,1993.
(编辑:李晓红)