分词分词技术

第34卷第8期2009年8月武汉大学学报·信息科学版GeomaticsandInformationScienceofWuhanUniversityVol.
34No.
8Aug.
2009收稿日期:2009205220.
项目来源:国家863计划资助项目(2006AA12Z209,2007AA12Z241);国家自然科学基金资助项目(40871184);中国科学院知识创新工程重点方向性资助项目(KZCX22YW2308).
文章编号:167128860(2009)0820943205文献标志码:A一种中文自然语言表达交通信息的跨阶分词算法陆锋1刘焕焕1,2陈传彬1,3(1中国科学院地理科学与资源研究所资源与环境信息系统国家重点实验室,北京市朝阳区大屯路甲11号,100101)(2中国矿业大学(北京)资源与安全工程学院,北京市海淀区学院路丁11号,100083)(3福州大学福建省空间信息工程研究中心,福州市工业路523号,350002)摘要:在分析中文分词算法和交通信息自然语言表达特点基础上,提出了一种自然语言表达交通信息的跨阶匹配分词算法,以适应动态出行信息服务对数字形式结构化实时交通信息的迫切需求.
该算法充分考虑了交通信息自然语言描述词库记录长度特点,通过设置对应的中文分词阶数,将传统中文分词的字符串指针1阶跨越方法改进为依词库性质变化的多阶跨越方法,对可能成词的中文字符串进行整体处理,极大地提高了自然语言表达交通信息的实时分词与理解效率.
通过与改进MM(maximummatching)算法的实验比较,本方法在理解成功率和容错性相同的情况下,效率比MM分词算法提高了10倍以上.
关键词:交通信息;中文自然语言处理;分词;跨阶法中图法分类号:P208目前,实时交通信息采集和发布技术在各大城市日趋成熟,对提高城市交通管理和公众出行效率起到了很大的作用.
然而,来源于浮动车和感应线圈采集的交通流信息,难以覆盖整个路网,也难以获取突发性点状交通信息;来源于短信息、电话、监控摄像头的交通信息目前只能通过人工处理方式加以利用,或直接通过语音广播形式发送,并且发送量十分有限,无法服务于日益普及的动态导航过程.
因此,迫切需要开展自然语言表达交通信息的实时分词技术研究,进而与路网空间信息进行实时融合,通过各种通讯协议发布,服务于广大的交通出行者.
目前的中文分词算法主要有以下三种[125]:①机械分词法.
又称词典式切分法,包括最大匹配法(MM算法)、部件词典法、词频统计法、设立标志法、并行分词法、词库划分和联想匹配法等.
②语义分词法.
切分时引入语义分析,如邻接约束法、综合匹配法、后缀分词法、特征词库法、约束矩阵法、语法分析法等.
③人工智能法.
模拟人脑思维功能进行分词,如神经网络分词法和专家系统分词法.
目前,各种流行的分词算法有着不同的技术特点和适应性.
机械分词法较为简洁,易于实现,尤其是最大匹配法及其改进算法,在工程上得到了广泛的应用[628].
但机械分词法难以处理未登录词,无法有效克服歧义切分.
语义分词法切分精度较高,但在引入了语义分析的同时也增大了时空开销.
人工智能法研究还处于初步阶段,效率不高,不易实现.
由于目前还不能达到真正意义上的自然语言理解,对于特定的应用领域,可以根据自然语言描述的规则,建立受限语法规则,获取输入自然语言中的关键字词信息[9,10].
因此,对于中文自然语言表达交通信息的自动化理解,应当根据交通信息自然语言表达的特点,开展分词方法研究.
从应用特点上看,交通信息具有很强的实时性,只关心能否快速、正确地处理地点、方向、数值偏移量、事件等类型的关键词汇,忽略无关词汇.
自然语言理解过程对分词算法的时间效率要求较高.
从信息特征上看,交通信息描述较为简短,采用规范的陈述句句型,关键词汇具有长词优先的特点,存在较少的理解歧义.
此外,由于理解目的在于和空间信息匹配,所有涉及的地址、方位和事件词汇已经在武汉大学学报·信息科学版2009年8月词汇库中存在,不需要考虑未登录词的处理.
因此,比较适合采用机械分词法中的匹配方法.