分词工具中文分词的常见项目

为什么我下载百度关键词分词工具Excel版用不啊?

程序用到了宏，而WPS个人版(大部分人使用)是不支持宏，必须在VBA的环境下运行，建议使用Office Excel 2003以上打开。

谁来推荐一个JAVA的分词工具

java读取中文分词工具：linger Java开源中文分词器 1、word分词器 2、Ansj分词器 3、Stanford分词器 4、FudanNLP分词器 5、Jieba分词器 6、Jcseg分词器 7、MMSeg4j分词器 8、IKAnalyzer分词器 9、Paoding分词器 10、分词器

中文分词的常见项目

功能性能 功能描述：1.新词自动识别 对词典中不存在的词，可以自动识别，对词典的依赖较小； 2.词性输出 分词结果中带有丰富的词性； 3.动态词性输出 分词结果中的词性并非固定，会根据不同的语境，赋予不同的词性； 4.特殊词识别 比如化学、药品等行业词汇，地名、品牌、媒体名等； 5.智能歧义解决 根据内部规则，智能解决常见分词歧义问题； 6.多种编码识别 自动识别各种单一编码，并支持混合编码； 7.数词量词优化 自动识别数量词； 性能介绍：处理器：AMD Athlon II x2 250 3GHZ 单线程大于833KB/s，多线程安全。

一个PHP函数实现中文分词。

使分词更容易，使用如下图: Paoding（庖丁解牛分词）基于Java的开源中文分词组件，提供lucene和solr 接口，具有极 高效率和 高扩展性。

引入隐喻，采用完全的面向对象设计，构思先进。

高效率：在PIII 1G内存个人机器上，1秒可准确分词 100万汉字。

采用基于 不限制个数的词典文件对文章进行有效切分，使能够将对词汇分类定义。

能够对未知的词汇进行合理解析。

仅支持Java语言。

MMSEG4J基于Java的开源中文分词组件，提供lucene和solr 接口： 1．mmseg4j 用 Chih-Hao Tsai 的 MMSeg 算法实现的中文分词器，并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。

2．MMSeg 算法有两种分词方法：Simple和Complex，都是基于正向最大匹配。

Complex 加了四个规则过虑。

官方说：词语的正确识别率达到了 98.41%。

mmseg4j 已经实现了这两种分词算法。

盘古分词是一个基于 平台的开源中文分词组件，提供lucene( 版本) 和HubbleDotNet的接口 高效：Core Duo 1.8 GHz 下单线程 分词速度为 390K 字符每秒 准确：盘古分词采用字典和统计结合的分词算法，分词准确率较高。

功能：盘古分词提供中文人名识别，简繁混合分词，多元分词，英文词根化，强制一元分词，词频优先分词，停用词过滤，英文专名提取等一系列功能。

jcseg是使用Java开发的一个中文分词器，使用流行的mmseg算法实现。

1。

mmseg四种过滤算法，分词准确率达到了98.4%以上。

2。

支持自定义词库。

在lexicon文件夹下，可以随便添加/删除/更改词库和词库内容，并且对词库进行了分类，词库整合了《现代汉语词典》-cedict辞典。

3。

词条拼音和同义词支持，jcseg为所有词条标注了拼音，并且词条可以添加同义词集合，jcseg会自动将拼音和同义词加入到分词结果中。

4。

中文数字和分数识别，例如："四五十个人都来了，三十分之一。

"中的"四五十"和"三十分之一"，并且jcseg会自动将其转换为对应的阿拉伯数字。

5。

支持中英混合词的识别。

例如：B超，x射线。

6。

支持基本单字单位的识别，例如2012年。

7。

良好的英文支持，自动识别电子邮件，网址，分数，小数，百分数……。

8。

智能圆角半角转换处理。

9。

特殊字母识别：例如：Ⅰ，Ⅱ 10。

特殊数字识别：例如：①，⑩ 11。

配对标点内容提取：例如：最好的Java书《java编程思想》，‘畅想杯黑客技术大赛’，被《,‘,“,『标点标记的内容。

12。

智能中文人名识别。

中文人名识别正确率达94%以上。

jcseg佩带了jcseg.properties配置文档，使用文本编辑器就可以自主的编辑其选项，配置适合不同应用场合的分词应用。

例如：最大匹配分词数，是否开启中文人名识别，是否载入词条拼音，是否载入词条同义词……。

friso是使用c语言开发的一个中文分词器，使用流行的mmseg算法实现。

完全基于模块化设计和实现，可以很方便的植入到其他程序中，例如：MySQL，PHP等。

并且提供了一个php中文分词扩展robbe。

1。

只支持UTF-8编码。

【源码无需修改就能在各种平台下编译使用，加载完20万的词条，内存占用稳定为14M。

】。

2。

mmseg四种过滤算法，分词准确率达到了98.41%。

3。

支持自定义词库。

在dict文件夹下，可以随便添加/删除/更改词库和词库词条，并且对词库进行了分类。

4。

词库使用了friso的Java版本jcseg的简化词库。

5。

支持中英混合词的识别。

例如：c语言，IC卡。

7。

很好的英文支持，电子邮件，网址，小数，分数，百分数。

8。

支持阿拉伯数字基本单字单位的识别，例如2012年，5吨，120斤。

9。

自动英文圆角/半角，大写/小写转换。

并且具有很高的分词速度：简单模式：3.7M/秒，复杂模式：1.8M/秒。