分词一些分词常用工具

分词工具  时间:2021-03-07  阅读:()

一些分词常用工具

分词用到的一些方法和工具

NLTK的一些分词方法

这些对象均来源于nltk.tokenize库

1.word_tokenize

导入nltk的tokenize库后 tokens=nltk.word_tokenize(sentence)语句进行分词操作 sentence为待处理的字符串。返回一个列表。该方法要求被处理的字符串本身各个词语间有空格能处理如don’ t,they’ l l等缩写词的情况。

2.TweetTokenizer 分两种 1.不带参数token=

TweetTokenizer().tokenize(sentence)处理输入"This is a cooool

#dummysmi ley: :-) :-P<3 and somearrows<> -><--"

输出['This',' is','a','cooool','#dummysmi ley',' :',' :-)',' :-P','<3','and','some','arrows','<','>','->','<--']能够拆分无效用的标点符号。 2.带参数token=

TweetTokenize(strip_handles=True,reduce_len=True)输入@remy:This iswaaaaayyyytoo much foryou! ! ! ! ! !

输出[' :','This',' is','waaayyy','too','much','for','you',

' !',' !',' !']

当一个词中相同字符连续出现3次以上就只保留3个。

3.MWETokenizer tokenizer=MWETokenizer([('a',

' l ittle'), ('a',' l ittle','bit'),

('a',' lot')])

输入tokenizer.tokenize(' Ina l ittleora l ittlebitora lot inspiteof' .spl it())输出[' In','a_l ittle','or','a_l ittle_bit','or',

'a_lot',‘in’' in_spite_of']

可见该方法可对已先保留的一些短语或者组合进行重组对一些专有词可以先进行保留如F-16最后重组已保留 ‘-’ 

4.RegexpTokenizer

使用到正则表达式进行分词如对一些金钱表示或者其他非空白序列。tokenizer=RegexpTokenizer('\w+|\$[\d\.]+|\S+')

输入"Good muffinscost$3.88\nin NewYork. Pleasebuyme\ntwoofthem.\n\nThanks."

输出['Good','muffins','cost',

'$3.88',' in','New','York',

' .',

'Please','buy','me','two','of','them',' .','Thanks',

' .']

5.Twitter-awaretokenizer

按空格进行分词 同时针对推文一些特性去除@用户名保留表情等一些特殊符号。

输入"This isacooool#dummysmi ley: :-) :-P<3and somearrows<> -><--"

输出['This',' is','a','cooool','#dummysmi ley',' :',' :-)',' :-P','<3','and','some','arrows','<','>','->','<--']

6.StanfordTokenizer

按空格进行分词对于$4.28之类的将符号与数字分开。 输入"Goodmuffins cost$3.88\nin NewYork. Please buy me\ntwoof them.\nThanks."

输出['Good','muffins','cost',

'$','3.88',' in','New',

'York',' .','Please','buy',

'me','two','of','them',

' .','Thanks',' .']

2021HawkHost老鹰主机黑色星期五虚拟主机低至3.5折 永久4.5折

老鹰主机HawkHost是个人比较喜欢的海外主机商,如果没有记错的话,大约2012年左右的时候算是比较早提供支付宝付款的主机商。当然这个主机商成立时间更早一些的,由于早期提供支付宝付款后,所以受众用户比较青睐,要知道我们早期购买海外主机是比较麻烦的,信用卡和PAYPAL还没有普及,大家可能只有银联和支付宝,很多人选择海外主机还需要代购。虽然如今很多人建站少了,而且大部分人都用云服务器。但是老鹰主机...

DiyVM独立服务器:香港沙田服务器,5M带宽CN2线路,L5630*2/16G内存/120G SSD硬盘,499元/月

diyvm怎么样?diyvm商家VPS主机均2GB内存起步,三个地区机房可选,使用优惠码后每月69元起;DiyVM独立服务器开设在香港沙田电信机房,CN2线路,5M带宽,自动化开通上架,最低499元/月,配置是L5630*2/16G内存/120G SSD硬盘。DiyVM是一家成立于2009年的国人主机商,提供的产品包括VPS主机、独立服务器租用等,产品数据中心包括中国香港、日本大阪和美国洛杉矶等,...

[6.18]IMIDC:香港/台湾服务器月付30美元起,日本/俄罗斯服务器月付49美元起

IMIDC发布了6.18大促销活动,针对香港、台湾、日本和莫斯科独立服务器提供特别优惠价格最低月付30美元起。IMIDC名为彩虹数据(Rainbow Cloud),是一家香港本土运营商,全线产品自营,自有IP网络资源等,提供的产品包括VPS主机、独立服务器、站群独立服务器等,数据中心区域包括香港、日本、台湾、美国和南非等地机房,CN2网络直连到中国大陆。香港服务器   $39/...

分词工具为你推荐
网易网盘关闭入口网易网盘里面有好的东西,怎么才能共享出来?【已解决】今日油条油条是怎样由来原代码什么是原代码lunwenjiance论文检测,知网的是32.4%,改了以后,维普的是29.23%。如果再到知网查,会不会超过呢?冯媛甑尸城女主角叫什么名字www.299pp.com免费PP电影哪个网站可以看啊lcoc.toptop weenie 是什么?ww.66bobo.com这个WWW ̄7222hh ̄com是不是真的不太易开了,换了吗?www.mfav.org海关编码在线查询http://www.ccpit.org.c惠丰吧毕节医药高等专科可以专升本吗
域名备案查询 绍兴服务器租用 北京租服务器 最便宜虚拟主机 服务器配置技术网 漂亮qq空间 搬瓦工官网 表单样式 php免费空间 一元域名 湖南服务器托管 193邮箱 linux空间 刀片服务器是什么 isp服务商 metalink vip域名 阿里云免费邮箱 windowsserverr2 reboot 更多