一些分词常用工具
分词用到的一些方法和工具
NLTK的一些分词方法
这些对象均来源于nltk.tokenize库
1.word_tokenize
导入nltk的tokenize库后 tokens=nltk.word_tokenize(sentence)语句进行分词操作 sentence为待处理的字符串。返回一个列表。该方法要求被处理的字符串本身各个词语间有空格能处理如don’ t,they’ l l等缩写词的情况。
2.TweetTokenizer 分两种 1.不带参数token=
TweetTokenizer().tokenize(sentence)处理输入"This is a cooool
#dummysmi ley: :-) :-P<3 and somearrows<> -><--"
输出['This',' is','a','cooool','#dummysmi ley',' :',' :-)',' :-P','<3','and','some','arrows','<','>','->','<--']能够拆分无效用的标点符号。 2.带参数token=
TweetTokenize(strip_handles=True,reduce_len=True)输入@remy:This iswaaaaayyyytoo much foryou! ! ! ! ! !
输出[' :','This',' is','waaayyy','too','much','for','you',
' !',' !',' !']
当一个词中相同字符连续出现3次以上就只保留3个。
3.MWETokenizer tokenizer=MWETokenizer([('a',
' l ittle'), ('a',' l ittle','bit'),
('a',' lot')])
输入tokenizer.tokenize(' Ina l ittleora l ittlebitora lot inspiteof' .spl it())输出[' In','a_l ittle','or','a_l ittle_bit','or',
'a_lot',‘in’' in_spite_of']
可见该方法可对已先保留的一些短语或者组合进行重组对一些专有词可以先进行保留如F-16最后重组已保留 ‘-’
4.RegexpTokenizer
使用到正则表达式进行分词如对一些金钱表示或者其他非空白序列。tokenizer=RegexpTokenizer('\w+|\$[\d\.]+|\S+')
输入"Good muffinscost$3.88\nin NewYork. Pleasebuyme\ntwoofthem.\n\nThanks."
输出['Good','muffins','cost',
'$3.88',' in','New','York',
' .',
'Please','buy','me','two','of','them',' .','Thanks',
' .']
5.Twitter-awaretokenizer
按空格进行分词 同时针对推文一些特性去除@用户名保留表情等一些特殊符号。
输入"This isacooool#dummysmi ley: :-) :-P<3and somearrows<> -><--"
输出['This',' is','a','cooool','#dummysmi ley',' :',' :-)',' :-P','<3','and','some','arrows','<','>','->','<--']
6.StanfordTokenizer
按空格进行分词对于$4.28之类的将符号与数字分开。 输入"Goodmuffins cost$3.88\nin NewYork. Please buy me\ntwoof them.\nThanks."
输出['Good','muffins','cost',
'$','3.88',' in','New',
'York',' .','Please','buy',
'me','two','of','them',
' .','Thanks',' .']
Pia云商家在前面有介绍过一次,根据市面上的信息是2018的开办的国人商家,原名叫哔哔云,目前整合到了魔方云平台。这个云服务商家主要销售云服务器VPS主机业务和服务,云服务器采用KVM虚拟架构 。目前涉及的机房有美国洛杉矶、中国香港和深圳地区。洛杉矶为crea机房,三网回程CN2 GIA,自带20G防御。中国香港机房的线路也是CN2直连大陆,比较适合建站或者有游戏业务需求的用户群。在这篇文章中,简...
小渣云 做那个你想都不敢想的套餐 你现在也许不知道小渣云 不过未来你将被小渣云的产品所吸引小渣云 专注于一个套餐的商家 把性价比 稳定性 以及价格做到极致的商家,也许你不相信36元在别人家1核1G都买不到的价格在小渣云却可以买到 8核8G 高配云服务器,并且在安全性 稳定性 都是极高的标准。小渣云 目前使用的是美国超级稳定的ceranetworks机房 数据安全上 每5天备份一次数据倒异地 支持一...
一般大厂都是通过首年才有可以享受爆款活动,然后吸引我们注册他们商家达到持续续费和购买的目的。一般只有大厂才能有这样的魄力和能力首年亏本,但是对于一般的公司和个人厂家确实难过,这几年确实看到不少的同类商家难以生存。这里我们可以看到有对应的套餐方案。不过这两个套餐都是100%CPU独享的,不是有某云商家限制CPU的。但是轻量服务器有个不好的就是带宽是较大且流量是限制的额,分别是1GB和1.2TB月流量...