一些分词常用工具
分词用到的一些方法和工具
NLTK的一些分词方法
这些对象均来源于nltk.tokenize库
1.word_tokenize
导入nltk的tokenize库后 tokens=nltk.word_tokenize(sentence)语句进行分词操作 sentence为待处理的字符串。返回一个列表。该方法要求被处理的字符串本身各个词语间有空格能处理如don’ t,they’ l l等缩写词的情况。
2.TweetTokenizer 分两种 1.不带参数token=
TweetTokenizer().tokenize(sentence)处理输入"This is a cooool
#dummysmi ley: :-) :-P<3 and somearrows<> -><--"
输出['This',' is','a','cooool','#dummysmi ley',' :',' :-)',' :-P','<3','and','some','arrows','<','>','->','<--']能够拆分无效用的标点符号。 2.带参数token=
TweetTokenize(strip_handles=True,reduce_len=True)输入@remy:This iswaaaaayyyytoo much foryou! ! ! ! ! !
输出[' :','This',' is','waaayyy','too','much','for','you',
' !',' !',' !']
当一个词中相同字符连续出现3次以上就只保留3个。
3.MWETokenizer tokenizer=MWETokenizer([('a',
' l ittle'), ('a',' l ittle','bit'),
('a',' lot')])
输入tokenizer.tokenize(' Ina l ittleora l ittlebitora lot inspiteof' .spl it())输出[' In','a_l ittle','or','a_l ittle_bit','or',
'a_lot',‘in’' in_spite_of']
可见该方法可对已先保留的一些短语或者组合进行重组对一些专有词可以先进行保留如F-16最后重组已保留 ‘-’
4.RegexpTokenizer
使用到正则表达式进行分词如对一些金钱表示或者其他非空白序列。tokenizer=RegexpTokenizer('\w+|\$[\d\.]+|\S+')
输入"Good muffinscost$3.88\nin NewYork. Pleasebuyme\ntwoofthem.\n\nThanks."
输出['Good','muffins','cost',
'$3.88',' in','New','York',
' .',
'Please','buy','me','two','of','them',' .','Thanks',
' .']
5.Twitter-awaretokenizer
按空格进行分词 同时针对推文一些特性去除@用户名保留表情等一些特殊符号。
输入"This isacooool#dummysmi ley: :-) :-P<3and somearrows<> -><--"
输出['This',' is','a','cooool','#dummysmi ley',' :',' :-)',' :-P','<3','and','some','arrows','<','>','->','<--']
6.StanfordTokenizer
按空格进行分词对于$4.28之类的将符号与数字分开。 输入"Goodmuffins cost$3.88\nin NewYork. Please buy me\ntwoof them.\nThanks."
输出['Good','muffins','cost',
'$','3.88',' in','New',
'York',' .','Please','buy',
'me','two','of','them',
' .','Thanks',' .']
咖啡主机怎么样?咖啡主机是一家国人主机销售商,成立于2016年8月,之前云服务器网已经多次分享过他家的云服务器产品了,商家主要销售香港、洛杉矶等地的VPS产品,Cera机房 三网直连去程 回程CUVIP优化 本产品并非原生地区本土IP,线路方面都有CN2直连国内,机器比较稳定。咖啡主机目前推出美国洛杉矶弹性轻量云主机仅13元/月起,高防云20G防御仅18元/月;香港弹性云服务器,香港HKBN CN...
老鹰主机HawkHost是个人比较喜欢的海外主机商,如果没有记错的话,大约2012年左右的时候算是比较早提供支付宝付款的主机商。当然这个主机商成立时间更早一些的,由于早期提供支付宝付款后,所以受众用户比较青睐,要知道我们早期购买海外主机是比较麻烦的,信用卡和PAYPAL还没有普及,大家可能只有银联和支付宝,很多人选择海外主机还需要代购。虽然如今很多人建站少了,而且大部分人都用云服务器。但是老鹰主机...
极光KVM创立于2018年,主要经营美国洛杉矶CN2机房、CeRaNetworks机房、中国香港CeraNetworks机房、香港CMI机房等产品。其中,洛杉矶提供CN2 GIA、CN2 GT以及常规BGP直连线路接入。从名字也可以看到,VPS产品全部是基于KVM架构的。极光KVM也有明确的更换IP政策,下单时选择“IP保险计划”多支付10块钱,可以在服务周期内免费更换一次IP,当然也可以不选择,...