一些分词常用工具
分词用到的一些方法和工具
NLTK的一些分词方法
这些对象均来源于nltk.tokenize库
1.word_tokenize
导入nltk的tokenize库后 tokens=nltk.word_tokenize(sentence)语句进行分词操作 sentence为待处理的字符串。返回一个列表。该方法要求被处理的字符串本身各个词语间有空格能处理如don’ t,they’ l l等缩写词的情况。
2.TweetTokenizer 分两种 1.不带参数token=
TweetTokenizer().tokenize(sentence)处理输入"This is a cooool
#dummysmi ley: :-) :-P<3 and somearrows<> -><--"
输出['This',' is','a','cooool','#dummysmi ley',' :',' :-)',' :-P','<3','and','some','arrows','<','>','->','<--']能够拆分无效用的标点符号。 2.带参数token=
TweetTokenize(strip_handles=True,reduce_len=True)输入@remy:This iswaaaaayyyytoo much foryou! ! ! ! ! !
输出[' :','This',' is','waaayyy','too','much','for','you',
' !',' !',' !']
当一个词中相同字符连续出现3次以上就只保留3个。
3.MWETokenizer tokenizer=MWETokenizer([('a',
' l ittle'), ('a',' l ittle','bit'),
('a',' lot')])
输入tokenizer.tokenize(' Ina l ittleora l ittlebitora lot inspiteof' .spl it())输出[' In','a_l ittle','or','a_l ittle_bit','or',
'a_lot',‘in’' in_spite_of']
可见该方法可对已先保留的一些短语或者组合进行重组对一些专有词可以先进行保留如F-16最后重组已保留 ‘-’
4.RegexpTokenizer
使用到正则表达式进行分词如对一些金钱表示或者其他非空白序列。tokenizer=RegexpTokenizer('\w+|\$[\d\.]+|\S+')
输入"Good muffinscost$3.88\nin NewYork. Pleasebuyme\ntwoofthem.\n\nThanks."
输出['Good','muffins','cost',
'$3.88',' in','New','York',
' .',
'Please','buy','me','two','of','them',' .','Thanks',
' .']
5.Twitter-awaretokenizer
按空格进行分词 同时针对推文一些特性去除@用户名保留表情等一些特殊符号。
输入"This isacooool#dummysmi ley: :-) :-P<3and somearrows<> -><--"
输出['This',' is','a','cooool','#dummysmi ley',' :',' :-)',' :-P','<3','and','some','arrows','<','>','->','<--']
6.StanfordTokenizer
按空格进行分词对于$4.28之类的将符号与数字分开。 输入"Goodmuffins cost$3.88\nin NewYork. Please buy me\ntwoof them.\nThanks."
输出['Good','muffins','cost',
'$','3.88',' in','New',
'York',' .','Please','buy',
'me','two','of','them',
' .','Thanks',' .']
Webhosting24是一家始于2001年的意大利商家,提供的产品包括虚拟主机、VPS、独立服务器等,可选数机房包括美国洛杉矶、迈阿密、纽约、德国慕尼黑、日本、新加坡、澳大利亚悉尼等。商家VPS主机采用AMD Ryzen 9 5950X CPU,NVMe磁盘,基于KVM架构,德国机房不限制流量,网站采用欧元计费,最低年付15欧元起。这里以美国机房为例,分享几款套餐配置信息。CPU:1core内存...
近日华纳云发布了最新的618返场优惠活动,主要针对旗下的免备案香港云服务器、香港独立服务器、香港高防御服务器等产品,月付6折优惠起,高防御服务器可提供20G DDOS防御,采用E5处理器V4CPU性能,10Mbps独享CN2 GIA高速优质带宽,有需要免备案香港服务器、香港云服务器、香港独立服务器、香港高防御服务器、香港物理服务器的朋友可以尝试一下。华纳云好不好?华纳云怎么样?华纳云服务器怎么样?...
DMIT.io是成立于2018年的一家国外主机商,提供VPS主机和独立服务器租用,数据中心包括中国香港、美国洛杉矶和日本等,其中日本VPS是新上的节点,基于KVM架构,国际线路,1Gbps带宽,同时提供月付循环8折优惠码,或者年付一次性5折优惠码,优惠后最低每月8.72美元或者首年65.4美元起,支持使用PayPal或者支付宝等付款方式。下面列出部分日本VPS主机配置信息,价格以月付为例。CPU:...