tokenize如何去除停用词？

StringTokenizer和StrTokenizer有什么区别

StringTokenizer 是jdk自带的类，印象里是前兼容的，现在一般用string.split代替使用。

StrTokenizer 是apache维护的一个开源包中的一个类，就是说它是一直在维护更新的。

这个没用过，可能有些新功能在里面，可以参照文档

c++中类似strtok的处理string函数有没有？

#include <string> #include <list> using namespace std; list<string> tokenize(string text, string sep){ int last_pos=0; int pos=0; list<string> listWords; while(true){ pos=text.find_first_of(sep,last_pos); if(pos==string::npos){ break; }else{ listWords.push_back(text.substr(last_pos,pos-last_pos)); last_pos=pos+1; } }; return listWords; } int main() { string text="aaa dddd eeee"; list<string> words=tokenize(text," "); for (list<string>::const_iterator ci = words.begin(); ci != words.end(); ++ci) cout << *ci << " "; return 0; } ================ 输出 aaa bbb cc dddd ================ 看了你的题后写的，想想c++的string的操作相对c串丰富，实现上比c应该容易一些 加分加分

C语言中关于pointer与strcpy

对于开始的问题 : char *str1; 你定义了一个指向字符的指针,但没有初始化,那就是说这个指针当前的指向内存中某个不确定的位置,这个地方可能是代码区,也可能是栈区中其他变量存储的地方,也有可能你运气比较好在一个安全的地方.(str1被称做野指针) strcpy (str1,str); 而这个是干什么呢,它将字符串str的内容存入到str1开始的地址中,这是一个不确定的地址,这么做是非常危险的,可能会让系统崩溃!!! 对于问题补充部分: 1.你的返回值有问题 你需要的是指针数组的首地址 所以要指向指针的指针 2.你的循环没有结束条件 char ** tokenizer (char store[]) { int x=1; char *result[5000] ; char *str = store; str = strtok(store, " "); result [x-1] =(char *)malloc((strlen(str)+1)*sizeof(char)); strcpy (result[x-1],str); x++; while (str != NULL && x < 5000) { str = strtok(NULL, " "); result [x-1] =(char *)malloc((strlen(str)+1)*sizeof(char)); strcpy (result[x-1],str); x++; } return result; }

如何去除停用词？

这个有多种解决办法，在此给你提供思路，只要百度一下你就会解决了 法一： 在代码中构造set集合，将所有的停用词就加到set集合中，建议采用TreeSet，然后对于文本的分词结果，去查询set集合，如果出现，说明是停用词，过滤掉即可。

法二： 使用第三方的jar包解决，比如IKanalyzer来加载扩展词典和停用词典，然后使用IKanalyzer来进行分词，之后过滤即可。