第20卷第1期 现 代 电 力 Vol120 No11
2003年2月 MODERN ELECTRIC POWER Feb1 2003
一种基于机器学习的垃圾邮件智能过滤方法
周威成 马素霞 齐林海
关键词:Naive Bayes (N1B1)算法;机器学习;垃圾邮件过滤
中图分类号: TP3931098
文献标识码:A 文章编号: 100722322 (200)01220065203
很多商家利用E2 ma il的容易发送、价格便宜 识别以概率的形式给出一个定量表示。
)算法
“反动”信息方面,因为 “反动”信息比一般邮件 其中:P(ci| d)为文件d属于类型ci的概率;的邮件信息有着更鲜明的特征。同时,基于规则的 P(ci)为任意取一个文件属于c i的概率;过滤不能解决邮件过滤中的一个常见问题:邮件过 P(wj| ci)为类型ci中选定一个词为wj的概滤中常常会把垃圾邮件识别为正常邮件,把正常邮 率;
件识别为垃圾邮件。把垃圾邮件识别为正常邮件在 P(d)为任意取一个文件为d的概率。 对于一定范围内是可以接受的,但把正常邮件识别为垃 具体文件d,如果属于类型ci ,则P (ci圾邮件,则是不能接受的。如果能对识别给出一个 |d)为最大值。 由于P(d)是一个特定值,所以对定量的表示,将会是一个不错的解决办法。下文将 于文件d属于文件类型CN 1 B1,有
要介绍的利用Naive Bayes算法的过滤方法,能对 CN1B = m ax(P(ci)
收稿日期: 2002 12 16
作者简介:周威成(1978—) ,男,硕士研究生;主要研究方向为自然语言处理、计算机网络;马素霞(1964—) ,女,副教授,主要研究方向为算法设计、数据结构、MIS、 GIS。
66 现 代 电 力 2003年
c1=垃圾邮件, c2=正常邮件,直接应用N1B1分 | V | +∑s=1∑i=1 N(ws , di)
果是比较准确的。 目前无很好的解决方法,一般采用先定初始值,然
应用算法到垃圾邮件过滤中,需要把邮件表示 后根据实验测试和统计结果确定最佳值,一般初始成特征向量的形式。利用向量空间模型,定义空间 值定在几千左右。
中每一维对应整个信息库中的每一个词汇。每一封 特征项的选择,除了上面介绍的基于词汇的特邮件可以看作是一个向量d = (w1 , w2, 征项之外,还有非词汇特征项1比如说邮件是否带1wn), w1 , w2, , wn是W1 , W2, , Wn的 有附件,以及所带附件的扩展名等。邮件文本中包值。 Wi表示邮件中的词汇特征项或者一些非词 含的非汉字、字母信息也是区分邮件是否是垃圾邮汇的(比如说,邮件是否带有附件、附件的扩展名 件的很重要的一个方面。
机器学习
2 特征项选择
。
本文所采用的训练集的一部分是从一家公司的邮
第1期 周威成等:一种基于机器学习的垃圾邮件智能过滤方法 67
件服务器中由pro c ma il (一种基于规则的邮件过滤程 根据实验结果,当F1达到80%以上时,就可序)的过滤结果中整理的,一部分是从INTERNET 看作对邮件进行了比较准确的过滤。
新闻组中整理的。总共整理出900多封邮件。 由实验结果(表1)可以看出,Naive Bayes算
算法实现过程:首先,通过最大匹配(MM) 法在邮件过滤中可取得理想的结果。
法则对训练库中的邮件进行分词。然后按照文中介 表1 N1B1算法邮件过滤中应用的查全率和准确率和F1值
个分类过程1所以评估的标志主要是分类的准确程 用效果。但是对于信息更加复杂和抽象的中文邮件度。分类准确程度的参照物是通过算法判断后对文 的处理问题还有待于进行更加深入的研究。参 考 文 献
个人思维差异的因素)系统的两个指标
查全率是人工分类结果应有的文本中分类系统 [3]张晓冬,张书杰1关于信息过滤模型的探讨[J]1计算
准确率和查全率反映了分类质量的两个不同方 Processing,2000 ,3136
A Way to Filter Junk Mail Intell igently Based on Machine Learning
Zhou Weicheng,MaSuxia , Qi L inhai
(North China Electric Power University (Beijing)Department of Computer Science andTechnilogy)
Abstract : In order to filter the Unsolicited Bulk E2mail (UBE) , so2called the junk mail , the Naive Bayes(N1B1) algorithm is presented in detail1 The application of N1B1algorithm, and reformation for the specialcharacter of e2mail , is implemented1An evaluation algorithm of the application is given.The consequence of theevaluation shows that the effect isgood.
Keywords :Nave Bayes (N1B1) algorithm;Machine Learning; junk mail filtering
hostodo从2014年年底运作至今一直都是走低价促销侧率运作VPS,在市场上一直都是那种不温不火的品牌知名度,好在坚持了7年都还运作得好好的,站长觉得hostodo还是值得大家在买VPS的时候作为一个候选考虑项的。当前,hostodo有拉斯维加斯和迈阿密两个数据中心的VPS在促销,专门列出了2款VPS给8T流量/月,基于KVM虚拟+NVMe整列,年付送DirectAdmin授权(发ticket...
spinservers是Majestic Hosting Solutions LLC旗下站点,主营国外服务器租用和Hybrid Dedicated等,数据中心在美国达拉斯和圣何塞机房。目前,商家针对圣何塞部分独立服务器进行促销优惠,使用优惠码后Dual Intel Xeon E5-2650L V3(24核48线程)+64GB内存服务器每月仅109美元起,提供10Gbps端口带宽,可以升级至1Gbp...
Megalayer 商家在之前也有记录过,商家开始只有提供香港站群服务器和独立服务器,后来也有增加到美国独立服务器,以及前几天也有介绍到有增加香港VPS主机。对于香港服务器之前有过评测(Megalayer香港服务器配置一览及E3-1230 8GB服务器评测记录),这里申请到一台美国独立服务器,所以也准备简单的评测记录。目前市场上我们看到很多商家提供VPS或者云服务器基本上没有什么特别的,但是独立服...