邮件一种基于机器学习的垃圾邮件智能过滤方法

垃圾邮件  时间:2021-02-20  阅读:()

第20卷第1期 现 代 电 力 Vol120 No11

2003年2月 MODERN ELECTRIC POWER Feb1 2003

一种基于机器学习的垃圾邮件智能过滤方法

周威成 马素霞 齐林海

关键词:Naive Bayes (N1B1)算法;机器学习;垃圾邮件过滤

中图分类号: TP3931098

文献标识码:A 文章编号: 100722322 (200)01220065203

很多商家利用E2 ma il的容易发送、价格便宜 识别以概率的形式给出一个定量表示。

)算法

“反动”信息方面,因为 “反动”信息比一般邮件 其中:P(ci| d)为文件d属于类型ci的概率;的邮件信息有着更鲜明的特征。同时,基于规则的 P(ci)为任意取一个文件属于c i的概率;过滤不能解决邮件过滤中的一个常见问题:邮件过 P(wj| ci)为类型ci中选定一个词为wj的概滤中常常会把垃圾邮件识别为正常邮件,把正常邮 率;

件识别为垃圾邮件。把垃圾邮件识别为正常邮件在 P(d)为任意取一个文件为d的概率。 对于一定范围内是可以接受的,但把正常邮件识别为垃 具体文件d,如果属于类型ci ,则P (ci圾邮件,则是不能接受的。如果能对识别给出一个 |d)为最大值。 由于P(d)是一个特定值,所以对定量的表示,将会是一个不错的解决办法。下文将 于文件d属于文件类型CN 1 B1,有

要介绍的利用Naive Bayes算法的过滤方法,能对 CN1B = m ax(P(ci)

收稿日期: 2002 12 16

作者简介:周威成(1978—) ,男,硕士研究生;主要研究方向为自然语言处理、计算机网络;马素霞(1964—) ,女,副教授,主要研究方向为算法设计、数据结构、MIS、 GIS。

66 现 代 电 力 2003年

c1=垃圾邮件, c2=正常邮件,直接应用N1B1分 | V | +∑s=1∑i=1 N(ws , di)

果是比较准确的。 目前无很好的解决方法,一般采用先定初始值,然

应用算法到垃圾邮件过滤中,需要把邮件表示 后根据实验测试和统计结果确定最佳值,一般初始成特征向量的形式。利用向量空间模型,定义空间 值定在几千左右。

中每一维对应整个信息库中的每一个词汇。每一封 特征项的选择,除了上面介绍的基于词汇的特邮件可以看作是一个向量d = (w1 , w2, 征项之外,还有非词汇特征项1比如说邮件是否带1wn), w1 , w2, , wn是W1 , W2, , Wn的 有附件,以及所带附件的扩展名等。邮件文本中包值。 Wi表示邮件中的词汇特征项或者一些非词 含的非汉字、字母信息也是区分邮件是否是垃圾邮汇的(比如说,邮件是否带有附件、附件的扩展名 件的很重要的一个方面。

机器学习

2 特征项选择

本文所采用的训练集的一部分是从一家公司的邮

第1期 周威成等:一种基于机器学习的垃圾邮件智能过滤方法 67

件服务器中由pro c ma il (一种基于规则的邮件过滤程 根据实验结果,当F1达到80%以上时,就可序)的过滤结果中整理的,一部分是从INTERNET 看作对邮件进行了比较准确的过滤。

新闻组中整理的。总共整理出900多封邮件。 由实验结果(表1)可以看出,Naive Bayes算

算法实现过程:首先,通过最大匹配(MM) 法在邮件过滤中可取得理想的结果。

法则对训练库中的邮件进行分词。然后按照文中介 表1 N1B1算法邮件过滤中应用的查全率和准确率和F1值

个分类过程1所以评估的标志主要是分类的准确程 用效果。但是对于信息更加复杂和抽象的中文邮件度。分类准确程度的参照物是通过算法判断后对文 的处理问题还有待于进行更加深入的研究。参 考 文 献

个人思维差异的因素)系统的两个指标

查全率是人工分类结果应有的文本中分类系统 [3]张晓冬,张书杰1关于信息过滤模型的探讨[J]1计算

准确率和查全率反映了分类质量的两个不同方 Processing,2000 ,3136

A Way to Filter Junk Mail Intell igently Based on Machine Learning

Zhou Weicheng,MaSuxia , Qi L inhai

(North China Electric Power University (Beijing)Department of Computer Science andTechnilogy)

Abstract : In order to filter the Unsolicited Bulk E2mail (UBE) , so2called the junk mail , the Naive Bayes(N1B1) algorithm is presented in detail1 The application of N1B1algorithm, and reformation for the specialcharacter of e2mail , is implemented1An evaluation algorithm of the application is given.The consequence of theevaluation shows that the effect isgood.

Keywords :Nave Bayes (N1B1) algorithm;Machine Learning; junk mail filtering

hostodo:美国大流量VPS,低至$3,8T流量/月-1.5G内存/1核/25gNVMe/拉斯维加斯+迈阿密

hostodo从2014年年底运作至今一直都是走低价促销侧率运作VPS,在市场上一直都是那种不温不火的品牌知名度,好在坚持了7年都还运作得好好的,站长觉得hostodo还是值得大家在买VPS的时候作为一个候选考虑项的。当前,hostodo有拉斯维加斯和迈阿密两个数据中心的VPS在促销,专门列出了2款VPS给8T流量/月,基于KVM虚拟+NVMe整列,年付送DirectAdmin授权(发ticket...

spinservers:圣何塞10Gbps带宽服务器月付$109起,可升级1Gbps无限流量

spinservers是Majestic Hosting Solutions LLC旗下站点,主营国外服务器租用和Hybrid Dedicated等,数据中心在美国达拉斯和圣何塞机房。目前,商家针对圣何塞部分独立服务器进行促销优惠,使用优惠码后Dual Intel Xeon E5-2650L V3(24核48线程)+64GB内存服务器每月仅109美元起,提供10Gbps端口带宽,可以升级至1Gbp...

Megalayer美国独立服务器配置及性能速度综合评测

Megalayer 商家在之前也有记录过,商家开始只有提供香港站群服务器和独立服务器,后来也有增加到美国独立服务器,以及前几天也有介绍到有增加香港VPS主机。对于香港服务器之前有过评测(Megalayer香港服务器配置一览及E3-1230 8GB服务器评测记录),这里申请到一台美国独立服务器,所以也准备简单的评测记录。目前市场上我们看到很多商家提供VPS或者云服务器基本上没有什么特别的,但是独立服...

垃圾邮件为你推荐
weipin唯品宝是什么?和唯品金融有什么关系?yy频道中心yy语音怎么进频道中心bluestacksbluestacks怎么用?显卡温度多少正常显卡温度多少算正常办公协同软件免费的多人协同办公软件哪些,我了解的有钉钉、企业微信,其他的还有么?怎么点亮qq空间图标怎么点亮QQ空间的图标怎么升级ios6iPad怎么升级到iOS6正式版?安装迅雷看看播放器迅雷看看播放器安装lockdowndios8.1能用gpp3to2吗?型号A1429宕机宕机 这个词是什么意思啊
域名注册使用godaddy 中国十大域名注册商 广东vps 网站域名备案 西安电信测速 photonvps 便宜服务器 raksmart godaddy支付宝 韩国网名大全 100m免费空间 52测评网 idc是什么 带宽租赁 美国凤凰城 路由跟踪 上海电信测速 主机管理系统 qq金券 atom处理器 更多