钓鱼网络钓鱼

收稿日期:20160325;修回日期:20160513基金项目:国家自然科学基金资助项目(61202006);南通市科技计划资助项目(KB2012027)作者简介:徐欢潇(1991),女,江苏南通人,硕士研究生,主要研究方向为网络安全;徐慧(1965),女(通信作者),教授,硕导,博士,主要研究方向为网络与信息安全(xu.
h@ntu.
edu.
cn);雷丽婷(1991),女,硕士研究生,主要研究方向为监控与数据分析.
多特征分类识别算法融合的网络钓鱼识别技术徐欢潇a,徐慧b,雷丽婷a(南通大学a.
电子信息学院;b.
计算机科学与技术学院,江苏南通226019)摘要:针对页面特征提取实时性差的问题进行了研究,提出将特征分类,并行提取、检测、再融合结果的方法.
首先提取三个类别的主要特征,包括文本、视觉和网络链接;然后分别利用贝叶斯算法、EMD算法以及网络爬虫来进行分类,并且基于后验概率来确定权值的最终选取;最后把这三个分类结果进行融合.
通过对贝叶斯、加权和加权贝叶斯的比较,从正确率、漏报率和误报率对算法进行评估.
实验表明采用加权贝叶斯的方法来进行融合计算效果最佳,具有较高的准确率和较低的误报率和漏报率,提高了检测的精度和实时性.
关键词:网络钓鱼;特征分类;识别;算法融合;加权贝叶斯中图分类号:TP309.
2文献标志码:A文章编号:10013695(2017)04112904doi:10.
3969/j.
issn.
10013695.
2017.
04.
039PhishingrecognitiontechnologybasedonfusionofmultiplefeaturesclassificationandrecognitionalgorithmXuHuanxiaoa,XuHuib,LeiLitinga(a.
SchoolofElectronicInformation,b.
SchoolofComputerScience&Technology,NantongUniversity,NantongJiangsu226019,China)Abstract:Thispaperstudiedtheviewoftheproblemofpoorrealtimeperformanceofpagefeatureextraction,andproposedthemethodoffeatureclassification,parallelextraction,detectionandrefusionresults.
Firstitextractedthemainfeaturesofthethreecategories,includingtext,visualandInternetconnection.
Then,itusedtheBayesianalgorithm,EMDalgorithmandWebcrawlertoclassify.
Anddeterminedtheweightofthefinalselectionbasedontheposteriorprobability.
Finally,thefusionofthesethreeclassificationresults.
ExperimentsshowthataphishingrecognitionbasedonweightedBayesianalgorithmhasbetterperformance,throughthecomparisonofBias,weightedandweightedBias,whichevaluatesthealgorithmaccordingtothecorrectrate,falsenegativerateandfalsealarmrate.
Theaccuracyratecanprovidehighertoimprovetheaccuracyofdetection,whileensuringlowfalsepositivesandfalsenegativestoimprovetherealtimeofdetection.
Keywords:phishing;featureclassification;recognition;algorithmfusion;weightedBayesian网络钓鱼攻击是一种以虚假陷阱获取用户机密信息来换取经济利益的在线身份诈欺.
例如攻击者盗取用户的信用卡号、银行卡账户、身份证号等内容,基于此去盗用用户的个人信息和账户里的钱,窃取内部工作人员的账户侵入企业对企业内部重要的商务信息进行非法访问等.
截至2015年12月,中国反钓鱼网站联盟(APAC)[1]累计认定并处理钓鱼网站278693个.
最新统计数据显示,网络钓鱼仍然是涉及金钱和个人数据巨大损失的主要犯罪活动.
网络钓鱼是当前网上银行、第三方支付、网购最为严重的威胁之一,已成为电商等信息化产业发展的绊脚石,严重伤害了电子商务的信用.
对网络钓鱼网站的防范研究从未停止过,许多技术被应用,但不容乐观的现实表明现有方法不足以有效解决此问题,有待进一步的研究.
钓鱼网站识别方法钓鱼网站为了达到欺骗的目的,需要仿冒真实网站迷惑用户.
因此,具有以下特点:a)域名与真实网站十分相似;b)页面与被模仿页面高度相似.
钓鱼网站的检测主要就是从这两个方面着手.
目前对网络钓鱼识别的研究主要包括黑白名单过滤、启发式搜索、数据挖掘、视觉相似性等方式.
基于黑白名单过滤是被应用得最广也是最早提出的方法[2,3],如Google、百度浏览器里均嵌入了相应功能的插件.
该方法简单,易实现,但只是针对已知的钓鱼网站(黑名单)或约束用户行为(白名单),而且由于技术方面的问题,名单很多时候得不到较为及时的更新,易引起漏报、误报.
王惟[4]提出了一种基于内容分析的高性能反钓鱼识别引擎的检测方法,通过原型系统实现并验证了匹配算法.
该方法与常规方法相比,在保证准确率的同时降低了误报率和漏报率,克服了单纯依靠黑名单机制的被动识别,也避免了之前反钓鱼方案仅仅关注用户桌面的问题,可以有效识别出大部分钓鱼站点.
刘永明等人[5]提出了一种新的基于图像相似性的Android钓鱼恶意应用检测方法.
该方法通过动态技术截取被检测应用的人机交互界面,利用图像哈希感知算法计算其与目标应用界面的图像相似度,如果相似度超过阈值,则识别被检测应用程序为钓鱼恶意应用.
Pradeepthi等人[6]提出了一种从分类技术性能着手的钓鱼网页检测方法.
该方法通过比较不同的分类算法,确定了基于树的分类作为最适合的钓鱼URL第34卷第4期2017年4月计算机应用研究ApplicationResearchofComputersVol34No4Apr.
2017分类任务,提供最大的检测精度.
从现有应用与研究来看,用于钓鱼网站检测的分类算法都比较单一,而且实时性较差.
因此,本文在借鉴传统反钓鱼系统优点的同时,利用并行计算的特点,融合分类识别算法结果来提升钓鱼检测系统准确率的同时降低误报率和漏报率,提高了检测的精度和实时性.
基于多特征分类识别的算法融合设计系统框架系统框架如图1所示.
该框架包括一个训练部分和一个检测部分.
分界线左侧为数据集的训练过程,通过对已知的钓鱼网页经过多类特征提取之后生成的特征向量进行训练,得到一个包含钓鱼网页识别参数的页面分类模型,该模型用于右侧对未知的网页进行预测;分界线右侧为数据集的测试过程,用于实时的网页检测.
!
"#$%&'()*+,-$.
/01!
"02,3456789:;@A:78BCD(;@BCD(.
/456EFGHIJK211特征选择与分类训练集的特征分类与用于识别的特征分类一一对应,分为文本内容的特征、视觉内容的特征和网络链接结构的特征.
文本内容指的是出现在某一给定网页的术语或者单词.
一般都先从HTML中分离出文本内容,然后对产生的每一个单词进行特征比对.
视觉内容指的是相对于整体风格、布局和块区域(包括标志、图像和表格)的特征.
视觉内容还可以进一步地理解为网页背景的颜色、字体大小、字体样式以及图像和标志的位置.
网络链接结构内容指的是用户访问网页或者连接到其他网页所使用的特征,涉及到给定页面的网址和超链接.
212分类识别算法选取通过预处理,迅速地从一个给定的页面中提取内容表述,即文字、视觉和网络链接.
文本分类器被用来在给定的网页划分基于该文本特征相对应的类别;图像分类器被用于给定的网页划分基于该可视特征相对应的类别;网页链接分类器被用于给定的网页划分基于该网页链接特征相对应的类别.
文本分类使用贝叶斯规则[7]来处理从给定网页提取的文本内容;视觉分类使用EMD[8]相似性评估来处理给定网页的已被转变成图像的像素级内容;网络链接分类使用网页爬虫[9]来处理从给定网页提取的网页链接结构.
213算法融合思路提出对于一个给定的网页,仅使用文本内容不足以检测钓鱼网页.
通常会导致高误报率,因为钓鱼网页与目标网页不仅文本内容高度相似,而且可视内容也极其相似.
同样地,仅使用视觉内容或拓扑内容也不能准确地检测钓鱼网页.
当所测页面是纯文字的或文字占主要内容的时候,使用文本内容检测钓鱼网页效果显著;当所测页面是有明显布局特征的或图片占主要内容的时候,使用视觉内容检测钓鱼网页效果显著;此外,还考虑到在网络链接结构上钓鱼网页与普通网页存在明显差异,使用网络爬虫根据可疑的网页网址抓取一系列相关的网页,然后根据抓取的网页集合分析目标网站的特征.
明显地,这些方法都存在一定的局限性,仅对于某类特定的网页效果显著,但是对普通页面就无法达到很好的检测效果.
因此,本文结合目前的计算机水平,从网络分布线、多CPU及并行计算考虑,提出了将文本内容、视觉内容和网页链接内容分别进行分类处理,再用融合算法把这三个分类器递送的检测结果结合起来,将该检测结果(网络钓鱼或正常)传送给用户.
这样做可以弥补单一方法的不足之处,提高检测的精度和实时性.
算法设计221分类算法设计1)文本分类算法在本文中使用贝叶斯进行文本分类.
假设特征词wi与wj之间两两独立.
设训练样本集分为k类,记为C={C1,C2,…,Ck},则每个类Ci的先验概率为P(Ci),i=1,2,…,k,其值为Ci类的样本数除以训练集总样本数n.
对于新样本d,其属于Ci类的条件概率是P(d|Ci).
根据贝叶斯定理,Ci类的后验概率为P(Ci|d)=P(d|Ci)·P(Ci)/P(d)(1)其中:P(d)对于所有类均为常数,可以忽略.
为避免P(Ci)=0,采用拉普拉斯概率估计:P(Ci)=(1+|DCi|)/(|C|+|DC|)(2)其中:|C|为训练集中类的数目;|DCi|为训练集中属于类Ci的文档数;|DC|为训练集包含的总文档数.
对于训练样本集中各类样本数相等,此时类的先验概率相等,式(1)可以简化为P(Ci|d)∝P(d|Ci)(3)贝叶斯分类器将未知样本归于类的依据,如式(4)所示.
P(Ci|d)=argmax{P(Ci|d)P(Ci)}(4)其中:j=1,…,k.
对于待分类文本文档d,本文采用向量空间模型,其基本思想是将每一个文本表示为一个向量:d=(w1,…,wj,…,wm);m是d的特征词个数|d|;wj是第j个特征词的权重.
贝叶斯算法假设各特征词相互独立,则得P(d|Ci)=P((w1,w2,…,wm)|Ci)=∏mj=1p(wj|Ci)(5)其中:p(wj|Ci)表示分类器预测特征词wj在类Ci的文档中发生的概率.
因此式(5)可转换为P(Ci|d)∝P(Ci)∏mj=1p(wj|Ci)(6)为避免式(6)中p(wj|Ci)=0,可以采用拉普拉斯概率估计.
考虑特征词在文档中出现的频次,其概率式为P(wj|Ci)=1+TF(wj|Ci)|V|+∑|V|k=1TF(wk|Ci)(7)其中:|V|表示特征词表中总单词数,TF(wj|Ci)表示特征词wj在类Ci的所有文档中出现频次之和.
2)视觉分类算法在本文中使用EMD进行视觉分类.
考虑到视觉特征的多样性,可以从标题框的距离、logo的距离、图片的距离和布局的距离等来判断页面是否为钓鱼网页.
以布局的距离为例,这里使用的是布局特征.
布局特征就是把网页上的可见信息(一段文字、一幅图片或视觉上靠近的·0311·计算机应用研究第34卷元素组合)划分为一个个矩形块,这些块描述了网页上各种可见元素的大小和具体位置.
有了两个页面抽取的特征块,下一步的问题就是如何根据得到的两个网页的特征块计算两个网页之间的相似度.
待测网页中的某一矩形块表示为G=〈V,R〉,计算该矩形块与被保护网页对应的矩形块G′=〈V′,R′〉之间的距离分为两步:首先算出内部EMD距离;依据内部EMD形成外部矩阵,从而求出这两个矩形块之间的距离.
给定i和i′分别为G和G′中的第i和i′个节点,通过求内部距离矩阵的方法可以求出节点i和i′的内部EMD.
内部距离矩阵Din是一个n*m矩阵,其中的元素:din(j,j′)=(1-a)*d(vj,v′j)+a*d(rij,r′ij)(8)其中:j∈[1,n];a∈[0,1];d(vj,v′j)表示节点距离;d(rij,r′ij)表示关系距离.
S={(ωj)|1≤j≤n}(9)S′={(ω″j)|1≤j′≤m}(10)求出Din之后,以Din为距离矩阵,以式(9)和(10)为特征向量,使用EMD算法计算出外部距离,记做dout(i,i′),其中ωj=ω′j′=1/max(n,m),可以更加有效地进行子图匹配.
求出所有的dout后得到Dout=[dout(i,i′)],并根据Dout和S、S′(同上)求出转移矩阵F和外部EMD距离P,作为G与G′之间最终相似度.
该距离越小,说明G和G′越相似.
3)链接结构识别本文中使用网络爬虫进行网络链接的分类.
考虑到钓鱼网页的特性,对指定网站进行有限遍历,不会模仿得很深入,一般遍历三到四次足矣.
具体爬虫工作步骤如下:a)爬虫初始化,设置已经遍历网页curN=0,获取每个网站遍历页面上限数量curN;b)输入需要检测网站的一个页面URL,记录下该URL所属网站的地址,并将该URL加入未爬行URL队列;c)从URL队列中取出一个URLtemp,从队列中删除URLtemp,另外设置curN=curN+1;d)爬虫建立HTTP连接,获取URLtemp页面源代码;e)使用正则表达式搜索URLtemp页面中的下一个链接URLi,如果找到跳转f),否则跳转h);f)判断URLi是否是当前检测网站的网页,如果是跳转g),否则跳转e);g)将URLi加入未爬行URL队列,跳转e);h)如果curN≥curN,则算法结束,否则跳转c).
222融合算法设计在许多分类算法中,通常认为所有的特征都具有相同的重要性.
这种方式使得冗余的、与分类无关的、相互影响的以及被噪声污染的特征和其他特征具有相同的地位,并且使得分类的正确率变低.
基于上述观察,人们提出了各种特征加权算法[10],并且将这些算法嵌入到具体的分类器中,以提高分类的精度.
加权参数作用于类别节点上,权值越大,该类别所占比例就越大(如文本、视觉和网络链接所取权值分别为0.
3、0.
2、05,则表示提取进行网络链接分类处理的结果所占比例较大).
这里与传统方法不同的是:根据权值进行特征比例选取并且进行分类融合之后,采用贝叶斯分类器[11]计算出各类别的后验概率,根据结果的不同对之前给出的权值进行适当调整.
利用后验概率进行系统的状态决策无疑是更加合理的方法,因为它充分利用了先验知识和观测到历史时间变量的信息.
对于给定的Web页面T,其子区间lt=[Lt-1,Lt]对于文本分类的后验概率为PT(C|lt)=PT(C)PT(lt|C)PT(C)PT(lt|C)+PT(I)PT(lt|I)(11)其中:PT(C)和PT(I)是基于训练集的正确率和错误率;PT(lt|C)和PT(lt|I)是基于该子集相似性测量的正确率和错误率.
对于大量已知的网页,通过式(12)~(15)的计算估计后验概率PT(C|lt)的值.
其中:KT(lt,C)和KT(lt,I)是基于该子集相似性测量的正确分类和错误分类;KT(C)和KT(I)是基于训练集的正确分类和错误分类;KF=KT(C)+KT(I)表示训练中网页总的分类.
PT(lt|C)=KT(lt,C)KT(C)(12)PT(lt|I)=KT(lt,I)KT(I)(13)PT(C)=KT(C)KF(14)PT(I)=KT(I)KF(15)把式(12)~(15)代入式(11)得PT(C|lt)=KT(lt|C)KT(lt,C)+KT(lt,I)(16)同理,对于视觉分类可以得PV(C|lv)=KV(lv|C)KV(lv,C)+KV(lv,I)(17)对于拓扑分类可以得PTP(C|ltp)=KTP(ltp|C)KTP(ltp,C)+KTP(ltp,I)(18)这里令a=PT(C|lt)PV(C|lv),b=PT(C|lt)PTP(C|ltp),c=PV(C|lv)PTP(C|ltp).
若α≥1&&β≥1,则文本特征所占比例较多,效果更好;若α网络钓鱼,这些数据均来自PhishTank[15].
对应于实际网页,数据集选取了几个比·1311·第4期徐欢潇,等:多特征分类识别算法融合的网络钓鱼识别技术较有代表性的网站来作为测试对象.
搜索———以Yahoo为例(钓鱼网站102个,正规网站4145个);电商———以PayPal为例(钓鱼网站1275个,正规网站4145个);银行———以HSBC为例(钓鱼网站226个,正规网站4145个);运营商———以Optus为例(钓鱼网站51个,正规网站4145个);游戏———以Steam为例(钓鱼网站48个,正规网站4145个)等.
通常地,评估不同分类好坏和融合算法优劣的三大指标分别是正确率(CCR)、漏报率(FNR)和误报率(FAR).
实验结果经实验分析贝叶斯算法、加权算法以及加权贝叶斯算法的分类结果,如图2所示.
图中涉及到的测试数据分别来自以上的三种方法.
很明显,只有在最后使用加权贝叶斯的时候,其CCR、FNR以及FAR的斜率都超过了0.
5,达到了极佳的状态.
可以说加权贝叶斯算法在正确率高的同时保证了较低的漏报率及误报率,证明了这种算法优于其他两种方法,提高了检测的精度.
!
"#$$#!
%#-.
/0.
10.
20.
30.
400.
40.
30.
20.
1-.
0&5'6)7)6899,!
40结束语本文提出了一种新的多特征分类识别的融合算法来识别网络钓鱼.
通过提取多个类别的特征,根据各类特征特点选用不同的识别方法,再通过结果融合确定识别结果.
实验进行了贝叶斯算法、加权算法以及加权贝叶斯算法三种方式的结果融合,比较了正确率、漏报率和误报率三个技术指标,研究结果证实加权贝叶斯算法表现出了较好的性能.
参考文献:[1]AntiPhishingAllianceofChina(APAC).
钓鱼网站处理简报[R/OL].
http://www.
apac.
org.
cn/gzdt/qwfb/201511/P020151111395504389062.
pdf.
[2]SharifiM,SiadatiSH.
Aphishingsitesblacklistgenerator[C]//ProcofIEEE/ACSInternationalConferenceonComputerSystemsandApplications.
[S.
l.
]:IEEEPress,2008:840843.
[3]KangJM,LeeDH.
Advancedwhitelistapproachforpreventingaccesstophishingsites[C]//ProcofInternationalConferenceonConvergenceInformationTechnology.
[S.
l.
]:IEEEPress,2007:491496.
[4]王惟.
一种基于内容分析的高性能反钓鱼识别引擎[J].
软件导刊,2015,14(4):139141.
[5]刘永明,杨婧.
基于图像相似性的Android钓鱼恶意应用检测方法[J].
计算机系统应用,2014,23(12):170175.
[6]PradeepthiKV,KannanA.
PerformancestudyofclassificationtechniquesforphishingURLdetection[C]//Procofthe6thInternationalConferenceonAdvancedComputing.
[S.
l.
]:IEEEPress,2014:135139.
[7]代磊,马卫东,王凌楠,等.
基于权重的朴素贝叶斯分类器设计与实现[J].
情报理论与实践,2008,31(3):440442.
[8]曹玖新,毛波,罗军舟,等.
基于嵌套EMD的钓鱼网页检测算法[J].
计算机学报,2009,32(5):922929.
[9]白鹤,汤迪斌,王劲林.
分布式多主题网络爬虫系统的研究与实现[J].
计算机工程,2009,35(19):1316.
[10]刘端阳,陆洋.
一种有指导的文本特征加权改进算法[J].
计算机工程,2012,38(8):128130.
[11]程克非,张聪.
基于特征加权的朴素贝叶斯分类器[J].
计算机仿真,2006,23(10):9294.
[12]李志聪,钟绍春.
自适应学习系统中朴素贝叶斯分类的应用研究[C]//全国理论计算机科学学术年会论文集.
哈尔滨:计算机工程与科学出版社,2009:102104.
[13]XuRuilin.
POSweightedTFIDFalgorithmanditsapplicationforanMOOCsearchengine[C]//ProcofInternationalConferenceonAudio,LanguageandImageProcessing.
[S.
l.
]:IEEEPress,2014:868873.
[14]WuYu,SheKun,ZhuW,etal.
AWebtextfilterbasedonroughsetweightedBayesian[C]//Procofthe8thIEEEInternationalConferenceonDependable,AutonomicandSecureComputing.
[S.
l.
]:IEEEPress,2009:241245.
[15]https://www.
phishtank.
com/[EB/OL].
(上接第1128页)[10]TalebT,SakhaeeE,JamalipourA,etal.
AstableroutingprotocoltosupportITSservicesinVANETnetworks[J].
IEEETransonVehicularTechnology,2007,56(6):33373347.
[11]EryilmazA,OzdaglarA.
Ondelayperformancegainsfromnetworkcoding[C]//Procofthe40thAnnualConferenceonInformationSciencesandSystems.
2006:864870.
[12]AlvandiM,MehmetM,HayesJF.
Delayoptimizationofwirelessnetworkswithnetworkcoding[C]//Procofthe24thCanadianConferenceonElectricalandComputerEngineering.
2011:12821287.
[13]SunBaolin,GuiChao,SongYing.
Performanceofnetworkcodingbasedmultipathroutinginwirelesssensornetworks[J].
InternationalJournalofComputerScienceIssues,2012,9(6):112120.
[14]谷文哲.
航空自组网QoS路由技术研究[D].
北京:北京邮电大学,2012.
[15]YuGeng,ZhongCongjiu,LanXiaoyu,etal.
Researchofmultipathroutingbasedonnetworkcodinginspaceinformationnetworks[J].
ChineseJournalofAeronautics,2014,27(3):663669.
[16]周彦伟,杨波,吴振强,等.
基于网络编码的匿名通信模型[J].
中国科学:信息科学,2014,44(12):15601579.
[17]段桂华,王伟平,王建新,等.
一种基于多路径网络编码的匿名通信机制[J].
软件学报,2010,21(9):23382351.
[18]国际民航组织.
自动相关监视—广播(ADSB)应用概念、缩略语一览表(ANConf/11WP/6)[C]//国际民航组织第11次航行会议论文集.
2003.
[19]WangDan,ZhangQian,LiuJiangchuan.
Partialnetworkcoding:theoryandapplicationforcontinuoussensordatacollection[C]//Procofthe14thInternationalWorkshoponQualityofService.
2006:93101.
[20]BroylesD,JabbarA,SterbenzJPG.
Designandanalysisofa3DGaussMarkovmobilitymodelforhighlydynamicairbornenetworks[C]//ProcofInternationalTelemeteringConference.
2009:156172.
[21]EhssanS,AbbasJ.
TheglobalinflightInternet[J].
IEEEJournalonSelectedAreasinCommunications,2006,24(9):8693.
[22]HyeonS,KimK,YangSW.
AnewgeographicroutingprotocolforaircraftAdhocnetworks[C]//Procofthe29thIEEEDigitalAvionicsSystemsConference.
2010:2128.
·2311·计算机应用研究第34卷