特征钓鱼网站查询

49CNN-MHSA:一种结合了卷积网络和多头自注意力机制的钓鱼网站识别方法网络空间安全CNN-MHSA:一种结合了卷积网络和多头自注意力机制的钓鱼网站识别方法摘要:如今,越来越多的钓鱼网站难以察觉,对网络安全构成了巨大的威胁.
钓鱼网站希望用户误认为它们是合法的,从而悄无声息地窃取用户信息和财产.
减轻这种威胁的传统方法是建立黑名单.
但是黑名单无法检测未出现在数据库中的URL.
作为改进,有研究采用深度学习方法提高检测精度,降低误判率.
但是很多深度学习方法只关注URL中的字符,而忽略了字符之间的关系,导致检测精度有待提高.
考虑到多头自注意力机制(MHSA)可以很好地学习URL的内部结构,本文提出了CNN-MHSA,一种结合了卷积网络(CNN)和MHSA的方法.
为了实现这一目标,CNN-MHSA首先以一个URL字符串作为输入数据,将其输入到一个成熟的CNN模型中以提取其特征.
同时,利用MHSA算法挖掘URL中的字符关系,为CNN学习到的特征计算相应的权重.
最后,CNN-MHSA结合URL的特征和权重,可以得到高精度的检测结果.
在实际采集的数据集上进行的实验表明,该方法的准确率达到99.
84%,优于经典的CNN-LSTM方法,比其他同类方法平均提高6.
25%.
关键词:网络钓鱼URL深度学习卷积网络多头自注意力机制肖喜1,2张殿炎1胡光武3江勇1,2夏树涛1,21.
清华大学深圳国际研究生院2.
鹏城实验室3.
深圳信息职业技术学院钓鱼网站拥有与合法网站相似的外观和URL地址,攻击者利用这些网站诱使人们在不知不觉中泄露其个人信息,最终达到违法目的,给受害者造成巨大损失[1].
以中国最大的银行之一中国工商银行(ICBC)的URL为例,攻击者可以借助DNS劫持和URL劫持等其他手段将官方网站URL"www.
ICBC.
com"伪造为"www.
1cbc.
com",这样做是为了让人们误以为它是真实的,因为相似的外观和网址很难将两者区分开.
一旦受害者登录,攻击者就可以获取他们的用户名、密码和其他个人信息.
此外,利用这些信息,攻击者可以冒充受害者身份登录合法网站并执行非法操作(例如汇款).
现在,这种威胁已经成为一种主要的网络攻击手段.
统计数据显示,这种威胁呈增长趋势.
根据反钓鱼工作组(APWG)的报告,截至2018年第一季度,钓鱼网站数量已达263538个,较2017年第四季度增长46%[2].
为了避免这种威胁,许多公司开发了反钓鱼工具[3].
例如:eBay发明了一个工具栏,设计黑名单阻拦钓鱼攻击[4].
然而,黑名单需要时间更新名单,在此期间可能会有很多人访问钓鱼网站并且成为受害者[5].
为了躲避黑名单的拦截,攻击者采用一次性的钓鱼网址,并且利用重定向到合法网站的手段引导用户访问.
为了解决这一问题,研究者们采用了支持向量机(SVM)和随机森林(RF)等机器学习方法,通过建立分类器来研究样本URL的特1.
引言50征,从而对新出现的URL做出判断[6-11].
训练分类器的特征需要专家从URL和HTML内容中进行提取,由于专家知识关注点的不同,训练效果和判断结果也不同.
相反,诸如长——短期记忆(LSTM)[12]等深度学习方法可以从满足分类器要求的原始数据中自动发现表示(特征).
具体地说,它们可以将低级表示转换为更抽象的高级表示,从而放大输入中对辨别很重要的方面,并抑制不相关的变化.
一般来说,深度学习方法比传统的机器学习方法能获得更好的分类效果.
在这些优秀的深度学习基础方法中,CNN-LSTM[13]将卷积神经网络(CNN)和LSTM结合在一起,CNN负责学习URL的特征并反馈给LSTM进行最终判断,取得了很好的效果.
分类结果表明,CNN-LSTM优于CNN和单一LSTM.
此外,Google为自然语言处理(NLP)提出了多头自注意力机制(MHSA).
由于它更注重句子的结构,因此可以发现句子不同特征之间的内在依赖关系,在分类准确率和训练速度方面均优于LSTM[14].
因此,它更适合于处理单词/字符串的情况.
在特征依赖关系分析中,MHSA作为权重矩阵,赋予特征不同的重要性.
受MHSA在NLP方面的发展启发,如果我们把一个URL(https://www.
icbc.
com)当作一个序列来处理,那么MHSA可以在经过训练后用来区分这个URL是否合法.
基于这一思想,我们设计了一个名为CNN-MHSA的深度学习模型来检测钓鱼网站,其中CNN被用来学习URL中的特征,MHSA被用来学习不同的特征权重.
将这两种技术的优点结合起来,可以使识别精度达到一个新的水平.
详细地说,CNN-MHSA首先接收一个URL字符串作为输入,并利用嵌入层将其转换为输入矩阵.
然后CNN-MHSA复制两份输入矩阵并同时输入两个模块.
一种是特征学习,另一种是权重计算.
前者利用卷积层和全连接层来学习特征的表示,而后者利用MHSA层和全连接层来计算特征权重.
然后,将学习到的特征和特征权重输入到由多头注意力层和全连接层构成的输出模块中,该输出模块将两部分数据进行结合,并输出输入URL是否是钓鱼URL的最终判断.
实验结果表明,该方法的准确率达到99.
84%,优于经典的CNN-LTSM方法,且平均高于其他方法[4,7,12,13,15]6.
25%.
我们的工作主要有以下贡献:我们建立了一个新的深度学习网络模型CNN-MHSA,它将卷积神经网络和多头自注意力机制巧妙地结合在一起,用来检测钓鱼网站.
据我们所知,之前没有研究将两种技术结合起来进行钓鱼网站识别.
URL可以被视为句子,因此我们可以利用MHSA检测钓鱼网站.
在我们的CNN-MHSA模型中,包括卷积层和MHSA层在内的几个层是有机连接的,前者用于学习URL的特征,后者用于计算相应特征的权重.
在实际数据集中对模型进行了评价,准确率达到99.
84%.
此外,我们定义了一些度量来评估和证明我们的模型优于其他方法.
本文的组织结构如下:第2部分总结了以往网络钓鱼网站的检测工作.
第3部分回顾了一些必要的背景知识.
接下来,第4部分详细介绍了我们的方法.
第5部分介绍了我们的实验,包括实验数据集和与其他方法的比较.
最后,第6部分对全文进行了总结,并列举了今后的工作.
为了减轻网络钓鱼网站的威胁,许多优秀的研究成果已经发表.
例如,像黑名单[16]这样的传统方式仍然被许多互联网公司使用,这实际上是一个包含被证明是钓鱼的URL的数据集,因此它可以用来阻止用户访问这些网站.
但是黑名单无法预测列表中没有出现的新URL,攻击者现在更倾向于使用一次性URL来采取行动.
因此基于图的、基于机器学习的和基于深度学习的方法应运而生.
有研究表明,42%的网络钓鱼网址包含其目标链接[17],通过绘制关系图可以找到网络钓鱼的目标网站.
为了从网络钓鱼中找到目标网站的线索,一些研究首先尝试搜索由可疑网页直接链接的初始关联网页.
例如,Zouetal[18]建立了一个具有马尔2.
相关工作2.
1基于图的方法51可夫随机场的AD-URL图,并采用信念传播算法进行检测.
AD-URL通过分析网络流量来表示用户和网站之间的相互行为.
Rameshatal[19]构造了一个寄生矩阵来表示两个站点之间的关系,并使用行和列的和来查找站点的目标链接.
矩阵的行的和表示链接的出度,列的和表示入度.
此外,Liuetal[20]结合了相关的页面,构建了一个称为寄生社区的大型图,然后通过一些度量标准简化该图,以明显地显示目标.
然而,建立一个图表需要很多时间和内存.
此外,攻击者可以很容易地学会在他的钓鱼网站中隐藏目标链接.
这些方法可以阻止零日攻击,但研究人员必须手动找到特征.
这限制了准确率的上升,因为没有人能够保证所选特征足以检测钓鱼网站.
作为一种改进,机器学习算法在网络钓鱼检测中得到了广泛的应用.
Zhangetal[4]设计了一个名为CANTINA的模型,使用TF-IDF从URL和HTML中提取关键词.
TF-IDF统计文档中的字符数和文档数,计算每个字符的分数并从文档中提取关键字.
每个站点中的前5个关键字被选中在Google中进行搜索.
如果顶级结果与网站具有相同的域,则该网站被视为合法.
包括朴素贝叶斯、支持向量机(SVM)和随机森林(RF)等在内的经典算法都取得了良好的效果.
有研究比较了四种算法:Logistic回归、支持向量机、RF和k近邻,发现RF的F-1得分最高.
此外,有研究从URL和HTML中提取了212个特征,然后选择梯度Boosting来构建分类模型.
这些方法从仿冒网站和合法网站中手动提取特征,并使用机器学习算法训练模型,以确定URL是钓鱼网站还是合法网站[21,22].
网站特征包括URL特征、HTML特征、图像特征和基于第三方服务的特征.
其中,URL特征包括URL的长度、URL中点的数量.
URL特征还包含URL是否是IP地址、URL是否有"@"、URL是否使用HTTPset等.
HTML特征由超链接数、输入表单数、图像数等组成.
图像特征包括方向梯度特征和颜色特征的直方图.
此外,基于第三方服务的特征还包括搜索引擎结果中的域的存在时间、页面排名等[7-12].
为了从样本中自动提取特征,近来的研究开始采用深度学习网络对钓鱼网站进行检测.
通常,这些方法首先将整个URL或HTML转换为一个矩阵(也称为嵌入).
然后将矩阵输入一个深度学习网络中.
最后,训练后的网络可以输出浮点结果(0,1),从而判断输入的URL是否是钓鱼网站.
对于普通的神经网络,多层感知器(MLP)[23]是最简单的网络,广泛应用于文本分类.
由于URL可以看作文本,Mohammadetal[24]和Nguyenetal[25]将MLP引入到网络钓鱼检测中,获得了较高的准确率.
此外,Bahnsenetal[12]通过128维嵌入的方式将URL的每个输入字符转换成150步长的序列,然后将序列输入到LSTM层.
最后,他们得到了更高的F-1分数,发现LSTM比传统的机器学习方法占用更少的内存.
此外,Zhangetal[26]利用深度置信网络(DBNs)检测钓鱼网站,通过能量函数的边缘分布计算概率分布,得到最大似然估计.
该方法比支持向量机提高了1%的准确率和2%的F-1得分.
Vermaetal[27]介绍了使用n-gram进行网络钓鱼网站检测的在线学习.
他们将URL分成gram,然后使用不同的在线学习算法来检测钓鱼网站.
Yangetal[13]将一个URL转换成一个具有一个热编码的矩阵,然后使用嵌入来减小矩阵的维数.
随后,将低维矩阵放入CNN中,然后进行LSTM的计算.
最后,他们使用softmax函数来获取结果.
正如他们所解释的,CNN可以从URL中学习特性,因为URL的每个字符都可能与附近的字符相关.
LSTM可以从字符序列中学习顺序依赖关系,因此它被用来捕获URL的上下文语意和依赖特征.
综上所述,深度学习方法可以用来让分类器得到更充分的训练,因为它们可以自动提取特征,而不是由人类手动指定.
然而,与传统的机器学习方法相比,这些方法需要更多的训练时间.
2.
2基于机器学习的方法2.
3基于深度学习的方法CNN-MHSA:一种结合了卷积网络和多头自注意力机制的钓鱼网站识别方法网络空间安全52为了帮助读者快速理解我们的方法,我们在该部分简要介绍了CNN和MHSA的背景知识.
方法更好的结果[35,36].
与LSTM相比,MHSA机制计算量小,训练速度快.
此外,LSTM认为查询中的后一个特性比前一个特性重要得多.
但是MHSA计算权重来表示每个特征的不同重要性,这被认为更适合钓鱼网站的检测.
其中,OW,QiW,KiW,KiW是参数矩阵.
最近,Google在机器翻译中引入了这种多头自注意力机制,并取得了比以前LSTM3.
研究背景卷积神经网络(CNN)[28,29]是一种前馈神经网络,核(kernel)不仅能对单个像素做出响应,而且能对其邻域做出响应.
通常,CNN包含卷积层和池化层.
前者用于学习一些小的、可移动的窗口(称为核)的特性.
之后,通过最大池化或平均池化减少特征的维数.
1998年,Lécunetal[30]设计了一个用于文档识别的CNN,因为他们认为CNN具有局部接收、共享权值和子采样等优点.
此外,CNN被应用于NLP领域.
例如,2014年,Kim[31]使用CNN进行句子分类.
图1展示了Kim方法的结构.
更具体地说,他先将每个单词从一个句子转换成一个向量.
然后,根据句子中单词的顺序纵向列出向量.
通过这种方式,他得到了一个二维矩阵,并将其放入卷积层和最大池化层.
最后,他将最大池化层的结果输入到一个全连接层中得到分类结果.
3.
1卷积神经网络图1CNN进行句子分类多头自注意力机制(MHSA)是目前广泛应用于机器翻译领域的一种注意力机制.
当一个人阅读一篇论文时,他不能对任何地方都给予同样的关注.
因此我们的眼睛会对不同的区域赋予不同的重要性来让我们的目光关注更加重要的地方.
注意力机制的灵感就来源于此[32,33].
注意力函数通常有三个输入,叫做查询、键和值,经过计算得到注意力结果[34].
点积注意力是迄今为止最常用的注意力函数之一:TKQKAttentionQKVsoftmaxVd=其中Q、K和V分别是查询、键和值的矩阵,dK表示键的维数.
如果Q、K和V相等,则该函数称为自注意力,这是一种与单个序列的不同位置相关的注意力机制,用于计算序列的表示.
它更关注查询的内部结构.
近年来,自注意力机制被成功地应用于阅读理解和语篇蕴涵等领域.
与CNN中的过滤器类似,单一的注意力不足以学习多个特征的权重.
为了使模型能够从不同的表示子空间学习信息,MHSA机制被提出为:3.
2多头自注意力机制(1)(2)(3)TKQKAttentionQKVsoftmaxVd=受MHSA在NLP中自动计算特征权重的优异性能以及MHSA挖掘URL中不同字符之间内在依赖关系的能力的启发,我们认为MHSA可以应用于URL分析,并且是优于LSTM的.
同时,我们也知道CNN可以在不需要人工干预的情况下自动学习URL的特性.
因此,我们将两种技术结合起来为钓鱼网站的识别服务,并取得了更好的效果.
最后,我们的实验结果证明了我们的想法.
在这一章中,我们将介绍CNN-MHSA模型的流程.
4.
CNN-MHSA1hMultiHeadQKVConcatheadheadWο=(,,)QKKiiiiheadAttentionQWKWVW=53图2展示了CNN-MHSA的总体流程,它包括一个嵌入层(embeddinglayer),N个特征学习模块(featurelearner),M个权重计算模块(weightcalculator)和一个输出模块(outputblock).
首先,模型通过嵌入层将输入URL转换为矩阵.
然后将矩阵复制两份,分别作为特征学习模块和权重计算模块的输入.
在权重计算过程中,用MHSA对输入进行处理以计算特征的权重.
同时,在特征提取模块中,将另一个被复制的URL矩阵放入卷积层学习特征.
两个并行的进程完成后,将两部分的输出一起输入到输出块,计算最终的分类结果.
我们从实验结果中了解到,这两个模块的数量均为3的时候,可以得到最好的结果.
接下来,我们将详细描它包括一个嵌入层(embeddinglayer),N个特征学习模块(featurelearner),M个权重计算模块(weightcalculator)和一个输出模块(outputblock).
首先,模型通过嵌入层将输入URL转换为矩阵.
然后将矩阵复制两份,分别作为特征学习模块和权重计算模块的输入.
在权重计算过程中,用MHSA对输入进行处理以计算特征的权重.
同时,在特征提取模块中,将另一个被复制的URL矩阵放入卷积层学习特征.
两个并行的进程完成后,将两部分的输出一起输入到输出块,计算最终的分类结果.
我们从实验结果中了解到,这两个模块的数量均为3的时候,可以得到最好的结果.
接下来,我们将详细描述每个部分的内部结构.
由于一个URL是由84种字符(a-z,a-z,0-9,组成的[37],我们使用一个独热编码[38]来表示每个字符.
具体来说,我们通过嵌入层将URL字符串转换为一个包含N(N是URL的长度)行和84列的矩阵.
例如,如果我们使用一个独热编码来处理字符串"http",嵌入层将首先为字符"h"生成一个84维向量,该字符的第8个数字是1,其余83个数字是0,因为它是84的第8个位置.
双字符"tt"将生成两个相同的向量,其对应"t"的位置的值为1,而其余的为0.
对于最后一个字符"p",嵌入层将生成最终向量,让第16个位置的值为1,而其余位置的值为0.
因此,可以用4*84矩阵来表示"http"字符串.
此外,由于处理效率的问题,它将通过神经网络将维数从84降到64,因此转换后的矩阵大小为N*64,并且这种维数的降低不会导致信息丢失.
然而,由于神经网络只能处理固定长度的向量,因此必须将不同长度的URL处理成相同长度的,以便使最终输出成为具有固定长度(为L)行和64列的矩阵.
方法是修剪超过L的字符和用0填充不足的部分.
换句话说,不同长度的URL将首先被修剪/填充为固定长度L,然后每个字符将用64维向量表示.
因此,这个嵌入层的最终输出是一个L*64的矩阵,其中L是一个超参数,我们将在后续实验中对其进行研究.
4.
1总览4.
2嵌入层图2CNN-MHSA流程图特征学习模块负责从嵌入层输出的矩阵中自动提取特征.
如图3所示,一个特征学习模块有四个层,即卷积层(Convolutionallayer)、两个残差层(Residuallayer)和一个全连接层(Fullyconnectedlayer).
作为数据处理流程,嵌入层输出的固定维度的矩阵将首先输入到第一个特征学习模块的层中,该层包含5个用于从不同空间学习特征的核和一个用于从5个核中选择最佳结果的最大池化.
下一步,来自该层的输出将由两个残差层中的一个进行处理,以解决网络退化问题:通过增加卷积层的输入和输出,精度得到饱和,然后随着网络深度的4.
3特征学习模块CNN-MHSA:一种结合了卷积网络和多头自注意力机制的钓鱼网站识别方法网络空间安全54增加,快速退化[39].
此外,使用具有ReLU激活函数的全连接层来增强神经网络的表达能力,并提高从输入数据中提取特征的效率:其中pos是字符在URL中的位置,而k是维度的索引.
以字符串"http"为例,嵌入层的输出应该是((1000),(0100),(0100),(0010)),那么位置编码矩阵将是:此外,我们可以将位置编码矩阵和独热编码矩阵相加,从而得到整个URL字符串的位置编码结果.
此外,结果矩阵将被送入MHSA层,MHSA层有8个头,负责处理每8维矩阵数据,每个头的参数(Q,K,V)是一样的.
因此,经过处理后,MHSA层的输出尺寸仍然是64,与输入尺寸相同.
之后,MHSA层的输入和输出数据都将被发送到残差层,以缓解网络退化问题.
然后全连接层接收残差层的输出,提高数据的表达能力.
最后一个残差层起着与前一个相同的作用.
注意,这是M个权重计算模块之一,其余M-1个权重计算模块通过处理每个先前模块的输出得到最终的权重矩阵.
(4)其中w和b是参数矩阵,x是函数的输入.
此外,第二个残差层将全连接层的输入和输出相加来提高训练精度.
最后,由于我们将全连接层和残差层的维数都设为64,所以残差层的结果矩阵仍然保持64的维度,这也等于特征矩阵的维度.
但请注意,这是一个单轮特征学习,输出结果将由其余的N-1个特征学习模块进行继续学习,以便充分获取特征数据.
图3特征学习模块为了计算特征权重,我们设计了权重计算模块,它包含一个MHSA层、两个残差层和一个全连接层,如图4所示.
首先,嵌入层的输出(包含URL字符串信息的矩阵)需要通过位置编码(Positionalencoding)注入其字符的位置信息,该位置编码包含URL字符串序列中字符的相对位置.
例如,字符串"http"中的两个连续字母"tt"有不同的位置,即使它们是相同的.
因此我们需要一些位置编码对它们进行区分.
位置编码方法有很多,我们在工作中使用了正弦和余弦函数:在从特征学习模块那里得到特征,从权重计算模块那里得到特征权重之后,我们使用一个输出模块将它们组合起来得到最终的结果.
图5显示了输出模块的结构.
首先,特征和特征权重的两个副本作为三个参数(Q,K,V)在多头注意力层(Multi-headattention)上进行计算.
然后将多头注意力层的原始输入和输出输入到残差层中.
之后,具有ReLU激活功能的全连接层接收残差层的输出.
此外,我们将全连接层的输出和输入放在另一个残差层上.
最后,残差层的输出仍然需要输入到全连4.
4权重计算模块4.
5输出模块sin()1000064kposPEkisevenk=(5)cos()1000064kposPEkisoddk=(6)图4权重计算模块max(0,)=+Tywxb55为了充分评价我们的模型并得到准确的分类结果,我们准备了一个包含88984个URL样本的大型数据集,其中45000个是合法的,43984个是钓鱼的.
合法部分于2018年7月从5000bestwebsites[40]中收集,而网络钓鱼部分则从PhishTank[41]中收集.
钓鱼网站的数据于2018年4月至2018年7月被报告.
同时,术语"batch"是指我们的模型一次可以处理的URL的数量,而"epoch"是指训练全部数据的回合.
在我们的实验中,我们batch设置为10,epoch设置为50.
此外,我们采用五重交叉验证测试方法得到结果:将数据集分成五个大致相等的部分,并进行五轮测试/训练过程.
在每一轮中,我们使用不同的五分之一进行测试,其余五分之四用于训练.
五轮过后,五个部分全部测试一次,最终结果是五个结果的平均值.
为了全面描述我们的模型的性能,我们使用了5个指标,即准确度(Acc)、FPR、召回率(Rec)、准确度(Pre)和F-1得分(F1),来评估我们的模型.
首先,如果我们让TP表示是钓鱼且被正确分类的URL的数目,TN表示合法且被识别为合法的URL的数目,FP表示被错误分类为钓鱼的合法URL的数目,而FN表示被识别为合法的钓鱼网址的数量,则五个指标可以表示为:接层中进行分类.
此外,输出模块中的所有子层都是64维的.
最后,输出模块将输出0到1之间的结果.
如果数字大于0.
5,则将输入URL分类为合法网站,否则(<=0.
5),这意味着该URL被标识为钓鱼网站.
5.
1数据集5.
2评价指标图5输出模块在此部分中,我们首先介绍实验数据集和评价指标.
之后给出不同超参数和结构下的实验结果.
最后,我们使用不同的评价指标比较了传统方法[7,13,15]和我们的方法(CNN-MHSA).
在上述指标中,Acc反映了正确分类的比例.
FPR表示所有合法URL中预测为钓鱼URL的百分比,Rec表示我们在所有钓鱼URL中成功检测的百分比.
Pre表示我们在所有预测钓鱼URL中正确检测到的钓鱼URL的百分比.
F1是Rec和Pre的调和平均值.
由于网络钓鱼识别模型总是以发现所有的网络钓鱼网站为目标,因此Rec是最适合体现这一目标的指标,并且越高越好.
FPR也是衡量模型性能的一个重要指标且越低越好.
如果FPR接近于0,则意味着模型几乎可以正确地检测所有合法的URL.
精度则是越高越好.
最后,F1表示该模型的整体性能.
5.
实验验证(7)(8)(9)(10)(11)RecF12PrePre+Rec=PreTPTPFP=+RecTPTPFN=+FPRFPFPTN=+AccTPTNTPTNFPFN+=+++在我们的数据集中,有80246个长度小于100的URL,5856个长度在100到200之间,3444个长度在200到300之间,269个长度在300到400之间.
另外,其他125个URL的长度大于400,小于900.
但是,我们的模型只能处理固定长度的URL作为输入,因此我们必须为所有URL设置固定长度L,正如我们在嵌入层上所做的.
如果URL5.
3超参数对模型结果的影响CNN-MHSA:一种结合了卷积网络和多头自注意力机制的钓鱼网站识别方法网络空间安全56长度超过L,则丢弃多余的部分;否则,我们在URL字符串的末尾填充0.
通过实验,我们发现L=100是最完美的.
同时,N是特征抽取模块的个数,M是权重计算模块的个数,这决定了模型的深度和效率.
深度越大,模型中的权值就越多,以适应分类的函数.
通常情况下,权重的数目越大,模型拟合的精度就越高.
此外,当M和N均大于3时,模型性能的变化趋势趋于平缓且似乎不变.
这显示该模型的性能是有限的.
然而,当M和N变得更大时,用于训练的资源也会变得更多.
换句话说,更多的资源不能得到更好的回报.
为了平衡准确率和资源,我们为下面的实验设置了M和N为3的基础.
由于我们的方法需要固定长度的输入,我们研究了固定长度L对模型精度的影响.
表1M和N对模型的影响表1展示了L固定为80时,M和N对模型的影响.
当M变成5时,我们得到了最好的结果,即97.
11%的准确率,1.
51%的FPR,95.
66%的召回率,98.
37%的准确度和97.
00%的F-1分数.
当M为1时,结果最差,准确率为95.
02%,FPR为5.
90%,召回率为95.
94%,准确度为94.
21%,F-1得分为95.
07%.
随着M的增加,准确率、召回率、准确度和F-1得分变得更高,而FPR变得更低.
当M达到5时,准确率比M为1时高2.
09%,F-1得分高1.
93%.
同样,当N为5时,我们得到了最佳结果,即97.
19%的准确率,1.
42%的FPR,95.
73%的召回率,98.
47%的准确度和97.
08%的F-1得分.
当N为1时,模型表现最差,准确率为94.
90%,FPR为4.
08%,召回率为94.
29%,准确度为95.
46%,F-1得分为94.
87%.
随着N的增加,准确率、召回率、准确度和F-1得分都会增加,而FPR则会减少,这与M的趋势是一样的.
图6显示当L为80时,准确率和F-1分数随M和N的变化的结果.
当M和N变得更大时,这两个指标都会提升.
结果表明,网络越深模型的性能越好.
对于分类任务,较深的模型会放大输入的某些特征,这些特征对于区分非常重要.
网络的图7展示了长度小于200的URL的长度分布.
在89940个URL中,长度小于200的URL有86102个,这意味着L在小于200时对结果有很大的影响.
因此,我们设置L为[20,40,60,…,160,180,200]进行实验.
表2给出了不同长度的钓鱼URL的一些示例.
图6准确率和F-1评分随M和N的变化图7长度小于200的URL的长度分布57表3显示当N和M都设置为3时,不同L下的结果.
结果指出我们的模型在L为100时表现最好,在L为20时表现最差.
当L为100时,准确率为99.
84%,比L为20时高5.
22%.
此外,当L为100时,召回率、准确度和F-1得分分别为99.
95%、99.
73%和99.
84%.
分别比L为20时高出10.
29%、0.
49%和5.
64%.
当L变化时,FPR一直很低,当L为40时,FPR最低,即0.
18%.
图8显示了当M和N都是3时,不同L下模型的准确率、召回率、准确度和F-1分数.
当L为100时,得到最高的准确率、召回率和F-1分数.
无论是增加还是减少L,准确率、召回率和F-1得分都低于100时的对应指标.
此外,当L为20时的准确率、召回率和F-1得分低于L为200时的对应指标.
当L从100开始下降时,准确率、召回率和F-1得分的变化趋势不同.
此外,当L大于140时,准确率、召回率和F-1得分的变化趋势趋于平缓.
相比之下,准确率和F-1得分的变化小于召回率.
这意味着召回率对L的变化比准确率和F-1分数更敏感.
另一方面,准确度随L的变化而变化,没有规律,但每当L变化时,准确度变化很小.
当L为40时准确度最高,而L为160时准确度最低.
结果表明,L既不能太短也不能太长.
较短的URL可能没有足够的信息以供分类识别.
例如,仅使用IP地址的URL很短,但URL中的信息有限,因此我们的模型无法从中学习特征.
此外,长的URL会有太多无用的信息来迷惑用户.
如果模型学习了很多无用的特征,它识别钓鱼网址的效率就会很低.
表2不同长度的钓鱼URL示例图8不同L下模型的性能变化表3不同L下的模型表现在这一小节中,我们给出了不同的网络结构对模型结果的影响(CNN,LSTM,CNN-CNN,CNN-LSTM),我们将L设为100,N和M设为1进行对比实验.
CNN和LSTM均设置为一层网络.
和我们的模型一样,CNN-CNN和CNN-LSTM分别用CNN和LSTM代替了含有多头自注意力权重计算模块.
表4展示了不同网络结构的结果.
CNN和LSTM的准确率分别为97.
13%和97.
56%,均低于其他方法.
结果指出两种网络的结合有助于提高模型的性能,单一的网络往往没有复合网络效果好.
此外,LSTM的性能是优于CNN的,CNN-LSTM的性能优于CNN-CNN.
这表明LSTM在句子分类方面优于CNN.
原因可能是LSTM可以有效地从字符序列中学习上下文信息.
我们的方法的准确率和F1分别为98.
34%和98.
30%,均为最高.
这表明多头自注意力机制在5.
4网络结构对模型结果的影响CNN-MHSA:一种结合了卷积网络和多头自注意力机制的钓鱼网站识别方法网络空间安全58钓鱼网站识别方面优于CNN和LSTM.
然而,我们的方法的FPR为1.
76%,高于CNN-LSTM的0.
82%,这表明相比CNN-LSTM,我们的方法将更多的合法网站分类为钓鱼网站.
F-1得分为90.
14%.
AlJanabietal[7]得到的准确率、FPR、召回率、准确度和F-1得分分别为90.
10%、13.
63%、94.
02%、86.
78%和90.
25%.
Marchaletal[15]的准确率为92.
17%,FPR为9.
95%,召回率为94.
40%,准确度为90.
03%,F-1得分为92.
16%.
我们的方法的FPR比前两种方法低约13%,比第三种方法低约9%.
我们的方法的召回率为99.
95%,高于其他方法.
与传统方法相比,我们的方法能更准确地区分钓鱼网站和合法网站且提取特征不需要专家知识.
表4不同网络结构的结果图9不同方法的结果对比对于训练时间,我们的方法平均使用32分钟训练一个epoch.
CNN-LSTM使用119分钟,几乎是我们方法的四倍.
CNN-CNN使用35分钟,LSTM使用73分钟,CNN使用28分钟.
同样,Bahnsenetal[12]和Yangetal[13]也不需要手动提取特征,准确率分别为97.
53%和98.
18%,FPR分别为1.
97%和0.
82%,召回率分别为97.
01%和97.
13%,准确度分别为97.
91%和99.
12%,F-1得分分别为97.
46%和98.
11%.
他们的表现也比其他三种方法好,但比我们的方法稍差.
研究表明,深度学习方法比传统的机器学习方法更适合用于钓鱼网站检测.
传统的机器学习算法需要人工处理URL并从中提取特征.
这些特征可能是不完整的,因为一个人的知识是有限的.
相反,深度学习方法可以输入原始数据并自动发现分类所需的表示(特征).
它们有多个层,每个层都将低级表示转换为稍微抽象一点的高级表示,这会放大输入的某些方面,这些方面对辨别很重要,并抑制不相关的变化.
因此,一般来说,深度学习方法可以取得比传统机器学习方法更好的效果.
此外,与LSTM相比,该模型中的多头自注意力机制关注我们比较了前面的五种方法[4,7,12,13,15]和我们的方法.
Zhangetal[4]设计了一个名为CANTINA的模型来检测钓鱼网站.
CANTINA使用TF-IDF从URL和HTML中提取关键词.
每个网站的前5个关键字被选出来进行谷歌搜索.
如果前10个结果与网站具有相同的域名,则该网站被视为合法网站.
此外,Marchaletal[15]从URL和HTML中提取了212个特征,如点的数量、域名数量、URL长度和URL中的短语数量.
他们选择梯度增强来建立分类模型.
AlJanabietal[7]也使用URL和HTML来获取特性,但他们使用随机森林算法进行分类.
此外,Bahnsenetal[12]将URL作为序列处理,并将URL转换为150维度的矩阵.
然后将矩阵输入到长短时记忆网络(LSTM)进行检测.
Yangetal[13]使用独热编码和词嵌入将URL转换为矩阵.
矩阵被放入由CNN和LSTM组成的网络中.
最后,利用softmax函数得到分类结果.
在图9中,使用我们的大型新数据集和5倍交叉验证给出了五种方法的最终结果.
我们的方法(M和N设为3,L设为100)有着最低的FPR0.
26%,最高的准确率99.
84%,最高的F-1分数99.
84%.
相比之下,Zhangetal[4]的准确率为89.
98%,FPR为13.
75%,召回率为93.
89%,准确度为86.
67%,5.
5与其他方法的对比59URL的内部结构,寻找不同字符之间的内部依赖关系,并为每个特征提供特定的权重.
不同的特征对分类的重要性不同,所提供的权重可以用来描述不同的特征.
因此,我们的方法比其他方法表现更优.
钓鱼网站对互联网用户的巨大威胁近年来呈上升趋势.
受CNN-LSTM的启发,考虑到多头自注意力机制(MHSA)会计算每个特征的权重以表达特征的不同重要性,而长短时记忆(LSTM)总是在查询中对后一个特征的关注要比前一个更多可能包含偏差,因此本文提出了一种新颖的、高精度的方法将卷积神经网络(CNN)和MHSA相结合,提高了钓鱼网站的识别精度.
CNN-MHSA首先应用CNN自动研究URL的特性,而无需人工干预.
此外,考虑到URL中字符的内部依赖关系是一个重要的特征,CNN-MHSA利用MHSA来探索这些关系,从而为CNN研究的特征生成权重.
最后,通过实验验证,CNN-MHSA的准确率达到99.
84%,高于以往所有方法.
在未来,我们计划同时考虑URL及其HTML内容,以进一步提高检测精度.
同时,由于URL的长度参数L可能会影响模型的鲁棒性,因此我们将尝试减少L的影响.
6.
总结与未来工作致谢:该论文得到以下项目的资助:广东省国家自然科学基金(2018A030313422)、国家自然科学基金(6197221961771273)、国家重点研究开发项目(2018YFB1800204、2018YFB1800600)、广东省重点研究开发项目(2019b001136001)、广东省科技计划项目资助LZC0023、LZC0024、深圳市研发项目(JCYJ20180508152204044、JCYJ20170817115335418)、PCL未来区域网络设施的大规模实验和应用研究基金(PCL2018KP001).
[1]Merwe,A.
V.
D.
,Loock,M.
,Dabrowski,M.
:CharacteristicsandResponsibilitiesinvolvedinaPhishingAttack.
In:WinterInternationalSymposiumonInformationandCommunicationTechnologies,pp.
249-254.
TrinityCollegeDublin(2005).
[2]ReportfromAPWG,\url{http://docs.
apwg.
org/rep-orts/apwg\_trends\_report\_q4\_2018.
pdf}.
[3]Liang,B.
,Su,M.
,You,W.
,Shi,W.
,Yang,G.
:CrackingClassifiersforEvasion:ACaseStudyontheGoogle'sPhishingPagesFilter.
In:InternationalConferenceonWorldWideWeb(WWW'16),pp.
345-356.
Montréal,Québec,Canada(2016).
[4]Zhang,Y.
,Hong,J.
I.
,Cranor,L.
F.
:Cantina:acontent-basedapproachtodetectingphishingwebsites.
In:Proceedingsofthe16thinternationalconferenceonWorldWideWeb(WWW'07),pp.
639-648.
Banff,Alberta,Canada(2007).
[5]Cui,Q.
,Jourdan,G.
V.
,Bochmann,G.
V.
,Couturier,R.
,Onut,I.
V.
:TrackingPhishingAttacksOverTime.
In:The26thInternationalConferenceonWorldWideWeb(WWW'17),pp.
667-676.
Perth,Australia(2017).
[6]Rao,R.
S,Pais,A.
R.
:NeuralComputingandApplications-Detectionofphishingwebsitesusinganefficientfeature-basedmachinelearningframework.
NeuralComput&Applic,1--23(2018).
参考文献CNN-MHSA:一种结合了卷积网络和多头自注意力机制的钓鱼网站识别方法网络空间安全60[7]Al-Janabi,M.
,Quincey,E.
D.
,Andras,P.
:UsingsupervisedmachinelearningalgorithmstodetectsuspiciousURLsinonlinesocialnetworks.
In:Ieee/AcmInternationalConferenceonAdvancesinSocialNetworksAnalysisandMining(ASONAM'17),pp.
1104-1111.
Sydney,Australia(2017).
[8]Abutair,H.
,Belghith,A.
,AlAhmadi,S.
J.
:UsingCase-BasedReasoningforPhishingDetection.
JournalofAmbientIntelligenceandHumanizedComputing,1--14(2018).
[9]Jain,A.
K.
,Gupta,B.
B.
:Towardsdetectionofphishingwebsitesonclient-sideusingmachinelearningbasedapproach.
TelecommunicationSystems,687--700(2017).
[10]Rajab,M.
:Ananti-phishingmethodbasedonfeatureanalysis.
In:The2ndInternationalConferenceonMachineLearningandSoftComputing(ICMLSC'18),pp.
133-139.
PhuQuocIsland,VietNam(2018).
[11]Blum,A.
,Wardman,B.
,Solorio,T.
,Warner,G.
:LexicalfeaturebasedphishingURLdetectionusingonlinelearning.
In:Proceedingsofthe3rdACMworkshoponArtificialintelligenceandsecurity(AISec'10),pp.
54-60.
Chicago,Illinois,USA(2010).
[12]Bahnsen,A.
C.
,Bohorquez,C.
E.
,Villegas,S.
,Vargas,J.
,González,F.
A.
:ClassifyingphishingURLsusingrecurrentneuralnetworks.
In:2017APWGSymposiumonElectronicCrimeResearch(eCrime),pp.
1-8.
Scottsdale,AZ,USA(2017).
[13]Yang,P.
,Zhao,G.
,Zeng,P.
:PhishingWebsiteDetectionBasedonMultidimensionalFeaturesDrivenbyDeepLearning.
IEEEAccess,15196--15209(2019).
[14]Vaswani,A.
,Shazeer,N.
,Parmar,N.
,Uszkoreit,J.
,Jones,L.
,Gomez,A.
N.
,Kaiser,L.
,Polosukhin,I.
:AttentionIsAllYouNeed.
In:31stConferenceonNeuralInformationProcessingSystems,LongBeach,CA,USA(2017).
[15]Marchal,S.
,Franois,J.
,State,R.
,Engel,T.
:PhishStorm:detectingphishingwithstreaminganalytics.
IEEETransactionsonNetworkandServiceManagement,458--471(2014).
[16]Aravindhan,R.
,Shanmugalakshmi,R.
,Ramya,K.
,C,S.
:CertainInvestigationonWebApplicationSecurityPhishingDetectionandPhishingTargetDiscovery.
In:20163rdInternationalConferenceonAdvancedComputingandCommunicationSystems,pp.
1-10.
Coimbatore,India(2016).
[17]Cova,M.
,Kruegel,C.
,Vigna,G.
:Thereisnofreephish:ananalysisof``freeandlivephishingkits".
In:The2ndconferenceonUSENIXWorkshoponoffensivetechnologies(WOOT'08).
SanJose,CA,USA(2008).
[18]Zou,F.
,Gang,Y.
,Pei,B.
,Pan,L.
,Li,L.
:WebPhishingdetectionbasedongraphmining.
In:20162ndIEEEInternationalConferenceonComputerandCommunications(ICCC),pp.
1061-1066.
Chengdu,China(2016).
[19]Ramesh,G.
,Gupta,J.
,Gamya,P.
G.
:Identificationofphishingwebpagesanditstargetdomainsbyanalyzingthefeignrelationship.
JournalofInformation61SecurityandApplications,75--84(2017)[20]Liu,W.
,Liu,G.
,Qiu,B.
,Quan,X.
:AntiphishingthroughPhishingTargetDiscovery.
IEEEInternetComputing,52-61(2012).
[21]Zuhair,H.
,Selamat,A.
:Phishingclassificationmodels:Issuesandperspectives.
In:2017IEEEConferenceonOpenSystems(ICOS),pp.
26-31.
Miri,Sarawak,Malaysia(2017).
[22]Corona,I.
,Biggio,B.
,Contini,M.
,Piras,L.
,Corda,R.
,Mereu,M.
,Mureddu,G.
,Ariu,D.
,Roli,F.
:DeltaPhish:DetectingPhishingWebpagesinCompromisedWebsites.
In:FoleyS.
,GollmannD.
,SnekkenesE.
(eds)ComputerSecurity–ESORICS2017.
ESORICS2017.
LectureNotesinComputerScience,vol10492,pp.
370-388.
Springer,Cham(2017).
[23]Xiao,X.
,Wang,Z.
,Li,Q.
,Xia,S.
,Jiang,Y.
:Back-propagationneuralnetworkonmarkovchainsfromsystemcallsequences:anewapproachfordetectingandroidmalwarewithsystemcallsequences.
IetInformationSecurity,8-15(2017).
[24]Mohammad,R.
M.
,Thabtah,F.
,Mccluskey,L.
:Predictingphishingwebsitesbasedonself-structuringneuralnetwork.
NeuralComputing\&Applications,443-458(2017).
[25]Nguyen,L.
A.
T.
,Ba,L.
T.
,Nguyen,H.
K.
,Nguyen,M.
H.
:Anefficientapproachforphishingdetectionusingsingle-layerneuralnetwork.
In:2014InternationalConferenceonAdvancedTechnologiesforCommunications(ATC2014),pp.
435-440.
Hanoi,Vietnam(2014).
[26]Zhang,J.
,Li,X:PhishingDetectionMethodBasedonBorderline-SmoteDeepBeliefNetwork.
In:WangG.
,AtiquzzamanM.
,YanZ.
,ChooKK.
(eds)Security,Privacy,andAnonymityinComputation,Communication,andStorage.
SpaCCS2017.
LectureNotesinComputerScience,vol10658,pp.
45-53.
Springer,Cham(2017).
[27]Verma,R.
,Das,A.
:What'sinaURLFastFeatureExtractionandMaliciousURLDetection.
In:Proceedingsofthe3rdACMonInternationalWorkshoponSecurityAndPrivacyAnalytics,pp.
55-63.
ACM,Scottsdale,Arizona,USA(2017).
[28]Ketkar,N.
:ConvolutionalNeuralNetworks.
DeepLearningwithPython,63--78(2017).
[29]Schmidhuber,J.
:Multi-columndeepneuralnetworksforimageclassification.
In:ComputerVisionandPatternRecognition,pp.
3642-3649.
Providence,RhodeIsland(2012).
[30]Lécun,Y.
,Bottou,L.
,Bengio,Y.
,Haffner,P.
:Gradient-basedlearningappliedtodocumentrecognition,pp.
2278-2324.
In:ProceedingsoftheIEEE(1998).
[31]Kim,Y.
:Convolutionalneuralnetworksforsentenceclassification.
In:The2014ConferenceonEmpiricalMethodsinNaturalLanguageProcessing(EMNLP),pp.
1746–1751.
Doha,Qatarpages(2014).
[32]Mnih,V.
,Heess,N.
,Graves,A.
,Kavukcuoglu,K.
:Recurrentmodelsofvisualattention.
In:The27thInternationalConferenceonNeuralCNN-MHSA:一种结合了卷积网络和多头自注意力机制的钓鱼网站识别方法网络空间安全62InformationProcessingSystems(NIPS'14),pp.
2204-2212.
Montreal,Canada(2014).
[33]Bahdanau,D.
,Cho,K.
,Bengio,Y.
:Neuralmachinetranslationbyjointlylearningtoalignandtranslate.
In:InternationalConferenceonLearningRepresentations(ICLR).
SanDiego,California(2015).
[34]Luong,M.
T.
,Pham,H.
,Manning,C.
D.
,:EffectiveApproachestoAttention-basedNeuralMachineTranslation.
ComputerScience,1412–1421(2015).
[35]Lin,Z.
,Feng,M.
,Santos,C.
N.
D.
,Yu,M.
,Xiang,B.
,Zhou,B.
,Bengio,Y.
:Astructuredself-attentivesentenceembedding.
In:5thInternationalConferenceonLearningRepresentations(ICLR).
PalaisdesCongrèsNeptune,Toulon(2017).
[36]Parikh,A.
P.
,Tckstrm,O.
,Das,D.
,Uszkoreit,J.
:Adecomposableattentionmodelfornaturallanguageinference.
In:The2016ConferenceonEmpiricalMethodsinNaturalLanguageProcessing(EMNLP),pp.
2249–2255.
Austin,Texas(2016).
[37]Berners-Lee,T.
,Masinter,L.
,McCahill,M.
:Uniformresourcelocators(url).
RFCEditor,106-107(1994).
[38]Harris,D.
M.
,Harris,S.
L.
:Digitaldesignandcomputerarchitecture.
2ndedn.
Elsevier(2013).
[39]He,K.
,Zhang,X.
,Ren,S.
,Sun,J.
:Deepresiduallearningforimagerecognition.
In:2016IEEEConferenceonComputerVisionandPatternRecognition(CVPR),pp.
770-778.
LasVegas,NV,USA(2016).
[40]5000BESTWEBSITESHomepage,\url{http://5000best.
com/websites/}.
[41]PhishTankHomepage,\url{https://www.
phishtank.
com}.
63ABSTRACT:Increasingphishingsitestodayhaveposedgreatthreatsduetotheirterriblyimperceptiblehazard.
Theyexpectuserstomistakethemaslegitimateonessoastostealuserinformationandpropertieswithoutnotice.
Theconventionalwaytomitigatesuchthreatsistosetupblacklists.
However,itcannotdetectone-timeUniformResourceLocators(URL)thathavenotappearedinthelist.
Asanimprovement,deeplearningmethodsareappliedtoincreasedetectionaccuracyandreducethemisjudgmentratio.
However,someofthemonlyfocusonthecharactersinURLsbutignoretherelationshipsbetweencharacters,whichresultsinthatthedetectionaccuracystillneedstobeimproved.
Consideringthemulti-headself-attention(MHSA)canlearntheinnerstructuresofURLs,inthispaper,weproposeCNN-MHSA,anConvolutionalNeuralNetwork(CNN)andtheMHSAcombinedapproachforhighly-precise.
Toachievethisgoal,CNN-MHSAfirsttakesaURLstringastheinputdataandfeedsitintoamatureCNNmodelsoastoextractitsfeatures.
Inthemeanwhile,MHSAisappliedtoexploitcharacters'relationshipsintheURLsoastocalculatethecorrespondingweightsfortheCNNlearnedfeatures.
Finally,CNN-MHSAcanproducehighly-precisedetectionresultforaURLobjectbyintegratingitsfeaturesandtheirweights.
Thethoroughexperimentsonadatasetcollectedinrealenvironmentdemonstratethatourmethodachieves99.
84%accuracy,whichoutperformstheclassicalmethodCNN-LSTMandatleast6.
25%higherthanothersimilarmethodsonaverage.
KEYWORDS:PhishingURLDeeplearningConvolutionallayerMulti-headself-attentionCNN-MHSA:AConvolutionalNeuralNetworkandMulti-HeadSelf-AttentionCombinedApproachforDetectingPhishingWebsitesXiaoXi1,2ZhangDianyan1HuGuangwu3JiangYong1,2XiaShutao1,21.
TsinghuaShenzhenInternationalGraduateSchool,TsinghuaUniversity2.
PengChengLaboratory3.
SchoolofComputerScience,ShenzhenInstituteofInformationTechnologyCNN-MHSA:一种结合了卷积网络和多头自注意力机制的钓鱼网站识别方法网络空间安全