入侵极限兵神

JournalofComputerApplicationsISSN1001-90812015-【-10计算应用,2015,CODENJYIIDUhttp://www.
joca.
cn收稿日期:修回日期:基金项目:国家自然科学基金项目(60773013)资助作者简介:康松林(1968-),男,湖南新化,副教授,硕士,研究方向为网络信息安全;刘乐(1991-),女,湖南邵阳,硕士研究生,研究方向为网络信息安全;刘楚楚(1990-),女,湖南湘潭,硕士研究生,研究方向为网络信息安全;廖锓(1990-),男,湖南长沙,硕士研究生,研究方向为数据挖掘文章编号:1001-9081(2015)【-0000-00oi:10.
11772/j.
issn.
1001-9081.
2015.
【.
0000多层极限学习机在入侵检测中的应用康松林*,刘乐,刘楚楚,廖锓(中南大学信息科学与工程学院,湖南长沙410083)(*通信作者电子邮箱sunkang@mail.
csu.
edu.
cn)摘要:针对神经网络在入侵检测应用存在的高维度,大数据,获取标记样本难,特征构造难,训练难这几个问题,提出了一种基于深度多层极限学习机(ML-ELM)的入侵检测方法.
首先,采用多层网络结构和深度学习方法抽取检测样本最高层次的抽象特征,用奇异值对入侵检测数据进行特征表达;然后,利用极限学习机建立入侵检测数据的分类模型;其次,利用逐层的无监督学习方法解决入侵检测获取标记样本难的问题;最后采用KDD99数据集对该方法的性能进行了验证.
实验结果表明:多层极限学习机的方法提高了检测正确率,检测漏报率也低至0.
48%,检测速度比其他深度模型的检测方法提高了6倍以上.
同时在极少标记样本的情况下仍有85%以上的正确率.
通过多层网络结构的构建提高了对U2L,R2L这两类攻击的检测率.
该方法集成深度学习和无监督学习的优点,能对高维度,大数据的网络记录用较少的参数得到更好的表达,在入侵检测的检测速度以及特征表达两个方面都具有优势.
关键词:入侵检测;高维度;大数据;获取标记样本;特征构造;训练;多层极限学习机中图分类号:TP393.
08文献标志码:AIntrusionDetectionBasedonMultipleLayerExtremeLearningMachineKANGSonglin,LIULe,LIUChuchu,LIAOQin(SchoolofInformationScienceandEngineering,CentralSouthUniversity,Changsha410083,China)Abstract:Inviewofhighdimension,bigdata,thedifficultyofgettinglabeledsamples,theproblemoffeatureexpressionandtrainingexistingintheapplicationofneuralnetworkinintrusiondetection,anintrusiondetectionmethodbasedonmultiplelayerextremelearningmachine(ML-ELM)wasproposedinthispaper.
Firstly,thehighestlevelabstractfeaturesofthedetectionsampleswereextractedbyMulti-layernetworkstructureanddepthlearningmethod.
Thecharacteristicsofintrusiondetectiondatawereexpressedbysingularvalues.
Secondly,theextrememachinewasusedtoestablishtheclassificationmodelofintrusiondetectiondata.
Then,theproblemofhardtoobtainlabeledsampleswassolvedbyusingalayerbylayerunsupervisedlearningmethod.
Finally,theKDD99datasetwasusedtotesttheperformanceofML-ELM.
Theexperimentalresultsshowthattheproposedmodelcanimprovethedetectionaccuracy,andthefalsenegativerateofdetectionislowto0.
48%.
Thedetectionspeedcanbeimprovedbymorethan6timescomparedwithotherdepthdetectionmethod.
What'smore,thedetectionaccuracyisstillmorethan85%inthecaseofafewlabeledsamples.
ThedetectionrateofU2LattackandR2LattackisimprovedbyconstructingMulti-layernetworkstructure.
Themethodintegratestheadvantagesofdeeplearningandunsupervisedlearning.
Itcanexpressthesefeaturesofhighdimensionandlargedatawellusingfewerparameters.
Italsohasagoodperformanceinintrusiondetectingrateandcharacteristicexpressing.
Keywords:intrusiondetection;highdimension;bigdata;gettinglabeledsamples;featureexpression;training;multiplelayerextremelearningmachine(ML-ELM)第*期康松林等:多层极限学习机在入侵检测中的应用研究0引言随着网络与信息技术日新月异的发展,网络安全直接关系到国家安全和社会稳定.
基于网络安全的迫切需要和现有入侵检测系统的弊端,入侵检测技术的发展与革新势在必行.
现有的入侵检测主要分为以下几种:现如今最常见的入侵检测方法就是模式匹配、统计协议分析、机器学习以及级联入侵检测等.
这些方法在原有的基础上有了一定幅度的改善但是仍存在一些缺点.
比如在文献[1]和文献[2]中提到的就是典型时间序列分析模型的入侵检测方法.
虽然统计分析模型可以智能的找出用户操作行为的规律,但用户的行为是非常复杂的,如何选择一个合适的特征量进行监测是很难有一个通用的准则.
又比如KAVITHAB在文献[3]中提出用模糊逻辑分类器与遗传算法相结合应用于入侵检测,虽然可以达到较高的正确率,但存在模糊描述语义不容易被理解,遗传算法对处理高维大规模数据有很大的局限性等问题.
还有一种应用广泛的是基于进化计算的入侵检测.
比如文献[4]中基于粒子群优化算法的特征选择,特征选择和不选择代码0和1,但光是KDD(KnowledgeDiscoveryinDatabase)数据集有41个属性,如果所有的特征用它编码,计算量太大,很容易造成信息冗余.
还有一种综合多种分类器的级联入侵检测系统[5][6].
这种系统集成多种分类器的优点,但是会造成时间与成本的增加,并且并不一定适用于所有的攻击类型.
每种方法各有它的优缺点.
其中,神经网络因具有很好的智能性,被广泛应用到入侵检测中.
但神经网络在入侵检测中的应用存在几个问题:第一,随着网络用户的急增,海量的网络记录无疑给入侵检测加上了大数据的标签.
对于传统的入侵检测系统而言,则需要添加大量的训练样本以应对复杂多变的攻击,而这样大规模的样本数据会造成训练时间和样本储存空间的急剧增长,给训练增加难度.
近年来,在大数据的时代背景下,深度学习持续升温[7].
相比浅层构架建模以及表现能力的受限,深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,对事物具有更本质的刻划.
深度学习已在语音识别,图像识别等领域有着大量的应用.
但鲜有基于深度学习的入侵检测的研究.
并且深度神经网络如深信度网络(DeepBeliefNetwork,DBN)[8],深度玻尔兹曼机(DeepBoltzmannMachine,DBM)[9]的训练速度是非常慢的.
第二,神经网络因其结构与训练方法的限制,收敛速率低、训练时间过长等问题.
为了解决权值难训练的问题,2004年黄广斌教授提出了一种操作简单、高效稳定的极限学习机算法[10].
因为极限学习机具有很好的学习速度与泛化能力,在很多领域都得到了应用,比如图像识别、故障诊断等.
但极限学习机在网络安全领域鲜有研究.
第三,在实际的入侵检测中,攻击特征之间常呈现高维度的特点.
一种常见的方法是对高维空间进行主成分提取达到降维的目的.
比如旷方军在文献[11]中提到的用基于核的主成分分析法进行特征提取实现降维,得到了较好的分类效果,但是在求解主成分分析法的过程中,当网络的原始数据维数极高时,会使自协方差矩阵维数过高,从而在求解特征值和特征向量时耗时过多,导致此方法效率不高.
还有一些方法是根据记录的统计信息进行特征选择达到降维的目的.
比如ARYAA在文献[12]中提到用互信息删除冗余特征实现降维,效率得到了提高,但是单纯用网络记录的统计信息进行特征选择不具有很好的智能性,无法应对当前隐蔽性高,复杂度高,变化快速的攻击环境.
再比如一些流形学习算法在入侵检测特征提取中的应用,如局部线性嵌入(LocallyLinearEmbedding,LLE)算法[13][14],因其存在计算量大且因受邻域参数影响较大导致稳定性较弱等问题而有待改进.
还有基于复杂网络理论和最小生成树算法[15]的特征提取方法,虽然训练时间与主成分分析法相比有所减少,但是从判别效果来看并没有主成分分析法的好.
第四,在现实网络环境中,大部分数据是不包含标签属性的,标签的获取需要大量的人力物力.
而有监督学习算法的准确性对标签属性有很大的依赖性.
例如在文献[16]中,徐琴珍提出了一种有监督局部决策分层支持向量机的异常检测方法,虽然通过局部决策分层的方式把高维多分类的问题化繁为简、分而治之.
但是忽略了标记样本获取难的问题.
所以针对现实网络环境中获取标记样本难的问题,半监督学习和无监督学习算法大量运用在入侵检测当中.
比如HAWELIYAJ在文献[17]中把半监督支持向量机应用到入侵检测中,虽然在一定程度上解决了获取标记样本难的问题,但是在现实网络环境中的记录数据通常都是有噪声的,而半监督学习算法抗干扰性比较弱,往往会使正确率大打折扣.
又如CASASP在文献[18]中提到的第*期康松林等:多层极限学习机在入侵检测中的应用研究基于子空间聚类的异常检测方法和在文献[19]中提到的无监督流量监控的方法.
虽然避免了人工标记样本的工作,但是在无监督学习中,没有使用有效的方法构造多层网络,容易出现欠拟合的现象.
并且准确率不高.
针对以上问题,本文提出一种基于深度多层极限学习机(MultipleLayerExtremeLearningMachine,ML-ELM)算法应用于入侵检测.
首先,入侵检测的数据通常是高维度的.
而多层极限学习机可以用奇异值(SingularValue)[20]对入侵特征进行表示,相比于传统的主成分分析法(PrincipalComponentAnalysis,PCA)求解时间缩短;其次,把基于深度学习思想的多层极限学习机应用于入侵检测,可以抽取检测样本最高层次的抽象特征,实现对检测数据更本质的表达.
并且由于其具有较快的训练速度,符合入侵检测数据庞大以及检测速度要求快的实际情况.
最后,基于多层极限学习机的检测方法可以利用逐层的无监督学习方式解决入侵检测获取标记样本难的问题.
综上所述,基于深度多层极限学习机的入侵检测方法能同时有效地解决当今入侵检测中高维度,大数据,获取标记样本难、构造特征难、训练难等问题.
1相关工作1.
1极限学习机极限学习机器(ExtremeLearningMachine,ELM)是神经网络研究中的一种算法,是一种泛化的单隐层前馈神经网络(Single-hiddenlayerfeedforwardnetwork,SLFN)[10].
输入权值和隐层阈值进行随机赋值,输出层权值则通过最小二乘法直接计算.
整个学习过程一次完成,无需迭代,因而能达到极快的学习速度.
假设一个q类d维训练数据集{xi,yi},i=1,2…,N,xi∈Rd,,yi∈Rd,则SLFN的输出可用L个隐藏节点表示为:L1jjjjN,1,2,ix,b,a,GβOji(1)其中,aj,,bj是随机设置的与第j个隐藏节点关联的输入权值和隐层阈值.
βj∈Rd是第j个隐藏节点的输出权值.
G为任何一个无限可微分的激励函数.
这个N维等式可以写成式子:HβO(2)其中,LNNLLN11LLL111x,b,ax,b,ax,b,ax,b,a)()()()(GGGGHT][L2,1,ββββ,T][N21,,OOOO.
H称作隐层输出矩阵,其第i行表示第i个输入xi关于隐层的全体输出,第j列则表示全体输入x1,x2,…,xN关于第j个隐藏节点的输出.
输入权重a和阈值b服从某种连续概率分布随机取值,这样式(2)即为以β为变量的一个线性系统.
而求解该线性系统,亦即寻找最小的输出权重β,使误差‖Hβ―Y‖达到最小.
ELM算法采用最小二乘法计算输出权值矩阵β,其解可表示为:YHH)(HYHβT1T(3)其中,H*为H的广义雅克比矩阵的逆.
为了提高泛化能力以及鲁棒性,在β的基础上增加了一个正则项[21]:THH)HI(βT1TC(4)其中,C为正则项系数,I是单位矩阵.
1.
2极限学习机自动编码器在ELM基础上,让输入数据等于输出数据y=x,这样便把ELM变成了无监督学习.
并且使随机选取的隐层节点的权值和阈值都满足正交的条件,这就是极限学习机自动编码器(ExtremeLearningMachine第*期康松林等:多层极限学习机在入侵检测中的应用研究AutomaticEncoder,ELM-AE)的基础.
WIDROWB等人[22]在以ELM为基础的自动编码器中引进了一种最小均方的方法,这些随机生成的正交隐层参数可以提高ELM-AE的泛化能力.
在ELM-AE中,这些随机正交的隐层参数把输入数据映射到一个被压缩的维度空间中,如JOHNSON-LINDENSTRAUSS引理[23]可得到计算公式:11TTbb,aab),xg(aH(5)这里的][L21a,a,aa是在输入和隐层节点之间正交的随机权值,b=[b1,b2,…,bL]是正交的随机阈值.
ELM-AE的输出权值β负责从特征空间到输入数据的学习转换.
可以根据以下式子计算输出权值β:XHH)HI(βT1TC(6)其中,][N21h,h,hH是ELM-AE的隐层输出,][N21x,x,xX是它的输入数据.
1.
3ML-ELM类似于深度网络,ML-ELM是在ELM-AE的基础上进行堆叠而创造一个多层神经网络[13].
ML-ELM的第一个特点就是与深度学习网络相比,ML-ELM不需要微调.
ML-ELM的隐层权值通过ELM-AE进行初始化,而ELM-AE使用的是逐层贪婪无监督学习算法.
其网络结构如图1所示.
图中kH是第k层隐层的输出矩阵.
输入层x可以被当成第0层隐层.
最后一个隐层节点与输出节点y的输出矩阵可以用最小二乘法进行计算.
(c)最后一层权值矩阵图1ML-ELM的网络结构图ML-ELM隐层激励函数可以是线性的,也可以是非线性的.
如果第k层隐层的节点数目kL等于第(k-1)层隐层的节点数目1kL,那么G是线性的.
否则,G是非线性的.
比如S形函数.
深度多层极限学习机(ML-ELM)的第二个特点就是极限学习机自动编码器(ELM-AE)能够用奇异值[13]表述特征.
奇异值分解(Singularvaluedecomposition,SVD)是一种常用的特征表示方法.
公式[4]的奇异值分解为:XuuHβTi2i2iN1iiCdd(7)则可以得到:1THXuuβ)(i2i2iN1iCddi(8)(a)第1层权值矩阵(b)第i+1层权值矩阵第*期康松林等:多层极限学习机在入侵检测中的应用研究其中,u是THH的特征向量,d是H的奇异值,是与输入数据X相关的奇异值分解得到的.
经验证[13],因为H是X被投射的特征空间,所以ELM-AE的输出权值β会通过奇异值去表达输入数据的特征.
通过ELM-AE的特征表达,把每一条记录作为一层ELM-AE的输入.
经过逐层无监督学习后可以直接提供给最后一层的ELM-AE用于分类预测,ELM-AE为基于多层极限学习机的入侵检测奠定了特征表达的基础.
1.
4多层极限学习机的入侵检测多层极限学习机的入侵检测算法通过逐层无监督学习利用大量未标记样本进行训练得到各隐层的权值输出矩阵,然后利用输出矩阵对需要检测的网络数据进行分类,从而达到区分正常数据与攻击数据的目的.
基于深度多层极限学习机的入侵检测方法流程图如图2所示.
图2.
基于多层极限学习机的入侵检测方法流程图基于多层极限学习机的入侵检测训练算法:输入:训练样本{xi,yi},i=1,2,…,N,xi∈Rd,yi∈Rd.
输出:各隐层节点的输出权值矩阵β.
Step1.
设置好ML-ELM的网络结构,输入训练样本数据,使x=y;Step2.
随机设置隐层结点参数:权值aj∈Rd,阈值bj∈Rd,aTa=1,bTb=1,j=1,2,…,L;Step3.
计算)(jjjbxaGH;Step4.
用公式(8)计算得到β(1);Step5.
当1≤i≤K-1时,循环step2-step4计算第i层隐层输出矩阵β(i+1);Step6.
当i=K时,用最小二乘法计算最高层隐层输出矩阵β(K+1).
基于多层极限学习机的入侵检测测试算法:输入:测试样本{xi,yi},i=1,2,…,N,xi∈Rd,yi∈Rd,各隐层结点参数.
输出:入侵检测分类结果:正常或攻击Step1.
设置好ML-ELM的网络结构,输入测试样本数据;Step2.
当1≤i≤K-1时,计算)(jjjbxaGH;Step3.
计算HβY;Step4.
当Y=+1时,该样本判定为正常数据,当Y=-1时,该样本判定为攻击数据.
2实验结果分析2.
1实验数据集和仿真环境实验选用的数据集为KDD99数据集.
训练集和测试集分别为494021条和311029条.
其中包括正常数据和攻击数据,其中攻击主要包括四大类:PROBE(ProbingAttack),DOS(DenialofServiceAttack),U2R(User-to-RootAttack),R2L(Remote-to-LoginAttack).
每条记录包含41维特征.
其中最后1列为标签属性.
本实验是在2.
53GHzCPU,4.
00GBRAM的Windows7.
0系统中用Matlab2013a的平台做的仿真.
2.
2实验参数的选取基于ML-ELM的入侵检测以测试正确率和测试时间这两个指标作为评判实验结果的标准.
第*期康松林等:多层极限学习机在入侵检测中的应用研究首先确定各多层神经元结构的层数.
先从测试时间来看,ML-ELM在应用于入侵检测,当网络结构超过5层时,测试时间迅速增长,效率偏低,因此舍弃超过5层以上的网络结构.
再从测试正确率来看,4层要比3层的测试正确率要高.
因此ML-ELM的网络结构选择4层.
同理,经实验结果最后确定DBN的网络结构为5层,DBM的网络结构分为4四层.
然后确定各层神经元数目.
各层神经元数目除第一层神经元数目为41,最后一层神经元数目为2保持不变以外,中间层的神经元数目分别从5-200个的范围内进行变化,以5为步长依次增加.
每次只改变一层中间层的神经元数目,其他层神经元数目保持不变.
经多次实验结果分析可得,对于ML-ELM,当第二层神经元数目为35,第三层神经元数目为100时,实验效果最佳.
所以基于ML-ELM入侵检测的各层的神经元数目分别为41,35,100,2.
对于DBN,当第二层和第三层数目为30,第四层神经元数目为100时,实验效果最佳.
所以基于DBN入侵检测的各层的神经元数目分别为41,30,30,100,2.
针对DBM,当第二层神经元数目为35,第三层神经元数目为100时,实验效果最佳.
所以基于DBM入侵检测的各层的神经元数目分别为41,35,100,2.
最后根据经验选取其他参数.
ML-ELM各层岭参数根据参考文献[23]的经验选取.
其中,第0层隐层S型激励函数的岭参数为10-1,第1层隐层S型激励函数的岭参数为10,第2层隐层S型激励函数的岭参数为103.
ELM的隐层神经元数目为100.
支持向量机(SupportVectorMachine,SVM)+核主成分分析(KernelPrincipalComponentAnalysis,KPCA),即SVM+KPCA选用径向基函数(RadialBasisFunction,RBF)作为核函数,SVM的参数86.
4,0032.
0,37.
0C.
SVM的参数隐层激励函数为Sigmoid函数.
每次试验循环20次求均值和标准差.
2.
3大数据,高维数据集的适应性从训练集和测试集中分别选取100,000和100,000条作为训练样本和测试样本,比较5种算法在同样训练集情况下的训练时间、测试正确率和测试漏报率.
实验数据如表1.
表1测试正确率、测试漏报率和训练时间的比较算法测试正确率(%)测试漏报率(%)训练时间(S)ML-ELM96.
05±0.
2470.
48±0.
228546.
655±0.
267ELM94.
37±0.
2321.
72±0.
304205.
687±0.
278DBN95.
07±0.
2710.
83±0.
28330,589.
378±0.
288DBM95.
83±0.
2190.
91±0.
27978,346.
762±0.
282SVM+KPCA91.
14±0.
3062.
68±0.
3114993.
853±0.
343从表1的数据来看,在处理高维度,大数据集的时候,就测试正确率来看,基于深度模型的ML-ELM,DBN和DBM较之浅层学习的ELM和SVM+KPCA有较明显的优势.
基于深度模型的三种算法的测试正确率达到了95%以上,而浅层模型的ELM因其算法的优良使其正确率接近95%,但SVM+KPCA正确率低于92%以下.
这得益于深度模型能用较少的参数使得复杂的函数得到更本质的表达.
就测试漏报率而言,ML-ELM、DBN和DBM的测试漏报率已经低于1%,且ML-ELM的漏报率最低.
而ELM和SVM+KPCA的漏报率相比其他三种方法较高.
而就训练时间来看,ML-ELM的优势明显突出.
DBN和DBM的训练时间是ML-ELM的几十倍.
这是因为ML-ELM算法无需迭代,无需微调,大大减少了训练时间.
可见,从测试正确率,测试漏报率和训练速度综合来看,基于深度模型的ML-ELM有很突出的表现.
在大数据时代背景下,入侵检测训练样本数量急增.
系统能同时兼顾测试正确率、测试漏报率和训练速度这三个标准就显得格外重要.
从实验结果分析来看,ML-ELM可以在高维度,大数据的情况下达到快速训练并且低漏报率的要求.
2.
4少量标记样本的适应性为了评价基于ML-ELM的攻击检测对于少量标记样本的适应性,本文将ML-ELM和ELM,DBN,DBM,SVM+KPCA进行比较.
分别对于训练样本中不同标记样本数目进行了对比试验.
每条训练样本为41维完整记录,最后一维为标签属性,正常类记录属性标签为+1,攻击类记录属性标签为-1.
为在实验中增加未第*期康松林等:多层极限学习机在入侵检测中的应用研究标记样本.
随机选取样本把最后一列标签属性值改为0.
实验中,训练样本1000条,测试样本1000条.
其中训练样本中由标记样本和未标记样本组成,标记样本数量为2i(i=1,2,…,8)进行变化,剩余为未标记样本,测试样本全为未标记样本.
ML-ELM,DBN,DBM,ELM的网络结构不变.
每次实验循环20次求平均值.
图3.
少量标记样本下测试正确率的比较图4.
少量标记样本下测试漏报率的比较从图3的结果可以看出,在只有极少数标记样本的情况下,基于深度模型的ML-ELM,DBN,DBM的正确率仍保持80%以上,而其他几种基于浅层模型的算法的正确率却低于60%.
虽然随着标记样本数量的增加,5种算法的正确率都有增加.
但是在这种少量标记样本的前提下,ELM,SVM+KPCA的正确率还是大大低于ML-ELM,DBM,DBN的正确率.
从图4的结果可以看出,在只有极少数标记样本的情况下,几种基于浅层模型的算法的漏报率在30%以上.
其中,SVM+KPCA的漏报率已经接近50%.
而基于深度模型的ML-ELM,DBN,DBM的漏报率还是保持在10%左右.
虽然随着标记样本数量的增加,5种算法的漏报率都有增加.
但是在这种少量标记样本的前提下,ML-ELM,DBM,DBN的漏报率还是远远低于ELM,SVM+KPCA的漏报率.
这得益于深度模型把预训练变成了无监督学习,无监督学习可以利用大量未标记样本进行训练学习.
从图3中还可以看到,随着标记样本的增加,ML-ELM与DBN,DBM相比较,ML-ELM正确率的变化较平稳,且正确率一直略高于DBN和DBM.
而漏报率一直低于其他4种算法.
这是因为DBM,DBN进行训练后需要BP算法进行微调,正确率与漏报率受网络结构以及数据变化的影响较大.
而ML-ELM则省去了微调这一步,算法更简单,鲁棒性更好.
因此对于少量标记样本的情况下,ML-ELM算法有较高的正确率,较低的漏报率,同时也具有很好的鲁棒性.
3.
5对U2R,R2L的检测KDD99数据集的攻击样本分为4类:PROBE,DOS,U2R和R2L.
其中,传统的入侵检测对于U2R和R2L的检测率较低.
为了评价基于ML-ELM的攻击检测对于攻击样本特征表达的优势,对U2R,R2L这两类攻击进行了检测对比.
实验分别在U2R和R2L中选取10,000和10,000条作为训练样本和测试样本,比较五种算法对U2R,R2L这两类攻击的测试正确率和漏报率.
实验数据如图5和图6所示.
第*期康松林等:多层极限学习机在入侵检测中的应用研究图5.
对U2R,R2L测试正确率的比较图6.
对U2R,R2L测试漏报率的比较从图5的实验结果来看,SVM+KPCA对于U2R和R2L的测试正确率偏低.
尤其是对于R2L的测试正确率已低于70%.
ELM的正确率也低于ML-ELM,DBN和DBM.
另外,基于深度学习的ML-ELM,DBN,DBM对于这两种攻击的检测正确率都在90%以上.
从图6的实验结果看,两种浅层模型的方法SVM+KPCA和ELM的测试漏报率偏高.
尤其是SVM+KPCA对R2L的漏报率高达20%.
而在三种基于深层模型的算法,漏报率较低的一直是ML-ELM.
这得益于深度学习构架对于特征表达的优势.
虽然ML-ELM在正确率和漏报率方面比DBM,DBN只有微弱的优势,但是结合2.
2节的实验,从训练时间来看,基于ML-ELM的入侵检测一方面大大缩短了训练时间,另一方面对于攻击样本具有更好的特征表达,从而有利于入侵检测更高效的进行判决.
2.
6实验小结以上实验以训练时间,测试正确率,测试漏报率为衡量标准,从高维度,大数据,小样本和特征表达四个角度来比较ML-ELM,ELM,DBN,DBM,SVM+KPCA这5种算法.
其中,ML-ELM,DBN,DBM为深度模型,ELM,SVM+KPCA为浅层模型.
从2.
3节的实验可得,在处理高维度,大数据的数据集时,深度模型算法在测试正确率,测试漏报率方面有较明显的优势.
且ML-ELM的训练时间约为其他两种深度模型算法的百分之一.
从2.
4节的实验可得,在少量标记样本的情况下,ML-ELM相比其他4种算法具有更高的正确率和较低的漏报率.
因为ML-ELM为逐层无监督学习,可以利用大量未标记样本进行学习.
从2.
5节的实验可得,基于ML-ELM的入侵检测有很好的特征表达的能力.
即使对于以往检测率偏低的U2R,R2L这两类攻击也具有较高的正确率和较低的漏报率.
综上所述,基于深度多层极限学习机(ML-ELM)的入侵检测方法能同时有效地处理现实网络环境中大数据,高维度,获取标记样本难这几个问题.
3结语首先,本文把深度模型构架应用于入侵检测来解决以往入侵检测中浅层构架建模能力受限的问题.
其次,基于ML-ELM的入侵检测方法利用逐层无监督学习以及奇异值特征表达的方式来解决高维度,大数据,获取标记样本难,特征构造难这些实际网络环境中的问题,能够更本质地表达出检测样本的特征.
再者,第*期康松林等:多层极限学习机在入侵检测中的应用研究ML-ELM应用于入侵检测相比其他深度神经网络模型速度更快,算法更加简单,解决训练难的问题.
综合以上几点,基于ML-ELM的入侵检测方法能同时解决现实网络中高维度,大数据,获取标记样本难、构造特征难、训练难的这几个问题.
接下来的工作重点将放在入侵检测中ML-ELM网络构架的自动选择以及入侵检测实时性的改进等方面.
参考文献[1]GUX,WANGH,NIT,etal.
Detectionofapplication-layerDDoSattackbasedontimeseriesanalysis[J].
JournalofComputerApplications.
2013,33(8):2228-2231.
(顾晓清,王洪元,倪彤光等.
基于时间序列分析的应用层DDoS攻击检测[J].
计算机应用,2013,33(8):2228-2231.
)[2]WANGL,TENGS.
Applicationofclusteringandtime-basedsequenceanalysisinintrusiondetection[J].
JournalofComputerApplications.
2010,30(3):699-701.
(王令剑,滕少华.
聚类和时间序列分析在入侵检测中的应用[J].
计算机应用,2010,30(3):699-701.
)[3]KAVITHAB,KARTHIKEYANDS,MAYBELLPS.
SheebaMaybell.
AnensembledesignofintrusiondetectionsystemforhandlinguncertaintyusingNeutrosophicLogicClassifier[J].
Knowledge-BasedSystems,2012,28(4):88-96.
[4]HUANGH,SUNH.
Networkintrusiondetectionbasedonparticleswarmoptimizationalgorithmandinformationgain[J].
JournalofComputerApplications,2014,34(6):1686-1688.
(黄会群,孙虹.
粒子群选择特征和信息增益确定特征权值的入侵检测[J].
计算机应用,2014,34(6):1686-1688.
)[5]MRUTYUNJAYAP,AJITHA,MANASRP.
AHybridIntelligentApproachforNetworkIntrusionDetection[J].
ProcediaEngineering,2012,30(1):1-9.
[6]HUWAIDATE,IZZELDINMO.
Alertcorrelationincollaborativeintelligentintrusiondetectionsystems[J].
AppliedSoftComput-ing,2011,11(7):4349–4365.
[7]BENGIOY.
LearningdeeparchitecturesforAI[J].
FoundationsandtrendsinMachineLearning,2009,2(1):1-127.
[8]HINTONGE,SALAKHUTDINOVRR.
Reducingthedimensionalityofdatawithneuralnetworks[J].
Science,2006,313:504-507.
[9]SALAKHUTDINOVR,HINTONG.
AnefficientlearningprocedurefordeepBoltzmannmachines[J].
Neuralcomputation,2012,24(8):1967-2006.
[10]HUANGGB,ZHUQY,SIEWCK.
ExtremeLearningMachine:TheoryandApplications[J]Neurocomputing,2006,70(1):489–501.
[11]KUANGF,XUW,ZHANGS,etal.
AnovelapproachofKPCAandSVMforintrusiondetection[J].
JournalofComputationalInformationSystems,2012,8(8):3237-3244.
[12]ARYAA,KUMARS.
InformationtheoreticfeatureextractiontoreducedimensionalityofGeneticNetworkProgrammingbasedintrusiondetectionmodel[C].
2014InternationalConferenceonIssuesandChallengesinIntelligentComputingTechniques(ICICT).
KrishnaInstituteofEngineeringandTechnology,2014:34-37.
[13]HOUG,MAX,ZHANGY.
ANewMethodforIntrusionDetectionusingManifoldLearningAlgorithm[J].
TELKOMNIKA,2013,11(12):7339-7343.
[14]CHENJG,LIZX.
ArtificialNeuralNetworkBasedIntrusionDetectionMethodCombinedwithManifoldLearningAlgorithm[J].
AppliedMechanicsandMaterials,2012,121:3170-3174.
[15]HEYIW,AIQUNH,YUBOS,etal.
ANewIntrusionDetectionFeatureExtractionMethodBasedonComplexNetworkTheory[C].
2012FourthInternationalConferenceonMultimediaInformationNetworkingandSecurity(MINES).
Nanjing,China,2012:852-856.
[16]XUQ,YANGL.
AsupervisedLocalDecisionHierarchicalSupportVectorMachineBasedAnomalyIntrusionDetectionMethod[J].
Journalofelectronics&InformationTechnology,2010,32(10):2383-2387.
(徐琴珍,杨绿溪.
一种基于有监督局部决策分层支持向量机的异常检测方法[J].
电子与信息学报,2010,32(10):2383-2387.
)[17]HAWELIYAJ,NIGAMB.
NetworkIntrusionDetectionusingSemiSupervisedSupportVectorMachine[J].
InternationalJournalof第*期康松林等:多层极限学习机在入侵检测中的应用研究ComputerApplications,2014,85(9):27-31.
[18]CASASP,MAZELJ,OWEZARSKIP.
Unsupervisednetworkintrusiondetectionsystems:Detectingtheunknownwithoutknowledge[J].
ComputerCommunications,2012,35(7):772-783.
[19]CASASP,MAZELJ,OWEZARSKIP.
Knowledge-independenttrafficmonitoring:Unsuperviseddetectionofnetworkattacks[J].
IEEENetwork,2012,26(1):13-21.
[20]KASUNLLC,ZHOUH,HUANGGB,etal.
RepresentationalLearningwithELMsforBigData[J].
IEEEintelligentsystems,2013,28(6):31-34.
[21]HUANGGB,ZHOUH,DINGX,etal.
Extremelearningmachineforregressionandmulticlassclassification[J].
IEEETransactionsonSystems,Man,andCybernetics―PartB:Cybernetics,2012,42(2):513-529.
[22]WIDROWB,GREENBLATTA,KIMY,etal.
TheNo-Propalgorithm:Anewlearningalgorithmformultilayerneuralnetworks[J].
NeuralNetworks,2013,37:182-188.
[23]JOHNSONWB,LINDENSTRAUSSJ,SCHECHTMANG.
ExtensionsoflipschitzmapsintoBanachspaces[J].
IsraelJournalofMathematics,1986,54(2):129-138.