基于IP报文Identification标识的网络异常流量检测周明中龚俭丁伟程光(东南大学计算机系华东北地区网络中心江苏南京210096)摘要:由于相当一部分异常流量由于采用了特殊的生成机制而在结构上有别于遵循基本网络协议的正常流量,本文提出了一种基于IP报文Identification标识字段分布识别网络中异常流量的方法.
通过CERNET网络不同时段的IP报文检测结果证明了该方法的准确性.
关键词:Identification标识;二项分布;异常流量检测AbnormalNetworkTrafficDetectionbasedonIdentificationMarkofIPPacketZHOUMingzhong,GONGJian,DINGWei,CHWNGGuang(NortheastNetworkCenter,DepartmentofComputerScience,SoutheastUniv.
,Jiangsu,Nanjing210096China)AbstractThispaperproposesanewmethodofabnormalnetworktrafficbasedonthedistributionofIPpackets'Identificationbecausemanyofabnormalnetworktrafficsaregeneratedbyspecialmechanisms,whicharedifferentfromtheordinarytrafficscreatedonthebasicnetworkprotocols.
ThecorrectnessofthismethodisprovedbytheresultsofIPpacketsdetectwithdifferenttimeonCERNET.
KeywordsIdentificationmark;Binomialdistribution;Abnormaltrafficdetection1引言随着Internet的发展,网络流量急剧增长,由于网络的发展具有一定的规律性,可以通过对网络协议的分析和网络流量的预测定义网络流量的正常行为,当观测所得的流量行为偏离正常时,对网络流量的进一步分析可能发现异常的原因.
目前基于网络主干和边界的异常流量检测研究主要集中在流矩阵,报文分析等方面,但由于基于网络的探测,入侵和攻击行为也变得越来越普遍和复杂,这些方法在测量规模和粒度上不能达到很好平衡.
本文提出了一种基于IP报文Identification标识字段分布的异常流量识别方法,可以以较小的代价有效地识别网络中的流量异常,适用于主干网络和边界网络,并通过实验验证了其可行性.
2问题提出目前Internet绝大部分使用TCP/IP协议簇进行网络传输,而IP协议是其中最重要也是最基本的协议.
位于应用层的协议通过将服务内容切割成分片(fragment)的形式传递给TCP层协议,在TCP层加上相应的头部信息又传递给IP层.
由于在接受端需要对分片进行重组获得完整的服务内容,而网络的延时、拥塞和报文本身的传输方式都可能导致分片的乱序,所以需要对IP报文进行标识.
在IP协议[1]中Identification字段用于标识该报文而区别于来自相同源宿地址对使用同一个协议的其他报文.
由于该字段被定义为16bit长,也就是说它所能表示最大数目为216即65536.
为保证服务的正常,网络中必须确保来自同一IP地址使用相同协议的报文应当有其唯一的Identification标识(该标识值位于0-65535之间).
在文献[1]中并没有给出Identification标识的具体取值方式,但由于规定了其取值范围,采用不同取值方式的主机所选取的初始Identification应当是一个位于0-65535之间的随机数且取值相互独立,而大部分服务被分解为若干个IP报文进行传送,在每个主机中都维护一个计数器(Counter),每发送一个IP报文该计数器加1.
可以做出以下假设:假设1在较大规模网络中,从宏观的角度分析Identification标识的取值是近似均匀分布的.
经过大量实验证明,在绝大多数情况下,Identification标识是近似均匀分布的,有关实验的验证将在下节中具体介绍.
在假设1的基础上,根据Identification标识的选取方式可以做出相关结论如下:引理1在较大规模的网络中用于正常服务的IP报文的Identification标识是近似服从参数为n,p的二项分布,其中n为65536,p为0.
5.
证明:由于每个源主机所发送的Identification标识是随机或者采用一定的机制选取的,而每个源主机选取的方式是相互独立的.
设每个IP报文所对应的Identification为随机取以下值之一:X1=0,X2=1,…,Xn=n-1(n为65536),它们的取值服从同一(0-1)分布,其分布率为:,5.
01}0{===pXPi5.
0}1{===pXPi则所有IP报文的Identification标识的分布为:)1221nnXaXaXaX+++=LL其中a1,a2….
.
an是取特定Identification值的IP报文数.
由假设1可以得出以下结论:a1=a2=….
.
=an=a则)(21nXXXaX+++=LL已知X1+X2+……+Xn服从二项分布,那么比较容易证明X是近似服从参数为n,p的二项分布.
根据二项分布的特性,很容易推出——任一随机变量的数学期望是2065535,方差为4065535.
但是由于网络中还存在相当一部分异常IP报文,它们的主要来源之一是人为构造的攻击报文.
这些异常IP报文和正常IP报文共同构成了网络中存在的IP报文.
引理2在网络中实际观测到的IP报文Identification标识的分布应当是正常IP报文分布和异常IP报文分布的叠加.
因此,可以通过区分这两部分分布,有效地识别网络中可能存在的流量异常,为其他检测方法(如报文分析)提供预警,从而为网络行为分析、入侵检测等提供必要的依据.
3基于标识字段的异常检测方法本文基于IP报文Identification标识的角度将IP报文分为正常IP报文和异常IP报文,整个网络的流量也是由其分别对应的正常流量和异常流量构成的.
从较大规模网络(主干网络和部分局域网)的角度分析,正常IP报文Identification标识的分布规律由引理1可知近似为二项分布,而异常报文的分布具有随机性和多样性,也就导致了其的不可预测性.
但是根据引理2,可以通过绘制网络流量曲线并从中分离出正常流量,就可以得到目前网络中异常流量的曲线,然后对这些流量的进一步分析就可以获得或部分获得流量异常的原因.
将获取的所有IP报文不同Identification标识数量的非空有限集合定义为P,则根据IP协议的定义可知:)}65535,,0(|)({L∈=iipP,其中隶属于正常IP报文的集合定义为)}65535,,0(|)({L∈=jjpPaa,异常IP报文的集合为Pb,P=PaUPb.
根据引理1可知,在集合Pa中j应服从参数为(na,0.
5)的二项分布,则集合中的元素pa(x)的值应当基本等于其均值65536an.
采用报文总数n乘以一个预定义的比例r来估计正常IP报文的数量,由于在非极端情况下,正常IP报文数量占报文总数量的绝大多数,所以r值的估计偏差比较小,还可以根据网络当前的状况动态地调整r的取值.
这样就可以从IP报文集合里分离出正常IP报文集合,从而获得异常IP报文结合,然后根据异常IP报文集合中元素的分布状况给进一步分析提供依据.
对异常IP报文的分析,主要通过定义一个阈值(Fthreshold)来将可能存在的网络异常流量从其他原因所引起的噪声区别出来,这个阈值可以设定初始值然后根据识别结果动态修正.
基于IP报文Identification标识的异常流量发现算法FindAbnormalTraffic(P,n,r,Fthreshold)Beginna=n*r65536ameannn=)}65535,,0(|)({L∈==jnjpPmeanaaPb=P-Paforvalue∈Pbandvalue>thresholdmeanFn*addvaluetoPabnormalReturn{Pabnormal}end通过大量的实验证明,在一般情况下,异常IP报文的Identification集中在0附近,有时还出现个别标识的报文数量偏移平均值较远.
4流量行为的实例分析针对CERNET主干网络的长期观测结果显示,在大多数情况下,Identification标识的分布是十分均匀的,具有某个特定Identification值的IP报文数量均在基于标识的平均报文数量附近.
从整个分布曲线来看,IP报文数是围绕平均值作平稳的小幅振动,这也证实了第2节所提出的假设1.
观测结果还发现,在所有观测时段中,Identification标识为0的IP报文数量远远高于平均值,这与文献[2]中实验观察结果相一致,这不符合正常IP报文均匀分布这个论断,所以在标识为0的IP报文中有可能大量存在非正常报文.
对Identification标识为0的IP报文进行分析发现,有大量相同源宿IP和相同端口的IP报文在短时间内重复出现,所以导致了标识为0的IP报文数量大大超过平均值,在剔除了这些异常报文之后,所剩的IP报文数量非常接近于平均值.
由此可见,标识为0的IP报文数量异常的主要原因是因为大量存在这些异常IP报文.
对实验观测所得的其他标识的IP报文数量异常进行进一步分析,发现结果与此相类似.
在实验中还发现相当数量的来自同一源IP和源端口对应不同宿IP的相同宿端口的IP报文,这是典型的扫描攻击的表现.
本文对不同时段在CERNET主干网采集的IP报文进行分析(每个时段持续10分钟),分析所得报文分布曲线如图1所示.
图1不同时段基于Identification标识的IP报文数量分布曲线选取参数r=0.
98,获得各个时段对应正常报文集合Pa,并从总体IP报文集合中去除正常IP报文集合获得异常报文数量分布曲线如图2所示.
图2不同时段基于Identification标识的异常IP报文数量分布曲线采用初始阀值Fthreshold=1,除去了可能存在的网络其他噪声后,可以得到在Identification标识为若干特定值的IP报文中可能存在相当数量的异常报文,从而为进一步的报文分析提供预警.
实验数据显示,在2004年4月17日1:00和2004年9月21日22:00在网络中存在一定的流量异常.
5结论本文提出了一种新型的基于IP报文Identification字段进行网络异常流量发现和分析方法,该方法的主要优点在于算法简单,所占用的系统资源较小,误报率低,可以较方便地嵌入到目前流量检测工具中和其他报文分析方法及工具结合使用等等.
但是由于其观测的对象所限,该方法并不能有效地发现伪装成正常IP报文的异常流量,它必须和其他报文分析工具配合使用才能达到最佳的效果.
参考文献[1]DARPAInternetProgramProtocolSpecification.
InternetProtocol.
InformationSciencesInstituteUniversityofSouthernCalifornia.
1981【RFC791】.
[2]程光.
大规模高速IP网络流量抽样测量及行为分析研究,东南大学博士论文,2003年1月:41-44.
[3]程光,龚俭,丁伟.
基于抽样测量的高速网络实时异常检测模型,软件学报,2003.
14(Vol.
14,No.
3):594-599.
[4]邹柏贤.
一种网络异常实时检测方法,计算机学报,2003年8月(Vol.
26,No.
8):940-947.
[5]高艳,管晓宏,孙国基等.
基于实时击键序列的主机入侵检测,计算机学报,2004年3月,(Vol.
27,No.
3):396-401.
[6]徐永红,杨云等.
基于权重包标记策略的IP跟踪技术研究,计算机学报,2003年11月,(Vol.
27,No.
11):1598-1603.
【作者简介】周明中,东南大学计算机系博士研究生,主要研究方向:网络安全和网络行为学.
龚俭,东南大学计算机系教授,博导,主要研究方向:大规模网络的入侵检测,网络行为学,计算机体系结构.
丁伟,东南大学计算机系教授,博导,主要研究方向:网络行为学,计算机体系结构.
程光,东南大学计算机系博士,讲师,主要研究方向:网络行为学.
已经有一段时间没有分享阿里云服务商的促销活动,主要原因在于他们以前的促销都仅限新用户,而且我们大部分人都已经有过账户基本上促销活动和我们无缘。即便老用户可选新产品购买,也是比较配置较高的,所以就懒得分享。这不看到有阿里云金秋活动,有不错的促销活动可以允许产品新购。即便我们是老用户,但是比如你没有购买过他们轻量服务器,也是可以享受优惠活动的。这次轻量服务器在金秋活动中力度折扣比较大,2G5M配置年付...
触碰云怎么样?触碰云是一家成立于2019年的商家。触碰云主营香港/美国 VPS服务器、独立服务器以及免备案CDN。采用的是kvm虚拟构架,硬盘Raid10,Cn2线路,去程电信CN2、移动联通直连,回程三网CN2。最低1核1G带宽1M仅20.8元/月,不过这里推荐香港4核4G15M,香港cn2 gia线路云服务器,仅115.2元/月起,性价比还是不错的。点击进入:触碰云官方网站地址触碰云优惠码:优...
搬瓦工最近新增了荷兰机房中国联通(AS9929、AS4837)线路的VPS产品,选项为NL - China Unicom Amsterdam(ENUL_9),与日本软银和洛杉矶(DC06)CN2 GIA配置一致可以互换,属于高端系列,2.5Gbps-10Gbps大带宽,最低季付46.7美元起。搬瓦工VPS隶属于老牌IT7公司旗下,主要提供基于KVM架构VPS主机,数据中心包括美国洛杉矶、凤凰城、纽...
lol服务器连接异常为你推荐
绵阳电信绵阳电信营业厅哪家最大手机最全怎么在qq空间里添加背景音乐怎样在qq空间里免费添加背景音乐?微信如何建群在微信里怎么创建一个群别人可以加入扫描二维码的加入arm开发板ARM开发板具体有什么作用?有什么商业价值?天天酷跑刷金币如何使用八门神器给天天酷跑刷钻刷金币硬盘人什么叫“软盘人”和“硬盘人”?lockdowndios8.1能用gpp3to2吗?型号A1429网站优化方案几种常用的网站优化方法微信怎么看聊天记录怎样查找一个人的微信聊天记录网站地图制作如何制作、提交网站地图
台湾主机 免费二级域名注册 免费动态域名解析 淘宝二级域名 blackfriday evssl证书 华为云主机 浙江独立 cpanel空间 上海域名 空间出租 域名评估 双线机房 银盘服务 最漂亮的qq空间 789 电信网络测速器 广州虚拟主机 谷歌台湾 金主 更多