攻击16210220624_蔡松林_基于Hadoop平台的网络流量分析系统的设计与实现

本科毕业设计论文

基于Hadoop平台的网络流量分析系统的设计与实现Designand Implementationof Network Traffic AnalysisSystem BasedonHadoop Platform

院系 计算机学院

专业 网络工程

班级 六班

学号 16210220624

学生姓名 蔡松林

指导教师 冼敏仪

提交日期 2020年4月19日

毕业设计论文原创性声明

本人郑重声明所呈交的毕业设计论文 是本人在指导老师的指导下独立进行的设计研究工作及取得的成果论文中引用他人的文献、数据、 图件、资料均已明确标注出论文中的结论和结果为本人独立完成不包人已含他经发表或撰写的作品及成果。对本文的研究作出贡献的个人和集体均已在论文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。

毕业论文作者签字  签字日期 年 月 日

成绩评定

注毕业设计论文成绩按百分制评定。答辩成绩不及格的评分低于60分的 则该毕业设计论文总评成绩为答辩成绩。

摘要

为了解决网络使用过程中产生恶意流量而影响用户体验及网络安全的问题设计了网络流量分析系统。应用了离线数据分析的方法采用Hado op生态系统、Wire S hark捕获报文工具和数据可视化图表完成了对T CP/IP协议网络流量进行储存和分析的设计。在Wind o ws系统和Hadoo p平台相结合的环境下进行了开发实现结果表明该系统能够解决恶意流量对网站或企业内网造成安全影响及网络资源占用的问题具有可直接观测流量走势和存储大小可扩展的优势。

关键词 Hado op 网络安全恶意流量 网络流量分析

Abstract

In order to solve the problem that the user experience and networksecurity are affected by the malicious traffic in the process of network use,anetwork traffic analys is system is designed.The design of TCP/IP networktraffic storage and analysis is completed by using the method of offline dataanalysis,Hadoop ecosystem,WireShark capturing message tool and datavisualization chart.The results show that the system can solve the problemsof malicious traffic causing security impact on websites or intranets andoccupying network resources. It has the advantages of direct observation oftraffic trends and scalab ility of storage size.

Keywo rds HadoopNetwork s ecurityMalic ious trafficNetwork trafficana lys is

目录

第一章课题绪论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.1研究背景和意义介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.2网络流量及网络攻击. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.3研究现状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1.4论文结构安排. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

第二章相关背景技术. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.1系统开发工具. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.2Hado op生态圈相关技术的简要介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

第三章需求分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.1可行性分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.2安全性分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.3系统功能分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

3.4数据流量图. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

第四章概要设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

4.1系统各层设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

4.2数据库设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

第五章算法实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

5.1协议占比算法和宽带使用占比算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

5.2协议长度算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

第六章系统测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

6.1 Had o op生态组件启动测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

6.2数据库连接测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27

第七章总结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28

参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29

致谢. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30

广东东软学院本科生毕业设计论文

第一章课题绪论

1.1研究背景和意义介绍

近年来互联网的发展速度一年比一年快与此同时 网络流量每天都处于快速增长的状态网络的规模和结构也变得日渐庞大且复杂而面对采样时间的增加数据存储量和计算量与日俱增需要有一些有效工具可以对其进行管理。此时对于海量网络流量数据的收集存储和统计分析已成为一个急需解决的问题。除此之外近年来还有一个涉及面很广泛的问题值得我们留意那便是网络安全。大多数情况下 网络安全性问题都是人为引起攻击者总是试图获得某些好处这样的网络安全事件已经越来越多慢慢地在各个领域渗透并逐渐影响受害者的正常生活 比如个人信息被盗取、 网站遭受攻击等严重的还会破坏公共设施甚至是危害国家的某些重要系统假如是后者那带来的经济损失更是不可估量 同时还会严重影响社会的繁荣稳定。

不论是个人还是企业甚至是国家我们都应该重视网络安全重视“大数据隐私” 。当前社会对于网络流量的储存和分析已经越来越重要了而对于统计出来的流量进行安全检测和分析更是一个重要的环节就以网站来举例对网站分析时我们会不断从网站上获取最新的流量数据而在这过程中我们其实就已经对网站做了一个初步的监控我们可以上实时地了解网站的网络流量变化并通过相关的指标检测是否受到安全攻击而在企业中除了相应的安全检测还可以对内部流量走向做出分析并合理安排本系统就是用于这一类情景进行网络流量的统计和分析进而通过相应的指标检测网络安全性这也是本课题的意义所在。

1.2网络流量及网络攻击

1网络流量

网络流量即为上网过程中传输的数据流量。网络是当今互联网时代的基础设施信息传递、沟通交流、办公服务等都需要依靠网络来完成 网络的质量直接影响了社会生活和经济发展的质量。伴随着网络的广泛应用、 网络接入设备的增加、 网络拓扑的结构复杂化 网络流量正处于不断增长的过程中为有效的管理网络、维护网络安全需要对网络进行测量和分析。

与些同时基于传统的单机串行方式的数据算法在时间复杂性和空间复杂性上

1

广东东软学院本科生毕业设计论文

遇到了瓶颈 同时平台信息的存储能力和计算能力已经很难满足我们在实际生活中应用的要求退而求其次采用数据抽样技术又会明显降低我们测量的准确性和实用性所以对于如何高效、快速的对网络流量进行测量、存储和分析是当代社会所研究的一个重点这也是本次研究的意义之一。

2网络流量攻击

流量指的是网络资源也是防火墙处理能力。而网络流量攻击简单而言指的就是DDoS和DoS等类型的网络攻击这类网络攻击在生活中我们常遇到就有带宽攻击和应用攻击通常它的攻击方式就是让大数量的数据包去攻击一台或者多台服务器 目的就是让庞大的数据流量去冲垮服务器让网站处于非正常状态使得用户无法正常打开或使用被攻击的对象还有防火墙和路由器原理相当。此外再谈谈CC类连接攻击它也归属于流量攻击通俗来讲就是模拟多线程用户直接击打被攻击方要害部位的行为聪明的攻击者会通过代理服务器和网站的大流量页面进行无休止地连接浪费网站大量的CPU资源造成其服务器资源疲于供应。 同时无休止的访问代表无休止的连接这会造成网络阻塞影响用户访问网站而为什么说攻击者聪明呢代理服务器的加入让人很难发现攻击者的位置对其进行反击所以说CC是一个强横的流量攻击方式。

试想一下一个不知名的网站有多大的概率遭受网络攻击若不有利可图很难有人会浪费大量的时间、精力和资源去攻击一个小网站得不偿失。在这网络安全维护和攻击并存的时代越多流量访问的地方才越容易遭受网络流量攻击一个网站很容易遭受竞争者的嫉妒和破坏有时过大的流量访问不止意味着你受到广大用户的喜欢和支持也可能是受到了某种流量攻击。攻击者会根据一系列的漏洞使用合法的数据请求技术其中就有我们刚提到过的DDoS攻击我们说过攻击者是很聪明的代理服务器的出现让DDo S攻击成为当下网络中最难防御的网络攻击之一 同时它的入门门槛非常低 即使是没有基础的群众都能使用这就使得那些不同懂技术防护的用户极其容易中招。正因如此 DDo S攻击在经济上带来的损失已经稳居榜首它造成的影响不容小觑。

3泛洪攻击

常见的泛洪攻击有很多本论文中主要研究的方向是ARP泛洪攻击。常见的ARP攻击主要有两种一个是ARP欺骗另一个则是本流量系统所研究的ARP泛洪攻击它也被称为拒绝服务攻击。ARP欺骗以盗取数据为目的通过发送经过伪造的报文去更改网关地址实现交换网络下的数据嗅探。ARP泛洪攻击则是以捣乱破坏为目的通过攻击主机持续发送无法解析的ARP报文造成设备上的ARP表项溢出抢占网络带宽和资源阻碍报文的正常转发。

ARP欺骗和ARP泛洪攻击都会影响用户的网络稳定且容易造成企业和网站的

2