攻击16210220624_蔡松林_基于Hadoop平台的网络流量分析系统的设计与实现

流量分析  时间:2021-01-28  阅读:()

本科毕业设计论文

基于Hadoop平台的网络流量分析系统的设计与实现Designand Implementationof Network Traffic AnalysisSystem BasedonHadoop Platform

院系 计算机学院

专业 网络工程

班级 六班

学号 16210220624

学生姓名 蔡松林

指导教师 冼敏仪

提交日期 2020年4月19日

毕业设计论文原创性声明

本人郑重声明所呈交的毕业设计论文 是本人在指导老师的指导下独立进行的设计研究工作及取得的成果论文中引用他人的文献、数据、 图件、资料均已明确标注出论文中的结论和结果为本人独立完成不包人已含他经发表或撰写的作品及成果。对本文的研究作出贡献的个人和集体均已在论文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。

毕业论文作者签字  签字日期 年 月 日

成绩评定

注毕业设计论文成绩按百分制评定。答辩成绩不及格的评分低于60分的 则该毕业设计论文总评成绩为答辩成绩。

摘要

为了解决网络使用过程中产生恶意流量而影响用户体验及网络安全的问题设计了网络流量分析系统。应用了离线数据分析的方法采用Hado op生态系统、Wire S hark捕获报文工具和数据可视化图表完成了对T CP/IP协议网络流量进行储存和分析的设计。在Wind o ws系统和Hadoo p平台相结合的环境下进行了开发实现结果表明该系统能够解决恶意流量对网站或企业内网造成安全影响及网络资源占用的问题具有可直接观测流量走势和存储大小可扩展的优势。

关键词 Hado op 网络安全恶意流量 网络流量分析

Abstract

In order to solve the problem that the user experience and networksecurity are affected by the malicious traffic in the process of network use,anetwork traffic analys is system is designed.The design of TCP/IP networktraffic storage and analysis is completed by using the method of offline dataanalysis,Hadoop ecosystem,WireShark capturing message tool and datavisualization chart.The results show that the system can solve the problemsof malicious traffic causing security impact on websites or intranets andoccupying network resources. It has the advantages of direct observation oftraffic trends and scalab ility of storage size.

Keywo rds HadoopNetwork s ecurityMalic ious trafficNetwork trafficana lys is

目录

第一章课题绪论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.1研究背景和意义介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.2网络流量及网络攻击. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.3研究现状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1.4论文结构安排. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

第二章相关背景技术. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.1系统开发工具. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.2Hado op生态圈相关技术的简要介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

第三章需求分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.1可行性分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.2安全性分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.3系统功能分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

3.4数据流量图. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

第四章概要设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

4.1系统各层设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

4.2数据库设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

第五章算法实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

5.1协议占比算法和宽带使用占比算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

5.2协议长度算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

第六章系统测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

6.1 Had o op生态组件启动测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

6.2数据库连接测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27

第七章总结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28

参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29

致谢. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30

广东东软学院本科生毕业设计论文

第一章课题绪论

1.1研究背景和意义介绍

近年来互联网的发展速度一年比一年快与此同时 网络流量每天都处于快速增长的状态网络的规模和结构也变得日渐庞大且复杂而面对采样时间的增加数据存储量和计算量与日俱增需要有一些有效工具可以对其进行管理。此时对于海量网络流量数据的收集存储和统计分析已成为一个急需解决的问题。除此之外近年来还有一个涉及面很广泛的问题值得我们留意那便是网络安全。大多数情况下 网络安全性问题都是人为引起攻击者总是试图获得某些好处这样的网络安全事件已经越来越多慢慢地在各个领域渗透并逐渐影响受害者的正常生活 比如个人信息被盗取、 网站遭受攻击等严重的还会破坏公共设施甚至是危害国家的某些重要系统假如是后者那带来的经济损失更是不可估量 同时还会严重影响社会的繁荣稳定。

不论是个人还是企业甚至是国家我们都应该重视网络安全重视“大数据隐私” 。当前社会对于网络流量的储存和分析已经越来越重要了而对于统计出来的流量进行安全检测和分析更是一个重要的环节就以网站来举例对网站分析时我们会不断从网站上获取最新的流量数据而在这过程中我们其实就已经对网站做了一个初步的监控我们可以上实时地了解网站的网络流量变化并通过相关的指标检测是否受到安全攻击而在企业中除了相应的安全检测还可以对内部流量走向做出分析并合理安排本系统就是用于这一类情景进行网络流量的统计和分析进而通过相应的指标检测网络安全性这也是本课题的意义所在。

1.2网络流量及网络攻击

1网络流量

网络流量即为上网过程中传输的数据流量。网络是当今互联网时代的基础设施信息传递、沟通交流、办公服务等都需要依靠网络来完成 网络的质量直接影响了社会生活和经济发展的质量。伴随着网络的广泛应用、 网络接入设备的增加、 网络拓扑的结构复杂化 网络流量正处于不断增长的过程中为有效的管理网络、维护网络安全需要对网络进行测量和分析。

与些同时基于传统的单机串行方式的数据算法在时间复杂性和空间复杂性上

1

广东东软学院本科生毕业设计论文

遇到了瓶颈 同时平台信息的存储能力和计算能力已经很难满足我们在实际生活中应用的要求退而求其次采用数据抽样技术又会明显降低我们测量的准确性和实用性所以对于如何高效、快速的对网络流量进行测量、存储和分析是当代社会所研究的一个重点这也是本次研究的意义之一。

2网络流量攻击

流量指的是网络资源也是防火墙处理能力。而网络流量攻击简单而言指的就是DDoS和DoS等类型的网络攻击这类网络攻击在生活中我们常遇到就有带宽攻击和应用攻击通常它的攻击方式就是让大数量的数据包去攻击一台或者多台服务器 目的就是让庞大的数据流量去冲垮服务器让网站处于非正常状态使得用户无法正常打开或使用被攻击的对象还有防火墙和路由器原理相当。此外再谈谈CC类连接攻击它也归属于流量攻击通俗来讲就是模拟多线程用户直接击打被攻击方要害部位的行为聪明的攻击者会通过代理服务器和网站的大流量页面进行无休止地连接浪费网站大量的CPU资源造成其服务器资源疲于供应。 同时无休止的访问代表无休止的连接这会造成网络阻塞影响用户访问网站而为什么说攻击者聪明呢代理服务器的加入让人很难发现攻击者的位置对其进行反击所以说CC是一个强横的流量攻击方式。

试想一下一个不知名的网站有多大的概率遭受网络攻击若不有利可图很难有人会浪费大量的时间、精力和资源去攻击一个小网站得不偿失。在这网络安全维护和攻击并存的时代越多流量访问的地方才越容易遭受网络流量攻击一个网站很容易遭受竞争者的嫉妒和破坏有时过大的流量访问不止意味着你受到广大用户的喜欢和支持也可能是受到了某种流量攻击。攻击者会根据一系列的漏洞使用合法的数据请求技术其中就有我们刚提到过的DDoS攻击我们说过攻击者是很聪明的代理服务器的出现让DDo S攻击成为当下网络中最难防御的网络攻击之一 同时它的入门门槛非常低 即使是没有基础的群众都能使用这就使得那些不同懂技术防护的用户极其容易中招。正因如此 DDo S攻击在经济上带来的损失已经稳居榜首它造成的影响不容小觑。

3泛洪攻击

常见的泛洪攻击有很多本论文中主要研究的方向是ARP泛洪攻击。常见的ARP攻击主要有两种一个是ARP欺骗另一个则是本流量系统所研究的ARP泛洪攻击它也被称为拒绝服务攻击。ARP欺骗以盗取数据为目的通过发送经过伪造的报文去更改网关地址实现交换网络下的数据嗅探。ARP泛洪攻击则是以捣乱破坏为目的通过攻击主机持续发送无法解析的ARP报文造成设备上的ARP表项溢出抢占网络带宽和资源阻碍报文的正常转发。

ARP欺骗和ARP泛洪攻击都会影响用户的网络稳定且容易造成企业和网站的

2

CloudCone中国新年特别套餐,洛杉矶1G内存VPS年付13.5美元起

CloudCone针对中国农历新年推出了几款特别套餐, 其中2019年前注册的用户可以以13.5美元/年的价格购买一款1G内存特价套餐,以及另外提供了两款不限制注册时间的用户可购买年付套餐。CloudCone是Quadcone旗下成立于2017年的子品牌,提供VPS及独立服务器租用,也是较早提供按小时计费VPS的商家之一,支持使用PayPal或者支付宝等付款方式。下面列出几款特别套餐配置信息。CP...

10gbiz:香港/洛杉矶CN2直连线路VPS四折优惠,直连香港/香港/洛杉矶CN2四折

10gbiz怎么样?10gbiz在本站也多次分享过,是一家成立于2020的国人主机商家,主要销售VPS和独立服务器,机房目前有中国香港和美国洛杉矶、硅谷等地,线路都非常不错,香港为三网直连,电信走CN2,洛杉矶线路为三网回程CN2 GIA,10gbiz商家七月连续推出各种优惠活动,除了延续之前的VPS产品4折优惠,目前增加了美国硅谷独立服务器首月半价的活动,有需要的朋友可以看看。10gbiz优惠码...

BGP.TO日本和新加坡服务器进行促销,日本服务器6.5折

BGP.TO目前针对日本和新加坡服务器进行促销,其中日本东京服务器6.5折,而新加坡服务器7.5折起。这是一家专门的独立服务器租售网站,提供包括中国香港、日本、新加坡和洛杉矶的服务器租用业务,基本上都是自有硬件、IP资源等,国内优化直连线路,机器自动化部署上架,并提供产品的基本管理功能(自助开关机重启重装等)。新加坡服务器 $93.75/月CPU:E3-1230v3内存:16GB硬盘:480GB ...

流量分析为你推荐
软银巨亏为什么马云说支付宝如果被抓 知乎自然吸气和涡轮增压哪个好汽车涡轮增压好还是自然吸气好集成显卡和独立显卡哪个好独立显卡和集成显卡区别??莫代尔和纯棉哪个好请问莫代尔棉和纯莫代尔哪个更好?传奇类手游哪个好腾讯热血传奇手机版哪个职业厉害录音软件哪个好有什么录音软件好用??手机杀毒软件哪个好手机杀毒清理软件哪个好啊等额本息等额本金哪个好到底是等额本息好还是等额本金好?看书软件哪个好小说阅读软件哪个好东莞电信宽带东莞电信宽带资费问题。急!
中国域名注册 重庆vps租用 购买域名和空间 美国仿牌空间 sub-process qq数据库 softbank邮箱 qq对话框 vip域名 多线空间 shopex主机 吉林铁通 带宽租赁 深圳域名 国外网页代理 腾讯网盘 云销售系统 葫芦机 windowssever2008 web服务器有哪些 更多