攻击16210220624_蔡松林_基于Hadoop平台的网络流量分析系统的设计与实现

流量分析  时间:2021-01-28  阅读:()

本科毕业设计论文

基于Hadoop平台的网络流量分析系统的设计与实现Designand Implementationof Network Traffic AnalysisSystem BasedonHadoop Platform

院系 计算机学院

专业 网络工程

班级 六班

学号 16210220624

学生姓名 蔡松林

指导教师 冼敏仪

提交日期 2020年4月19日

毕业设计论文原创性声明

本人郑重声明所呈交的毕业设计论文 是本人在指导老师的指导下独立进行的设计研究工作及取得的成果论文中引用他人的文献、数据、 图件、资料均已明确标注出论文中的结论和结果为本人独立完成不包人已含他经发表或撰写的作品及成果。对本文的研究作出贡献的个人和集体均已在论文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。

毕业论文作者签字  签字日期 年 月 日

成绩评定

注毕业设计论文成绩按百分制评定。答辩成绩不及格的评分低于60分的 则该毕业设计论文总评成绩为答辩成绩。

摘要

为了解决网络使用过程中产生恶意流量而影响用户体验及网络安全的问题设计了网络流量分析系统。应用了离线数据分析的方法采用Hado op生态系统、Wire S hark捕获报文工具和数据可视化图表完成了对T CP/IP协议网络流量进行储存和分析的设计。在Wind o ws系统和Hadoo p平台相结合的环境下进行了开发实现结果表明该系统能够解决恶意流量对网站或企业内网造成安全影响及网络资源占用的问题具有可直接观测流量走势和存储大小可扩展的优势。

关键词 Hado op 网络安全恶意流量 网络流量分析

Abstract

In order to solve the problem that the user experience and networksecurity are affected by the malicious traffic in the process of network use,anetwork traffic analys is system is designed.The design of TCP/IP networktraffic storage and analysis is completed by using the method of offline dataanalysis,Hadoop ecosystem,WireShark capturing message tool and datavisualization chart.The results show that the system can solve the problemsof malicious traffic causing security impact on websites or intranets andoccupying network resources. It has the advantages of direct observation oftraffic trends and scalab ility of storage size.

Keywo rds HadoopNetwork s ecurityMalic ious trafficNetwork trafficana lys is

目录

第一章课题绪论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.1研究背景和意义介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.2网络流量及网络攻击. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.3研究现状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1.4论文结构安排. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

第二章相关背景技术. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.1系统开发工具. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.2Hado op生态圈相关技术的简要介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

第三章需求分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.1可行性分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.2安全性分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.3系统功能分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

3.4数据流量图. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

第四章概要设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

4.1系统各层设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

4.2数据库设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

第五章算法实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

5.1协议占比算法和宽带使用占比算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

5.2协议长度算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

第六章系统测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

6.1 Had o op生态组件启动测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

6.2数据库连接测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27

第七章总结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28

参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29

致谢. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30

广东东软学院本科生毕业设计论文

第一章课题绪论

1.1研究背景和意义介绍

近年来互联网的发展速度一年比一年快与此同时 网络流量每天都处于快速增长的状态网络的规模和结构也变得日渐庞大且复杂而面对采样时间的增加数据存储量和计算量与日俱增需要有一些有效工具可以对其进行管理。此时对于海量网络流量数据的收集存储和统计分析已成为一个急需解决的问题。除此之外近年来还有一个涉及面很广泛的问题值得我们留意那便是网络安全。大多数情况下 网络安全性问题都是人为引起攻击者总是试图获得某些好处这样的网络安全事件已经越来越多慢慢地在各个领域渗透并逐渐影响受害者的正常生活 比如个人信息被盗取、 网站遭受攻击等严重的还会破坏公共设施甚至是危害国家的某些重要系统假如是后者那带来的经济损失更是不可估量 同时还会严重影响社会的繁荣稳定。

不论是个人还是企业甚至是国家我们都应该重视网络安全重视“大数据隐私” 。当前社会对于网络流量的储存和分析已经越来越重要了而对于统计出来的流量进行安全检测和分析更是一个重要的环节就以网站来举例对网站分析时我们会不断从网站上获取最新的流量数据而在这过程中我们其实就已经对网站做了一个初步的监控我们可以上实时地了解网站的网络流量变化并通过相关的指标检测是否受到安全攻击而在企业中除了相应的安全检测还可以对内部流量走向做出分析并合理安排本系统就是用于这一类情景进行网络流量的统计和分析进而通过相应的指标检测网络安全性这也是本课题的意义所在。

1.2网络流量及网络攻击

1网络流量

网络流量即为上网过程中传输的数据流量。网络是当今互联网时代的基础设施信息传递、沟通交流、办公服务等都需要依靠网络来完成 网络的质量直接影响了社会生活和经济发展的质量。伴随着网络的广泛应用、 网络接入设备的增加、 网络拓扑的结构复杂化 网络流量正处于不断增长的过程中为有效的管理网络、维护网络安全需要对网络进行测量和分析。

与些同时基于传统的单机串行方式的数据算法在时间复杂性和空间复杂性上

1

广东东软学院本科生毕业设计论文

遇到了瓶颈 同时平台信息的存储能力和计算能力已经很难满足我们在实际生活中应用的要求退而求其次采用数据抽样技术又会明显降低我们测量的准确性和实用性所以对于如何高效、快速的对网络流量进行测量、存储和分析是当代社会所研究的一个重点这也是本次研究的意义之一。

2网络流量攻击

流量指的是网络资源也是防火墙处理能力。而网络流量攻击简单而言指的就是DDoS和DoS等类型的网络攻击这类网络攻击在生活中我们常遇到就有带宽攻击和应用攻击通常它的攻击方式就是让大数量的数据包去攻击一台或者多台服务器 目的就是让庞大的数据流量去冲垮服务器让网站处于非正常状态使得用户无法正常打开或使用被攻击的对象还有防火墙和路由器原理相当。此外再谈谈CC类连接攻击它也归属于流量攻击通俗来讲就是模拟多线程用户直接击打被攻击方要害部位的行为聪明的攻击者会通过代理服务器和网站的大流量页面进行无休止地连接浪费网站大量的CPU资源造成其服务器资源疲于供应。 同时无休止的访问代表无休止的连接这会造成网络阻塞影响用户访问网站而为什么说攻击者聪明呢代理服务器的加入让人很难发现攻击者的位置对其进行反击所以说CC是一个强横的流量攻击方式。

试想一下一个不知名的网站有多大的概率遭受网络攻击若不有利可图很难有人会浪费大量的时间、精力和资源去攻击一个小网站得不偿失。在这网络安全维护和攻击并存的时代越多流量访问的地方才越容易遭受网络流量攻击一个网站很容易遭受竞争者的嫉妒和破坏有时过大的流量访问不止意味着你受到广大用户的喜欢和支持也可能是受到了某种流量攻击。攻击者会根据一系列的漏洞使用合法的数据请求技术其中就有我们刚提到过的DDoS攻击我们说过攻击者是很聪明的代理服务器的出现让DDo S攻击成为当下网络中最难防御的网络攻击之一 同时它的入门门槛非常低 即使是没有基础的群众都能使用这就使得那些不同懂技术防护的用户极其容易中招。正因如此 DDo S攻击在经济上带来的损失已经稳居榜首它造成的影响不容小觑。

3泛洪攻击

常见的泛洪攻击有很多本论文中主要研究的方向是ARP泛洪攻击。常见的ARP攻击主要有两种一个是ARP欺骗另一个则是本流量系统所研究的ARP泛洪攻击它也被称为拒绝服务攻击。ARP欺骗以盗取数据为目的通过发送经过伪造的报文去更改网关地址实现交换网络下的数据嗅探。ARP泛洪攻击则是以捣乱破坏为目的通过攻击主机持续发送无法解析的ARP报文造成设备上的ARP表项溢出抢占网络带宽和资源阻碍报文的正常转发。

ARP欺骗和ARP泛洪攻击都会影响用户的网络稳定且容易造成企业和网站的

2

美国服务器20G防御 50G防御 688元CN2回国

全球领先的IDC服务商华纳云“美国服务器”正式发售啦~~~~此次上线的美国服务器包含美国云服务器、美国服务器、美国高防服务器以及美国高防云服务器。针对此次美国服务器新品上线,华纳云也推出了史无前例的超低活动力度。美国云服务器低至3折,1核1G5M低至24元/月,20G DDos防御的美国服务器低至688元/月,年付再送2个月,两年送4个月,三年送6个月,且永久续费同价,更多款高性价比配置供您选择。...

华纳云-618大促3折起,18元/月买CN2 GIA 2M 香港云,物理机高防同享,10M带宽独享三网直连,无限流量!

官方网站:点击访问华纳云活动官网活动方案:一、香港云服务器此次推出八种配置的香港云服务器,满足不同行业不同业务规模的客户需求,同时每种配置的云服务都有不同的带宽选择,灵活性更高,可用性更强,性价比更优质。配置带宽月付6折季付5.5折半年付5折年付4.5折2年付4折3年付3折购买1H1G2M/99180324576648直达购买5M/17331556710081134直达购买2H2G2M892444...

GreenCloudVPS$20/年多国机房可选,1核@Ryzen 3950x/1GB内存/30GB NVMe/10Gbps端口月流量2TB

GreencloudVPS此次在四个机房都上线10Gbps大带宽VPS,并且全部采用AMD处理器,其中美国芝加哥机房采用Ryzen 3950x处理器,新加坡、荷兰阿姆斯特丹、美国杰克逊维尔机房采用Ryzen 3960x处理器,全部都是RAID-1 NVMe硬盘、DDR4 2666Mhz内存,GreenCloudVPS本次促销的便宜VPS最低仅需20美元/年,支持支付宝、银联和paypal。Gree...

流量分析为你推荐
浮动利率和固定利率哪个好贷款选择浮动利率还是固定利率录音软件哪个好有什么录音软件好用??手机炒股软件哪个好手机炒股软件哪个好啊?海克斯皮肤哪个好LOL用100块是抽海克斯好还是抽蛮王的生化领主的活动还是直接买皮肤好dnf魔枪士转职哪个好dnf平民魔枪士转什么好电动牙刷哪个好有人懂电动牙刷吗?飞利浦的好用还是欧乐B好用51空间登录以前的51空间怎么进?q空间登录腾讯qq空间登陆yy空间登录玩空间游戏怎样1直是正在登录中qq空间登录网址如何查询QQ空间登入地址?
vps代理 中文域名申请 如何注销域名备案 西安服务器 鲨鱼机 账号泄露 彩虹ip 100m免费空间 天互数据 空间论坛 cdn联盟 免费美国空间 免费申请网站 创速 免备案cdn加速 tracker服务器 SmartAXMT800 学生机 腾讯服务器 shuangshiyi 更多