攻击16210220624_蔡松林_基于Hadoop平台的网络流量分析系统的设计与实现

流量分析  时间:2021-01-28  阅读:()

本科毕业设计论文

基于Hadoop平台的网络流量分析系统的设计与实现Designand Implementationof Network Traffic AnalysisSystem BasedonHadoop Platform

院系 计算机学院

专业 网络工程

班级 六班

学号 16210220624

学生姓名 蔡松林

指导教师 冼敏仪

提交日期 2020年4月19日

毕业设计论文原创性声明

本人郑重声明所呈交的毕业设计论文 是本人在指导老师的指导下独立进行的设计研究工作及取得的成果论文中引用他人的文献、数据、 图件、资料均已明确标注出论文中的结论和结果为本人独立完成不包人已含他经发表或撰写的作品及成果。对本文的研究作出贡献的个人和集体均已在论文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。

毕业论文作者签字  签字日期 年 月 日

成绩评定

注毕业设计论文成绩按百分制评定。答辩成绩不及格的评分低于60分的 则该毕业设计论文总评成绩为答辩成绩。

摘要

为了解决网络使用过程中产生恶意流量而影响用户体验及网络安全的问题设计了网络流量分析系统。应用了离线数据分析的方法采用Hado op生态系统、Wire S hark捕获报文工具和数据可视化图表完成了对T CP/IP协议网络流量进行储存和分析的设计。在Wind o ws系统和Hadoo p平台相结合的环境下进行了开发实现结果表明该系统能够解决恶意流量对网站或企业内网造成安全影响及网络资源占用的问题具有可直接观测流量走势和存储大小可扩展的优势。

关键词 Hado op 网络安全恶意流量 网络流量分析

Abstract

In order to solve the problem that the user experience and networksecurity are affected by the malicious traffic in the process of network use,anetwork traffic analys is system is designed.The design of TCP/IP networktraffic storage and analysis is completed by using the method of offline dataanalysis,Hadoop ecosystem,WireShark capturing message tool and datavisualization chart.The results show that the system can solve the problemsof malicious traffic causing security impact on websites or intranets andoccupying network resources. It has the advantages of direct observation oftraffic trends and scalab ility of storage size.

Keywo rds HadoopNetwork s ecurityMalic ious trafficNetwork trafficana lys is

目录

第一章课题绪论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.1研究背景和意义介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.2网络流量及网络攻击. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.3研究现状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1.4论文结构安排. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

第二章相关背景技术. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.1系统开发工具. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.2Hado op生态圈相关技术的简要介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

第三章需求分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.1可行性分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.2安全性分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.3系统功能分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

3.4数据流量图. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

第四章概要设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

4.1系统各层设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

4.2数据库设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

第五章算法实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

5.1协议占比算法和宽带使用占比算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

5.2协议长度算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

第六章系统测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

6.1 Had o op生态组件启动测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

6.2数据库连接测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27

第七章总结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28

参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29

致谢. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30

广东东软学院本科生毕业设计论文

第一章课题绪论

1.1研究背景和意义介绍

近年来互联网的发展速度一年比一年快与此同时 网络流量每天都处于快速增长的状态网络的规模和结构也变得日渐庞大且复杂而面对采样时间的增加数据存储量和计算量与日俱增需要有一些有效工具可以对其进行管理。此时对于海量网络流量数据的收集存储和统计分析已成为一个急需解决的问题。除此之外近年来还有一个涉及面很广泛的问题值得我们留意那便是网络安全。大多数情况下 网络安全性问题都是人为引起攻击者总是试图获得某些好处这样的网络安全事件已经越来越多慢慢地在各个领域渗透并逐渐影响受害者的正常生活 比如个人信息被盗取、 网站遭受攻击等严重的还会破坏公共设施甚至是危害国家的某些重要系统假如是后者那带来的经济损失更是不可估量 同时还会严重影响社会的繁荣稳定。

不论是个人还是企业甚至是国家我们都应该重视网络安全重视“大数据隐私” 。当前社会对于网络流量的储存和分析已经越来越重要了而对于统计出来的流量进行安全检测和分析更是一个重要的环节就以网站来举例对网站分析时我们会不断从网站上获取最新的流量数据而在这过程中我们其实就已经对网站做了一个初步的监控我们可以上实时地了解网站的网络流量变化并通过相关的指标检测是否受到安全攻击而在企业中除了相应的安全检测还可以对内部流量走向做出分析并合理安排本系统就是用于这一类情景进行网络流量的统计和分析进而通过相应的指标检测网络安全性这也是本课题的意义所在。

1.2网络流量及网络攻击

1网络流量

网络流量即为上网过程中传输的数据流量。网络是当今互联网时代的基础设施信息传递、沟通交流、办公服务等都需要依靠网络来完成 网络的质量直接影响了社会生活和经济发展的质量。伴随着网络的广泛应用、 网络接入设备的增加、 网络拓扑的结构复杂化 网络流量正处于不断增长的过程中为有效的管理网络、维护网络安全需要对网络进行测量和分析。

与些同时基于传统的单机串行方式的数据算法在时间复杂性和空间复杂性上

1

广东东软学院本科生毕业设计论文

遇到了瓶颈 同时平台信息的存储能力和计算能力已经很难满足我们在实际生活中应用的要求退而求其次采用数据抽样技术又会明显降低我们测量的准确性和实用性所以对于如何高效、快速的对网络流量进行测量、存储和分析是当代社会所研究的一个重点这也是本次研究的意义之一。

2网络流量攻击

流量指的是网络资源也是防火墙处理能力。而网络流量攻击简单而言指的就是DDoS和DoS等类型的网络攻击这类网络攻击在生活中我们常遇到就有带宽攻击和应用攻击通常它的攻击方式就是让大数量的数据包去攻击一台或者多台服务器 目的就是让庞大的数据流量去冲垮服务器让网站处于非正常状态使得用户无法正常打开或使用被攻击的对象还有防火墙和路由器原理相当。此外再谈谈CC类连接攻击它也归属于流量攻击通俗来讲就是模拟多线程用户直接击打被攻击方要害部位的行为聪明的攻击者会通过代理服务器和网站的大流量页面进行无休止地连接浪费网站大量的CPU资源造成其服务器资源疲于供应。 同时无休止的访问代表无休止的连接这会造成网络阻塞影响用户访问网站而为什么说攻击者聪明呢代理服务器的加入让人很难发现攻击者的位置对其进行反击所以说CC是一个强横的流量攻击方式。

试想一下一个不知名的网站有多大的概率遭受网络攻击若不有利可图很难有人会浪费大量的时间、精力和资源去攻击一个小网站得不偿失。在这网络安全维护和攻击并存的时代越多流量访问的地方才越容易遭受网络流量攻击一个网站很容易遭受竞争者的嫉妒和破坏有时过大的流量访问不止意味着你受到广大用户的喜欢和支持也可能是受到了某种流量攻击。攻击者会根据一系列的漏洞使用合法的数据请求技术其中就有我们刚提到过的DDoS攻击我们说过攻击者是很聪明的代理服务器的出现让DDo S攻击成为当下网络中最难防御的网络攻击之一 同时它的入门门槛非常低 即使是没有基础的群众都能使用这就使得那些不同懂技术防护的用户极其容易中招。正因如此 DDo S攻击在经济上带来的损失已经稳居榜首它造成的影响不容小觑。

3泛洪攻击

常见的泛洪攻击有很多本论文中主要研究的方向是ARP泛洪攻击。常见的ARP攻击主要有两种一个是ARP欺骗另一个则是本流量系统所研究的ARP泛洪攻击它也被称为拒绝服务攻击。ARP欺骗以盗取数据为目的通过发送经过伪造的报文去更改网关地址实现交换网络下的数据嗅探。ARP泛洪攻击则是以捣乱破坏为目的通过攻击主机持续发送无法解析的ARP报文造成设备上的ARP表项溢出抢占网络带宽和资源阻碍报文的正常转发。

ARP欺骗和ARP泛洪攻击都会影响用户的网络稳定且容易造成企业和网站的

2

TMTHosting:夏季优惠,美国西雅图VPS月付7折,年付65折,美国服务器95折AS4837线路

tmthosting怎么样?tmthosting家本站也分享过多次,之前也是不温不火的商家,加上商家的价格略贵,之到斯巴达商家出现,这个商家才被中国用户熟知,原因就是斯巴达家的机器是三网回程AS4837线路,而且也没有多余的加价,斯巴达家断货后,有朋友发现TMTHosting竟然也在同一机房,所以大家就都入手了TMTHosting家的机器。目前,TMTHosting商家放出了夏季优惠,针对VPS推...

UCloud云服务器香港临时补货,(Intel)CN2 GIA优化线路,上车绝佳时机

至今为止介绍了很多UCLOUD云服务器的促销活动,UCLOUD业者以前看不到我们的个人用户,即使有促销活动,续费也很少。现在新用户的折扣力很大,包括旧用户在内也有一部分折扣。结果,我们的用户是他们的生存动力。没有共享他们的信息的理由是比较受欢迎的香港云服务器CN2GIA线路产品缺货。这不是刚才看到邮件注意和刘先生的通知,而是补充UCLOUD香港云服务器、INTELCPU配置的服务器。如果我们需要他...

Linode($5/月),新用户注册送100美元,11个数据中心云服务器

关于Linode,这是一家运营超过18年的VPS云主机商家,产品支持随时删除(按小时计费),可选包括美国、英国、新加坡、日本、印度、加拿大、德国等全球十多个数据中心,最低每月费用5美元($0.0075/小时)起。目前,注册Linode的新用户添加付款方式后可以获得100美元赠送,有效期为60天,让更多新朋友可以体验Linode的产品和服务。Linode的云主机产品分为几类,下面分别列出几款套餐配置...

流量分析为你推荐
美女桌面背景图片非主流美女手机壁纸美团月付怎么关闭美团外卖如何关闭快捷支付方式天气预报哪个好用哪个最准确最准天气预报软件排行是怎样的?轿车和suv哪个好SUV和轿车哪个好点?纠结手动挡和自动挡哪个好手动挡和自动挡哪个好音乐播放器哪个好哪个音乐播放器最好红茶和绿茶哪个好红茶和绿茶哪个比较好?雅思和托福哪个好考现在考雅思还是托福好qq空间登录网页版登录3G版手机QQ空间的网址qq空间登录不上qq空间登不进去 怎么办
东莞服务器租用 google镜像 国外服务器 ev证书 申请空间 java空间 paypal注册教程 彩虹云 买空间网 卡巴斯基官网下载 新疆服务器 碳云 跟踪路由 海尔t68g 主机系统 国内免备案cdn 网易轻博客 sockscap下载 好看的空间名字 免费服务器代理 更多