攻击16210220624_蔡松林_基于Hadoop平台的网络流量分析系统的设计与实现

流量分析  时间:2021-01-28  阅读:()

本科毕业设计论文

基于Hadoop平台的网络流量分析系统的设计与实现Designand Implementationof Network Traffic AnalysisSystem BasedonHadoop Platform

院系 计算机学院

专业 网络工程

班级 六班

学号 16210220624

学生姓名 蔡松林

指导教师 冼敏仪

提交日期 2020年4月19日

毕业设计论文原创性声明

本人郑重声明所呈交的毕业设计论文 是本人在指导老师的指导下独立进行的设计研究工作及取得的成果论文中引用他人的文献、数据、 图件、资料均已明确标注出论文中的结论和结果为本人独立完成不包人已含他经发表或撰写的作品及成果。对本文的研究作出贡献的个人和集体均已在论文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。

毕业论文作者签字  签字日期 年 月 日

成绩评定

注毕业设计论文成绩按百分制评定。答辩成绩不及格的评分低于60分的 则该毕业设计论文总评成绩为答辩成绩。

摘要

为了解决网络使用过程中产生恶意流量而影响用户体验及网络安全的问题设计了网络流量分析系统。应用了离线数据分析的方法采用Hado op生态系统、Wire S hark捕获报文工具和数据可视化图表完成了对T CP/IP协议网络流量进行储存和分析的设计。在Wind o ws系统和Hadoo p平台相结合的环境下进行了开发实现结果表明该系统能够解决恶意流量对网站或企业内网造成安全影响及网络资源占用的问题具有可直接观测流量走势和存储大小可扩展的优势。

关键词 Hado op 网络安全恶意流量 网络流量分析

Abstract

In order to solve the problem that the user experience and networksecurity are affected by the malicious traffic in the process of network use,anetwork traffic analys is system is designed.The design of TCP/IP networktraffic storage and analysis is completed by using the method of offline dataanalysis,Hadoop ecosystem,WireShark capturing message tool and datavisualization chart.The results show that the system can solve the problemsof malicious traffic causing security impact on websites or intranets andoccupying network resources. It has the advantages of direct observation oftraffic trends and scalab ility of storage size.

Keywo rds HadoopNetwork s ecurityMalic ious trafficNetwork trafficana lys is

目录

第一章课题绪论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.1研究背景和意义介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.2网络流量及网络攻击. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.3研究现状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1.4论文结构安排. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

第二章相关背景技术. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.1系统开发工具. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.2Hado op生态圈相关技术的简要介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

第三章需求分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.1可行性分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.2安全性分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

3.3系统功能分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

3.4数据流量图. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

第四章概要设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

4.1系统各层设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

4.2数据库设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

第五章算法实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

5.1协议占比算法和宽带使用占比算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

5.2协议长度算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

第六章系统测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

6.1 Had o op生态组件启动测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

6.2数据库连接测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27

第七章总结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28

参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29

致谢. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30

广东东软学院本科生毕业设计论文

第一章课题绪论

1.1研究背景和意义介绍

近年来互联网的发展速度一年比一年快与此同时 网络流量每天都处于快速增长的状态网络的规模和结构也变得日渐庞大且复杂而面对采样时间的增加数据存储量和计算量与日俱增需要有一些有效工具可以对其进行管理。此时对于海量网络流量数据的收集存储和统计分析已成为一个急需解决的问题。除此之外近年来还有一个涉及面很广泛的问题值得我们留意那便是网络安全。大多数情况下 网络安全性问题都是人为引起攻击者总是试图获得某些好处这样的网络安全事件已经越来越多慢慢地在各个领域渗透并逐渐影响受害者的正常生活 比如个人信息被盗取、 网站遭受攻击等严重的还会破坏公共设施甚至是危害国家的某些重要系统假如是后者那带来的经济损失更是不可估量 同时还会严重影响社会的繁荣稳定。

不论是个人还是企业甚至是国家我们都应该重视网络安全重视“大数据隐私” 。当前社会对于网络流量的储存和分析已经越来越重要了而对于统计出来的流量进行安全检测和分析更是一个重要的环节就以网站来举例对网站分析时我们会不断从网站上获取最新的流量数据而在这过程中我们其实就已经对网站做了一个初步的监控我们可以上实时地了解网站的网络流量变化并通过相关的指标检测是否受到安全攻击而在企业中除了相应的安全检测还可以对内部流量走向做出分析并合理安排本系统就是用于这一类情景进行网络流量的统计和分析进而通过相应的指标检测网络安全性这也是本课题的意义所在。

1.2网络流量及网络攻击

1网络流量

网络流量即为上网过程中传输的数据流量。网络是当今互联网时代的基础设施信息传递、沟通交流、办公服务等都需要依靠网络来完成 网络的质量直接影响了社会生活和经济发展的质量。伴随着网络的广泛应用、 网络接入设备的增加、 网络拓扑的结构复杂化 网络流量正处于不断增长的过程中为有效的管理网络、维护网络安全需要对网络进行测量和分析。

与些同时基于传统的单机串行方式的数据算法在时间复杂性和空间复杂性上

1

广东东软学院本科生毕业设计论文

遇到了瓶颈 同时平台信息的存储能力和计算能力已经很难满足我们在实际生活中应用的要求退而求其次采用数据抽样技术又会明显降低我们测量的准确性和实用性所以对于如何高效、快速的对网络流量进行测量、存储和分析是当代社会所研究的一个重点这也是本次研究的意义之一。

2网络流量攻击

流量指的是网络资源也是防火墙处理能力。而网络流量攻击简单而言指的就是DDoS和DoS等类型的网络攻击这类网络攻击在生活中我们常遇到就有带宽攻击和应用攻击通常它的攻击方式就是让大数量的数据包去攻击一台或者多台服务器 目的就是让庞大的数据流量去冲垮服务器让网站处于非正常状态使得用户无法正常打开或使用被攻击的对象还有防火墙和路由器原理相当。此外再谈谈CC类连接攻击它也归属于流量攻击通俗来讲就是模拟多线程用户直接击打被攻击方要害部位的行为聪明的攻击者会通过代理服务器和网站的大流量页面进行无休止地连接浪费网站大量的CPU资源造成其服务器资源疲于供应。 同时无休止的访问代表无休止的连接这会造成网络阻塞影响用户访问网站而为什么说攻击者聪明呢代理服务器的加入让人很难发现攻击者的位置对其进行反击所以说CC是一个强横的流量攻击方式。

试想一下一个不知名的网站有多大的概率遭受网络攻击若不有利可图很难有人会浪费大量的时间、精力和资源去攻击一个小网站得不偿失。在这网络安全维护和攻击并存的时代越多流量访问的地方才越容易遭受网络流量攻击一个网站很容易遭受竞争者的嫉妒和破坏有时过大的流量访问不止意味着你受到广大用户的喜欢和支持也可能是受到了某种流量攻击。攻击者会根据一系列的漏洞使用合法的数据请求技术其中就有我们刚提到过的DDoS攻击我们说过攻击者是很聪明的代理服务器的出现让DDo S攻击成为当下网络中最难防御的网络攻击之一 同时它的入门门槛非常低 即使是没有基础的群众都能使用这就使得那些不同懂技术防护的用户极其容易中招。正因如此 DDo S攻击在经济上带来的损失已经稳居榜首它造成的影响不容小觑。

3泛洪攻击

常见的泛洪攻击有很多本论文中主要研究的方向是ARP泛洪攻击。常见的ARP攻击主要有两种一个是ARP欺骗另一个则是本流量系统所研究的ARP泛洪攻击它也被称为拒绝服务攻击。ARP欺骗以盗取数据为目的通过发送经过伪造的报文去更改网关地址实现交换网络下的数据嗅探。ARP泛洪攻击则是以捣乱破坏为目的通过攻击主机持续发送无法解析的ARP报文造成设备上的ARP表项溢出抢占网络带宽和资源阻碍报文的正常转发。

ARP欺骗和ARP泛洪攻击都会影响用户的网络稳定且容易造成企业和网站的

2

ftlcloud9元/月,美国云服务器,1G内存/1核/20g硬盘/10M带宽不限/10G防御

ftlcloud(超云)目前正在搞暑假促销,美国圣何塞数据中心的云服务器低至9元/月,系统盘与数据盘分离,支持Windows和Linux,免费防御CC攻击,自带10Gbps的DDoS防御。FTL-超云服务器的主要特色:稳定、安全、弹性、高性能的云端计算服务,快速部署,并且可根据业务需要扩展计算能力,按需付费,节约成本,提高资源的有效利用率。活动地址:https://www.ftlcloud.com...

两款半月湾 HMBcloud 春节88折日本和美国CN2 VPS主机套餐

春节期间我们很多朋友都在忙着吃好喝好,当然有时候也会偶然的上网看看。对于我们站长用户来说,基本上需要等到初八之后才会开工,现在有空就看看是否有商家的促销。这里看到来自HMBcloud半月湾服务商有提供两款春节机房方案的VPS主机88折促销活动,分别是来自洛杉矶CN2 GIA和日本CN2的方案。八八折优惠码:CNY-GIA第一、洛杉矶CN2 GIA美国原生IP地址、72小时退款保障、三网回程CN2 ...

ZJI-全场八折优惠,香港服务器 600元起,还有日本/美国/韩国服务器

月付/年付优惠码:zji  下物理服务器/VDS/虚拟主机空间订单八折终身优惠(长期有效)一、ZJI官网点击直达ZJI官方网站二、特惠香港日本服务器香港大埔:http://hkdb.speedtest.zji.net/香港葵湾:http://hkkw.speedtest.zji.net/日本大阪:http://jpsk.speedtest.zji.net/日本大阪一型 ...

流量分析为你推荐
骁龙750g和765g哪个好骁龙765G,这里的g是什么意思?电脑管家和360哪个好电脑安装360好,还是电脑管家好?录屏软件哪个好现在什么录屏软件好,不卡的,推荐一个,谢谢。游戏加速器哪个好网游加速器哪个最好用?录音软件哪个好手机录音软件哪个好用二手车网站哪个好二手车网站哪家好?哪个信息更可靠?二手车网站哪个好想买个二手车,去哪买比较好网页传奇哪个好玩求最好玩的网页传奇?电陶炉和电磁炉哪个好电陶炉和电磁炉哪个好加速器哪个好英雄联盟有什么加速器好用的?
虚拟空间哪个好 买域名 过期备案域名查询 双线vps 免费申请网站域名 域名备案号查询 免费动态域名解析 精品网 香港主机 搜狗抢票助手 lighttpd 日本空间 河南移动邮件系统 电子邮件服务器 怎么测试下载速度 免费活动 1g内存 卡巴斯基试用版 能外链的相册 卡巴斯基免费试用版 更多