系统移动云平台的ITS大数据调用策略研究

毕业论文题目移动云平台的ITS大数据调用策略研究

近年来随着经济的迅速发展城市车辆数目不断增加交通拥堵问题日益严重。根据智能交通系统采集的监测数据准确评估路网中各路段实时交通状况不仅可以给市民出行提供有益参考也为交通部门提高管理水平、增强应急指挥预案提供了可靠指导。

随着移动设备的计算、存储能力在近年来迅速发展出现了一项极具潜力的新技术——移动云计算Mobile Cloud Computing MCC。移动云计算将云计算技术集成到移动环境中克服了移动设备在性能及安全方面的问题。同时 由于移动设备包含了方向、光线、重力等多种传感器 以及GPS定位及移动视频摄像功能用户获得了比传统云服务更方便智能的移动体验。

论文依托江苏省科技厅示范工程《基于公路交通传感网信息检测•挖掘•汇聚

•发布与辅助决策系统示范》项目基于sp ark框架构建了海量交通数据实时处理集群。采用优化遗传算法对集群服务器进行负载均衡服务器使用基于Reac tor模型的I/O复用机制提供高并发服务根据移动设备采集的GPS数据计算路网中各路段出行时间通过web接口发布实时路况信息。

论文的贡献在于

1基于S p ark框架实现了海量交通数据实时处理集群克服了传统的基于Hadoop框架的集群只适用于批处理任务无法进行流式实时处理的问题。通过构建基于内存的分布式系统使得需要迭代处理海量交通数据的机器学习算法能够在数秒之内完成。

2基于优化遗传算法实现了移动云平台中的负载均衡策略。通过动态地负载均衡来避免热点和不合理的资源使用,克服了移动云环境中计算资源的异质性和动态性问题提高了资源利用效率。 .

3基于Reacto r模型实现了高并发量的流媒体服务器集群克服了传统多线程模型的同步、死锁及线程切换开销等问题增加了集群的吞吐量提高了流媒体传输的实时性。

关键字移动云计算 S p ark框架路网评估优化遗传算法并发服务器

Ⅱ

THESIS: Big Data Uti l izing Strategy of Intel l igent Transport System in

Mobi leCloud Platform

In recent years, the amount of vehicles in the city grows fast with thedevelopment of economy,making the traffic jam more and more serious.Evaluatingthe traffic status of the road network in real time based on the mass data collected byITS can provide useful suggestions for driving,and can help the transport departmentimprove the management level, supply reliable emergencypro-plan.

With the rapid development of the calculating and storing ability of the mobiledevices, a new promising technology has come out——Mobile Cloud ComputingMCC .MCC integrate s cloud computing into the mobile environment to overcomethe performance and security shortage of mobile devices.As the mobile devicecontains direction, light and gravity sensors, and also provides thefunction of GPSpositioning and video capturing, it supplies the user better service experience.

This thesis is supported by the major demonstration project of Jiangsu ProvincialScience and Technology Department—the demonstration system based on thedetection,mining, convergence and publishing of the freeway traffic sensor networkinformation and assisting decision. It builds the cluster for dealing with masstransportation data based on the spark framework. It uses the improved geneticalgorithm to do load balance and the server uses reactor model to supply highconcurrency service. It calculates the status of the road network based on the GPSdata which collected by the mobile devices and publish real-time road networkinformation us ing web interface.

The major contributions ofthis thesis are as follows:

1)Building the cluster for dealing with mass transportation data based on theSpark framework, thus overcome the shortage of traditional cluster that can only dealwith batch tasks.By building the distributed system in memory, the machine learningtask that needs to iterate mass data can be finished in several seconds.

2) Implementing the load balance strategy in the mobile cloud platform based onimproved genetic algorithm.Using dynamic load balance to avoid hot spot and

Ⅲ

inefficient resource utilization .It overcomes the shortage of heterogeneity anddynamic computing resources in the mobile cloud environment and improves theresource utilization efficiency.

3)Building high concurrency streaming cluster based on the reactor model.Overcoming the shortage o f the traditional multi-thread model about synchronization,dead lock and thread switch cost. It increases the throughput of the cluster andimprove s the instantaneity o f stream transport.

Keywo rds:mob ile c loud computing;Spark Framework; road network e stimation;concurrent server

Ⅲ

目录

第一章绪论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.1 背景意义. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.2 国内外研究概况. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1.2.1 国外发展现状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1.2.2 国内应用现状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11

1.3 主要研究内容与涉及工作. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

1.4 论文结构安排. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

第二章 移动流媒体传输技术. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16

2.1 RTP、 RTCP视频传输及差错控制技术. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16

2.1.1 RTP、 RTCP包传输. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16

2.1.2立即反馈和分层差错控制机制. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16

2.2 H.2****编码可适性处理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17

2.3 移动终端的视频采集与播放. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

第三章 ITS云平台与大数据技术. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21

3.1 Hadoop模型解析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

3.1.1 HDFS分布式存储模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

3.1.2 MapRduce分布式计算模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29

3.2 Spark框架分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .34

3.2.1 Spark核心概念. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .34

3.2.2 Spark适用场景. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37

3.3 ITS云平台与数据融合技术. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .38

第四章 ITS移动云平台的算法总体设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41

4.1 功能模块及相关算法内在关系. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41

4.2 平台系统立体架构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42

第五章 基于优化遗传算法的负载均衡. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .43

5.1.1移动云环境中的负载均衡. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .43

Ⅳ

5.1.2与传统的负载均衡策略比较. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .44

5.1.3基于优化遗传算法负载均衡策略. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45

5.1.4仿真结果分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49

第六章 基于ITS云平台算法实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .51

6.1 高并发量流媒体服务器集群. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .51

6.1.1基于Reactor模型的服务器设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .51

6.1.2系统测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .55

6.1.3效果展示. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .57

6.2 海量交通数据实时处理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .59

6.2.1基于EM算法的交通数据处理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .60

6.2.2 Spark程序实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .62

6.2.3系统测试与效果展示. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .64

第七章 总结展望. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67

7.1 工作总结和创新点. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67

7.2 研究展望. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .68

参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .68

Ⅴ

第一章绪论

移动云平台的I TS大数据调用策略研究第一章绪论

1.1 背景意义

现代经济的高速发展给交通业带来了新的快速发展机遇。然而与此同时交通运输业迅速发展也带来了交通日益拥挤、事故频繁发生及交通污染等严重问题这些问题越来越受到社会的重视和关注。我们在面临上述问题时过去通常采用的方式有道路拓宽、建设立体交通等但是这些传统手段已经无法跟上经济高速发展的脚步这些。于是从20世纪90年代以来美、 日、欧等国家地区就开始逐渐开发并应用信息技术来解决上述难题在此基础上提出了智能交通系统Inte lligent Transpo rt S ys tems I TS的概念。

近年来交通和计算机技术都发生了翻天覆地的变化。交通方面随着欧盟、北美、东亚区域经济一体化的推进以上各区域内的交通物流一体化的步伐越来越快。然而在实际的应用和研究中智能交通仍然存在诸多亟待解决的难题如系统之间的信息共享、信息传递延缓等这些都制约着智慧交通信息传递的可达性与准确度影响决策支持、管理调度的效率。值得欣喜的是云计算技术的出现正在为解决这些难题提供有效途径信息大集中模式的云数据中心的建设成为必然的选择云计算技术特有的超强计算能力和动态资源调度、按需提供服务等优势以及海量信息集成化管理机制等都将促进智能交通公众服务平台的建立为人类交通向智能化方向发展提供有力支撑。

在当前智慧交通领域存在着严重的信息孤岛系统之间信息共享困难、信息传递延缓这些都将制约智慧交通领域信息传递的可达性与准确度影响决策支持、管理调度的效率而云计算技术特有的超强计算能力、动态资源调度、按需提供服务以及海量信息集成化管理机制等方案都将成为解决这一问题的重要手段。

1

第一章绪论

移动设备的计算、存储能力在近年来迅速发展各类功能丰富、具有优秀用户体验的终端应用程序不断涌现在2014年通过移动设备上网的人数将超过PC。随着智能手机用户数量的爆炸性增长移动云计算作为一项极具潜力的技术被引入。

由于网络带宽以及客户量的增加流媒体业务所需处理的数据量大幅增加媒体数据的处理如编码、转码等往往涉及大量的运算 如何满足海量的媒运算需求是急需解决的问题

移动云计算将云计算技术集成到移动环境中克服了移动设备在性能带宽、存储能力、 电池容量、环境终端异质性、可扩展性、可用性及安全可靠性及隐私方面的问题。同时 由于移动设备包含了方向、光线、重力等多种传感器 以及GPS定位及移动视频摄像功能用户获得了比传统云服务更方便智能的移动体验。

基于移动云计算的智慧交通系统还可以实现开放效应目前的智能交通系统一般都是采用专用的设备,构筑在专用的系统上,信息的发布多采用单向传播,缺乏互动性。采用云计算以后,系统可以通过互联网提供智慧交通中的应用服务。智能交通的各种服务不仅仅向交通管理部门,也可以向社会公众,从而使智能交通系统从一个相对封闭的系统变成开放的系统。

云计算在智慧交通中的应用具有明显优势第一超强计算能力。云由网络上众多的计算机构成而且可以不断扩展就能形成超强的计算能力。第二通用性和易扩展性。云计算不针对特定的应用在“云”的支撑下可以构造出千变万化的应用 同一个“云”可以同时支撑不同的应用运行。 “云”的规模可以动态伸缩满足应用和用户规模增长的需要。第三高可靠性。 “云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性使用云计算比使用本地计算机可靠。第四按需提供服务。用户完全根据自身情况提出需求“云”可以为每个用户量身定制提供完全差异化的服务。第五节能减排。 由于采用了特殊容错措施所以可以采用极其廉价的节点来构成云大大降低了企业的投资成本。 同时 “云”的通用性使资源的利用率较之传统系统大幅提升。

2

第一章绪论

1.2 国内外研究概况

1.2.1国外发展现状

NTCIP是美国针对智能运输系统(ITS)的电子设备间数据传输所制定的标准通信协议其主要目标是确保交通控制与ITS系统组成单元彼此之间的“互操作性”(Interoperabi l ity)与“互换性” (Interchangeabi l ity) 简言之 NTCIP有望能成为运输工业未来的Internet。所谓“互操作性”是指在NTCIP通信网络内不同种类的系统装置之间可以相互调用对方提供的服务这些系统装置可以是安装在相同通信链路的不同种类交通控制终端设施或是不同控制中心之间的远程系统在线信息交换。所谓“互换性”是指软硬件设备具有多个供货商系统不会受限于供货商而导致软硬件设备置换时与系统联机的困难。

NTCIP是美国国家智能交通通信协议标准在很大程度上引导着世界ITS技术的发展。它的发展是以美国国家智能交通系统框架体系为基础的它突出的特点体现在它所建立的标准的系统性上。

之所以称NTCIP为标准体系是因为NTCIP可以简要地划分为三类一是数据元标准如意外事件管理信息集Message Set for Incident Management二是信息集标准如交通管理数据字典Traffic Management Data Dictionary三是通信协议标准 如交通管理中心间的通信协议标准Center to CenterCommunications Protocols。这三类标准构成的体系很好地解决了智能交通体系框架中遇到的信息数据共享问题。同时对规范系统开发促进技术和产品的市场竞争起到很好地推动作用有效地避免了资源的浪费。这些标准构成了美国智能交通系统完整的标准体系覆盖了美国智能交通体系框架中的各个数据流通环节对美国智能交通系统的建设起到了非常好的规范与推动作用。

在实际工作中由于数据元标准和通信协议标准的基础作用美国智能交通系统标准化组织将数据元标准和通信协议标准的制定放在首要位置。

在美国智能交通系统通信协议标准以及ISO/FDIS14817中都使用了数据对象的概念。但从这两个对象定义的内容看其定义的是智能交通系统中的数据元 因此在概念上将Traffic Management Data Dictionary译为先进的交通管理系

3

第一章绪论

统数据元对象更为准确和贴切也符合国内标准的使用形式。在不致引起混淆的情况下简称其交通管理数据对象也是可行的。

为了避免与“交通管理”一词的通常内涵和外延发生误解相关标准应采用“先进的交通管理系统数据元标准”或“智能交通管理系统数据元标准”为妥其内涵和外延更为清晰、 明确。

在美国的智能交通系统建设中不仅率先制定了诸如交通管理对象TMDD这样的以定义数据元定义为主要内容的标准而且于1998年开始了智能交通系统数据元著录系统ITS Data Registry缩写为ITSDR的建设和应用。智能交通系统数据元著录系统是一个基于网络的在线智能交通系统数据元数据库管理系统。

尽管对美国智能交通系统数据元著录系统也存在争议但是其发挥的作用也是十分明显的。与单纯的智能交通系统标准相比智能交通系统数据元著录系统的独特作用主要体现在以下几个方面一是统一不同标准间的同一概念的定义和表示二是便于不同标准间的概念、定义的相互引用三是协调或解决不同标准造成的对同一概念的定义或表示差别 四是方便标准概念定义的使用。

实际上正是受到美国智能交通系统数据元著录系统建设的启发 ISO TC204WG1于2001年提出了智能交通数据元著录标准草案。

NTCIP的应用一般分为两大类 中心到外场Center-to-Field C2F及中心到中心Center-to-Center C2C的应用。前者通常包含路侧设施或者是各运营部门所拥有的车辆与管理中心的计算机之间的信息传输。而后者则主要是管理中心的计算机或各个子系统之间的数据传输。 NTCIP标准采用了分层的架构分别为信息层应用层传输层 网络层和实体层。其架构如图1-1-1所示。

4