节点基于p2p cdn的流媒体传输系统中的邻居节点选择策略

基于P2P-CDN的流媒体传输系统屮的邻居

节点选择策略

左启阳1.2,张玉洁1.2,孟祥武1.2

5 (1.北京邮电大学智能通信软件与多媒体北京市重点实验室

2.北京邮电大学计算机学院北京100876)摘要:对等网络(Peer to Peer Network)和内容分发网络(ContentDistribution Network,CDN)山于其优势互补性而被越来越多的应用到实际的系统中。基于P2 P-CDN的流媒体传输系1()统是我实验室正在开发和完善的项日。此系统结合了P 2 P和C DN技术的优势釆用分层架构设计。在上层边缘服务器之间采用C DN内容分发技术在下层节点以及节点和边缘服务器之间采川P 2 P技术。在设计实现过程中我们发现系统中邻居节点的选择是提窩服务性能和体验的关键问题。本文提出了一种在基于P 2 P-C DN的流媒体分发系统架构下最佳邻居节点选择策略。仿真实验表明采用该策略可以有效的提高系统性能。

15关键词对等网络 内容分发流媒体传输邻居节点选择中图分类号 TP393

Neighbor Selection Strategy in P2P-CDN Based Streaming

Media Transmission System

20 ZUO Qiyangu,ZHANG Yujiei.?,MENG Xiangwui.2

(1.Beijing Key Laboratory of Intelligent Telecommunications Software and Multimedia;

2.School of Computer Science,Beijing University of Posts and Telecommunications,Beijing

100876)

Abstract:P2P(Peer to Peer Network)and CDN(Content Distribution Network,CDN)are

25 increasingly applied to the actual system because of their cornplernentary advantages・P2P-CDN-basedStreaming Media Transmission System(PSMTS) is being developed and perfected through my lab projects・Thissystem combines the advantages of P2P and CDN technology,using a layered architecture design.Between theupper edge server using CDN content distribution technology,between the lower nodes and node and edge serverusing P2P 30 technology.In the design and implementation process,we found that the neighbor node selectionsystem is to improve service performance and experience of the key issues・This paper presents a NeighborSelection Strategy in P2P-CDN Based Streaming Media Transmission System in the system architecture・Simulation results show that the use of this strategy can effectively improve system performance・

35 Key words:P2P;CDN;Streaming Media Transmission;Neighbor Selection

0引言

近些年流媒体逐渐成为互联网应用的主要媒介传统的流媒体服务主要采用客户端服务

器模式 以单播的方式和每个客户端建立连接 山于流媒体服务具有高带宽和持续时间长等

4()特点随着用户的增多服务器资源很快被耗尽成为系统瓶颈。

作者简介左启阳(1987-),男硕士研究生主要研究方向 网络软件

通信联系人孟祥武(1966・)男教授博士生导师研究领域包括网络服务智能信息处理和通信软件.E-mail:mcngmxw@I 63.com

随着Napster,Gnuiella⑴等P2P系统诞生对等网络(P2P,Peer-to-Peer)快速发展。 P2P系统充分利用分布在网络中的齐个节点存储资源和计算资源具有分布式、H组织、容错和负载均衡等特点Ph W此

研究P2P流媒体技术对解决流媒体服务器的瓶颈问题具冇巫要的意义。

内容分发网^(Content Distribution Network,CDN)在全球IP网络结构中扮演着巫要的角色它通过将互联网中传输的内容通过中间路径分发到距离目的地尽可能近的地方但C DN的缺点是可扩展性差、部署昂贵。 C DN和P 2 P网络结合产生的混合分发网络(C DN-P 2 P)架构⑶充分利用了P 2 P和C DN网络优点的互补 内容分发网络中的边缘服务器在加入P2P特性Z后能够处理更多的请求提高了整个网络的性能和扩展性4 o W此在本系统的设计实现过程中将P2P-CDN架构融入了流媒体传输系统 旨在进一步提高系统的性能提高服务的质量⑵。

在一个典型的覆盖网络中 网络中的节点来自不同的自治域节点可以在任意时间自山的加入和退岀网络导致网络具有很大的动态性如何在流媒体传输过程中保持一个相对稳定的服务是P2P系统中迫切需要解决的问题。而邻居节点的选择算法就是针对上述问题提出的。

文献⑹探讨了邻居节点的关系和共同邻居节点的概念 以便更好的选择邻居节点。对节点的信息进行充分分析的慕础上利用机器学习等人工智能方法选择邻居。文献7・8介绍了在P2P流媒体传输领域面临的邻居选择的问题其思路是通过优化邻居节点的选择来提升整个系统的服务性能。文献9-10则介绍了在互联网服务提供^(Internet Service Provider, ISP)在P2P流量方面面临的问题主张通过ISP Z间和P2P客户端软件Z间的合作来解决问题。另一方面如果使用有效的邻居节点选择算法选择交互性最好的邻居节点则可以避免ISP之间的明确的合作关系。

1基于P2P-CDN的流媒体传输系统

为了能更好的介绍邻居选择策略首先需要了解基于P 2 P-C DN的流媒体传输系统的整体架构。如图1所示基于P 2 P-C DN的流媒体传输系统山中心服务器(内容源服务器)、 边缘服务器、和用户终端(下文简称为节点)。整个系统分成三层最上层中心服务器是流媒体资源的源服务器最初的所冇资源都來自于中心服务器。它还负责给全网提供P 2 P初始化服务、分析网络中节点行为信息和自治域管理 中间C DN层以地理位置负载均衡等为主要因索分布着许多边缘服务器这些边缘服务器作为管理流媒体资源分布的巫要角色 通过内容预存机制,将节点所需要的资源提前缓冲到距离节点最近的位置,以提高流媒体传输效率另外边缘服务器也作为P2P的一部分在节点加入退出频繁或者客户端较少等情况下保证服务质量减少系统的抖动最下层为无结构化的P 2 P网络 网络宙用户节点构成广义上说上层C DN边缘服务器在这一层也作为对等节点属于P2P网络的一部分。在这一层用户节点不仅作为整个系统的用户还可通过与邻居节点Z间的信息交换 分担边缘服务器以及中心服务器的负载达到减少服务端压力提升整个系统性能。

图1基于CDN-P2P的流媒体传输系统结构图

Fig. I P2P-CDN Based Streaming Media Transmission System

一个边缘服务可以给多个节点提供服务 同时在边缘服务器Z间乂可以形成P2P网络关系一个边缘服务器可以向其他边缘服务器请求缓存资源边缘服务器下的节点通过与选择出的最佳邻居节点建立连

接而形成的节点集合成为自治域。在同一个自治域中的节点往往在地理位置、节点行为等方面都很类似。这样不但方便了对节点的管理更冇利于决定边缘服务器上资源的缓存策略。在一个节点请求某段流媒体时可以同时向其所连接的边缘服务器和邻居节点同时请求资源大大减轻了中心服务器的压力。2邻居节点选择策略

2.1节点状态信息收集

流媒体系统中存在一定数量的具彳 j•持续性在线行为的相关节点对。因此,可以通过记录节点的地埋位置、传输时延、上传带宽、负载因子、邻居数目、在线行为等信息以下统称为节点统计信息 并通过对这些信息进行分析从而可以获得最适合成为某个节点邻居节点的列表并在节点加入网络或者请求邻居的时候发送给节点。这些经过挑选的邻居节点可以为P2P数据合作提供良好的前提环境。

中心服务器作为一个控制节点它掌管所有的节点的行为信息。接入网络中的节点定期与中心服务器交互将自身的节点统计信息发送给中心服务器 中心服务器会对收到的节点统计信息进行汇总和分析并将信息持久化存储到数据库中。

中心服务器提供为系统中的节点选择最佳邻居的服务。加入的节点只需向中心服务器发出请求然后山中心服务器返冋当前该节点最佳的邻居节点的列表节点在收到邻居列表后,将尝试向这些邻居节点请求数拥。当节点检测到某一时刻流媒体数拥传输速度变慢活跃上传的邻居数目减少的时候会再次向中心服务器发送请求获得一定数量的邻居。如果存在服务瓶颈问题 为节点提供邻居节点选择的服务可以独立出来 山专门的集群来负责。但在实际运行中发现 当前用户量规模下 中心服务器所提供的服务尚不存在瓶颈问题 因此为简单起见可山中心服务器负责上述的所有丁■作。下图描述了系统中的节点从中心服务器获 得 邻 居 节 点 列 表 的 流 程 。

Fig.2 Neighbor Selection Flowcharl

选择最佳的邻居节点需要考虑多种因索包括服务的目标和特点。选择最优邻居节点的关键因索是预期的服务性能服务性能可以被带宽、往返时延、连接抖动、丢失率、地理位置等因索衡量。

2.2节点网络距离计算

中心服务器根据收集到的节点统计信息计算节点与其他各个节点Z间的网络距离后面给出了网络距离的定义公式1给出了计算网络距离的计算方法 并根据计算出的数据,决定分配给某个节点的邻居。当为节点分配邻居的时候系统会首先给节点分配处于活跃状态冃网络距离最近的节点作为邻居节点。

定义1网络距离所谓网络距离就是综合考虑地理位置、性能负载、时延、节点稳定性等节点统计信息计算出的服务请求节点到网络中某个活跃节点以下称为候选节点 的距离。计算方法如公式1所示

其中 d为服务请求节点与候选节点之间的地理位置的距离RTT为服务请求节点到候选节点Z间的传输往返时延文献13给出了计算节点Z间时延的方法 M ax为候选节

点最大上传带宽Wup为候选节点当前上传占用带宽 L为候选节点当前负载值N唤为候选节点最大邻居数日N缈为候选节点当前邻居数日 S为候选节点的稳定性 a为平衡系数。 山定义1可得 网络距离是单向的他定义了服务请求节点到候选节点的距离向量。

2.3邻居列表的维护和更新

在节点加入网络时 向中心服务器请求初试的邻居节点列表在运行过程中如果有邻居节点退出等导致邻居节点数目不够影响服务性能的情况下 中心服务器会再次向节点发送新的邻居节点列表。另外如果某些邻居节点在运行过程中邻居负载增加 网络上传带宽已经用尽或者不稳定性增大都会导致中心服务器为节点更新邻居列表。

2.4邻居节点选择策略

某个节点邻居节点的选择主要依赖于中心服务器基于节点统计信息计算出的网络距离。当节点需要邻居的时候 中心服务器会选择距离最近该节点网络距离较近的一些节点作为邻居分配给该节点。

3仿真实验及分析

3.1仿真环境的搭建

为了能够模拟地理位置信息我们的模拟环境中的节点和服务器都使用了Ge o IP数据库中的IP和地理位置数拥。模拟器釆用基于离散事件模拟的PeerSim模拟器该模拟器的优点是可以使用模块化的抽彖的网络层和传输层方便重用代码并简化了实验设计。

3.2仿真实验策略

为了简单假设每个节点至多可以拥有50个邻居节点至少拥有5个邻居节点。每个节点的邻居数日服从均匀分布。实验被白动重复执行1()次每次时长12小时。期间节点加入、离开、资源请求等爭•件随机发生每次试验中都进行100(X)次资源请求并统计搜索命中率、传输速度、边缘服务器负载等性能指标。

实验随机选择了30个地区每个地区分布有6000-10000个节点节点在不同地区的数日在此范圉内服从均匀分布总节点数日达到2()万以上每个节点的输出带宽在l()(X)kbps到9000kbps之间。

流会话持续60分钟媒体文件可以分别分为100, 150,200个块。为简单起见 中心服务器只有一台且分布位置大致位于边缘服务器分布区域的中心点上(可认为中心服务器到各个边缘服务器的距离大致相同)。

仿真实验分别从邻居节点的稳定性、传输性能和服务节点负载三方而证明了该邻居选择策略可以有效的提升系统的性能。

表I实验参数设置

Tab. 1 Experimental parameters

参数名 值

实验次数 10次

实验时K 12小时

平均总节点数 27.5万个

最多邻居节点数目 50个

最少邻居节点数目 5个

资源数目 100个

请求数目 10000次

节点最小带宽 1000kbp s

节点最大带宽 9000kbp s

服务节点最小带宽 100000kbp s

服务节点最大带宽 900000kbp s

3.2.1邻居节点稳定性

木实验目的主要是验证在此邻居选择策略下选出的邻居节点的总体稳定性情况是否好于不采用此邻居节点选择策略的系统(采用随机分配邻居)。所谓邻居节点的稳定性就是一段时间内邻居数日占最初分配数日的比例。每次实验都随机跟踪100个节点记录12小时内为节点分配的邻居节点的在线数日并取平均值计算比例进而得出邻居节点的稳定性

对比如下图所示:

图3邻居节点稳定性对比

Fig. 3 Stability Contrast of Neighbor Nodes

山上图可以看出在采用此邻居节点分配策略之后的系统所分配的邻居随着时间的推移仍然保持着比较稳定的在线服务状态。而不釆用此邻居分配策略的系统在两小时之后在线或提供服务的邻居节点数迅速下降从而导致系统传输性能下降服务请求节点的传输压力转向服务节点加大服务节点的传输压力。

3.2.2传输性能

实验随机选取100个节点统计其接收到的流媒体传输服务性能并求平均值。所谓流媒体传输服务性能就是节点的的下载速度占其最大下载带宽的比例。实验结果如下图所示

Fig.4 Transmission Periormance Comparison

上图从服务请求节点的角度描述了12小时内的服务请求节点获得的平均流媒体服务性能。在采用邻居选择策略的时平均卜载速率占最大卜载速率的比例比不采用邻居选择策略高30%左右。可见邻居选择策略可以冇效的提升服

务请求节点的下载性能。从而提升了整

个系统的传输性能。

3.2.3服务节点传输负载

木实验主要验证此邻居选择策略是否可以仃效减轻流媒体系统服务节点的传输负载试验中随机选择了20个服务节点对其传输负载进行监视并记录其传输负载。所谓传输负载就是当前匕传速度与最大传输速度的比值。对其取平均值后得到的结果如下图所示。

0.8

06

分a渝居君过去的时何(小时)

图5服务节点传输负载对比

Fig. 5 Comparison of Service Nodes Traffic Load

山上图可以看出相比不采用邻居选择策略随机分配邻居节点的系统采用邻居选择策峪的系统服务节点的传输压力可以降低到前者的40%左右。说明此邻居选择策略可以冇效的缓解系统服务节点的压力。

4结论

在基于C DN-P 2 P的流媒体传输系统开发和研究的过程中发现邻居节点选择策峪对节点服务稳定性、系统传输性能以及服务节点传输负载方面有着巫要的影响。木人在研究过程中做了大量调研并在调研和试验的基础上提出了一种邻居选择策峪。模拟实验表明此邻居选择策略可以在很大程度上缓解流媒体传输过程对整个系统中服务节点的压力并能在传输过程中冇效的提高邻居节点的稳定性从而提高服务的稳定性提高系统流媒体传输性能。

[参考文献](References)

[1]Ripeanu Peer-to-peer architecture case study:Gnutella network[Al Ross Lee Graham.Proceedings of FirstInternational Conference on IEEE Peer-to-Peer Coinputing[C]5 Sweden: IEEE,2001,99-100.

[2]Aberer K,Hauswirth M.An overview on peer-lo-peer information systems[A].Witold Li twin.Carleton Scientific2002 Proceedings in InformaticsfCl.Paris,France:Workshop on Distributed Data and Structures,2002.14: 17M88-

[3]Mondal A,Trestian L Qin乙el al. .P2P as a CDN:A new service model for lile sharing!JJ.Computer Networks,

2012,56(14):3233-3246

[4]臧运港陈光喜.基于P2P和CDN的混合流媒体分发模型及分析侣[J]•计算机应用硏究,2010,27(6):65-69.

[5]秦丰林刘踞.P2P网络流媒体关键技术[J].电子学报,2011,39(4):919-927.

[6]Habib A,Chuang J.Service differentiated peer selection:an incentive mechanism for pccr-to・peer media streaming!J].Multimedia, IEEE Transactions on,2006,8(3):610-621.

[7]Haase P.Siebes R,van Harmelen F.Expertise-based peer selection in Peer-to-Peer networks[JJ.Knowledge andInformation Systems,2008, 15(1):75-107.

|8]Wu C,Li B.Oplimnl peer selection tor minimuin-delay peer-to-peer streaming with rateless codes[A].Wu C,Proceedings of the ACM workshop on Advances in pccr-to-pccr multimedia strcaming[C].New York,NY,USA:210 ACM.2005.69-78・

[9] 盛明,李捷王鸿.基于C DN路由的轻量级P 2 P节点选择方案[J] ・河南大学学报:自然科学版,2011,41(001):77-80.

[10]冯侦探倪宏王劲林等.P2P流媒体直播系统自适应邻居节点选择算法[J].西安电予科技大学学报(自然科学版),2012,39(3).

215 [I H万成威绑江兴兰巨龙等・P2P流媒体稳态传输模型分析[J] ・通信学1ft,2012,33(2):132-140.

[12J尹浩,林闯文浩,等.大规模流媒体应用中关键技术的研究[J].计算机学报,200&31(5):755-774.

[13]邱菌,李玉峰郭江兴等•保障流媒体时间结构的网络时延分析[J]•电子与信息学报,2009,31(10):2287-2293.