数据视频服务器是什么

收稿日期:2004-11-02基金项目:国家"八六三"高技术研究发展计划基金项目(863-306-ZD-01-04-4)资助.
作者简介:苗艳超,男,1972年生,博士,研究方向为计算机体系结构与性能评价.
杨晓君,男,1972年生,副研究员,研究方向为计算机机群通信系统.
周应超,男,1978年生,博士研究生,研究方向为可重构操作系统;孙凝晖,男,1968年生,研究员,博士生导师,研究方向为计算机体系结构与操作系统.
基于CATV网络视频服务器的数据实时性保证策略苗艳超1,2,杨晓君1,周应超1,2,孙凝辉11(中国科学院计算技术研究所,北京100080)2(中国科学院研究生院,北京100039)E-mail:miaoyc@ncic.
ac.
cn摘要:随着计算机性能的提高和网络带宽的增加,以及视频压缩编码技术的进步,逐渐使提供数字视频服务成为可能.
在基于有线电视系统的视频服务器中,数据实时性完全由视频服务器决定.
通用PC服务器输出数据实时性较低,难以满足视频服务器要求.
本文对通用PC服务器进行软硬件扩展,设计一个数据传输控制机制,提高输出数据实时性,实现一个由通用PC服务器构建的视频服务器.
关键词:有线电视;视频服务器;数据实时性中图分类号:TP391文献标识码:A文章编号:1000-1220(2006)02-0354-05ControlStrategyofDataReal-TimePropertyinVideoServerBasedCATVNetworksMIAOYan-chao1,2,YANGXiao-jun1,ZHOUYing-chao1,2,SUNNing-hui11(InstituteofComputingTechnologyTheChineseAcadenyofScience,Beijing100080,China)2(GraduateSchoolofChineseAcademyofSciences,Beijing100039,China)Abstract:Improvementofcomputerperformanceandincrementofnetworkbandwidth,incompanywithproceedingofvideodatacompressingtechnology,makeitpossibletoprovidedigitvideoservice.
OnvideoserversbasedonCATV,thedata'sre-al-timepropertycompletelydependsonvideoserver.
Thereal-timepropertyofgeneral-purposePCserver'soutputdataislowsomewhat,andisdifficulttoadapttothevideoserver'sdemand.
Thispaperextendsthegeneral-purposePCserverbothinhardwareandsoftwaretodesignadatatransferpolicy.
Withthepolicy,real-timedatatransfercanbeguaranteedtosomeex-tent,andconsequentlyavideoserverbasedongeneral-purposePCservercanbeobtained.
Keywords:CATV;videoserver;real-timeproperty1引言随着计算机性能的提高和网络带宽的增加,以及视频压缩编码技术的进步,逐渐使提供数字视频服务成为可能.
视频服务器是数字视频服务系统的核心部件之一[1],用于存储和输出视频数据.
从计算机技术的角度讲,视频服务器是一台或一组具有视频数据存储和输出能力的计算机,属于极强的数据密集型应用.
现代有线电视(CableTelevision,CATV)网络采用光纤同轴电缆混合(HybridFiberCoaxial-cable,HFC)结构,是目前分布最广和带宽最高的网络之一,提供确定性服务质量,具有恒定的数据传输延迟和极高的可靠性,通常不需要附加差错控制措施.
在基于CATV网络的数字视频服务系统中,通常采用DVB-C(DigitalVideoBroadcasting-Cable)等协议传输视频数据,该协议对数据实时性要求很高,一个设计良好的视频服务器数据抖动最大值应该在4毫秒以内[2].
否则客户端图像将产生抖动(jitter)现象,影响服务质量.
由通用PC服务器和Linux/Win32等多任务操作系统构成的服务器属于非实时系统,当采用其作为视频服务器时,保证视频数据在预定窗口内按时输出成为设计该类视频服务器的核心问题.
MPEG-2标准中定义的传输流[2](TransportStream,TS)用于可能发生严重错误环境的传输与存储,支持复用与解复用操作.
本文将给出一个使用传输流作为数据源、采用精确传输控制方案来满足数据实时性要求的视频服务器结构,并使用软复用算法实现在线复用操作.
2视频服务器应用环境基于CATV网络的数字视频服务系统总体结构如图1所示,QAM调制器将视频服务器输出的数字视频数据调制为模拟信号,再由调谐器搬移至特定频点,通过CATV网络传输至客户端,客户端(如机顶盒)解调后得到视频服务器输出的数字视频信号,再解复用、解码显示.
视频服务器由PC服务器、Win32/Linux操作系统、RAID/SCSI存储系统、网络适配器和视频服务专用软件组成.
网络适配器是专为视频服务器而开发符合DVB-C标准第27卷第2期2006年2月小型微型计算机系统MINI-MICROSYSTEMSVol.
27No.
2Feb.
2006的PCI接口卡,同时提供ASI(AsynchronousSerialInterface)和SPI(SynchronousParallelInterface)输出接口,可直接与图1基于CATV网络的数字视频服务系统QAM调制器互连.
视频服务专用软件与网络适配器相配合,保证视频流按时输出,完成视频服务器的全部功能.
3数据输出模型这里使用"积分流控"模型[3]作为视频数据输出时刻的控制规则.
如图2所示,在等长周期Th中,传输流的标称速率为r,而视频服务器实际以速率r'输出视频数据,其中r'为一个周期内的平均速率,可表示为r'=1Th∫t+Thtr(t)dt(1)根据传输流内部的时间戳,可确定任意周期Th输出的数据量,再根据等式(1),可以确定视频流中任意比特离开服务器时刻.
如果周期Th分割得越小,则速率r'越逼近原始标称速率r.
由于分段处理,对整个传输流来说,不存在累积效应,从而确保接收端解码器的正常运行.
下面给出该传输控制模型的实现方法,使非实时系统能够保证视频数据的实时输出.
4数据传输控制4.
1数据输出控制结构为描述方便,将积分流控模型中的等长周期Th称为复用周期,再将既定整数个复用周期称为一个写周期.
图2积分流控模型这里采用分层多级方式完成数据传输控制,总体结构如图3所示,包括四级缓冲区、五个执行模块和一个读数据命令队列,其中第一级缓冲区中为每个视频流分配一个缓冲区组,存储各视频流复用前数据,其它缓冲区存储复用后数据.
第二、第三级缓冲区存储的数据量以写周期为单位,第四级缓冲区存储的数据量以复用周期为单位.
读取模块根据队列中的命令将视频数据由外部存储器读入第一级缓冲区,输出模块将第四级缓冲区中的数据输出到有线电视网络,其它三个模块将前一级缓冲区中的指定数据传输到后一级缓冲区中.
输出模块和第四级缓冲区由硬件逻辑实现,其它模块由软件实现,其中转移模块运行在操作系统的核心态.
其它运行在用户态.
图3数据传输控制结构除读取模块和输出模块外,每个模块都是前一级缓冲区数据的消费者和后一级缓冲区数据的生产者,每级缓冲区都至少由两段构成,以便使消费者和生产者可以并发执行.
图4ASI卡逻辑结构硬件逻辑构成网络适配器,以PCI扩展卡的形式配置在视频服务器中,总体结构如图4所示,通过在FPGA(FieldProgrammableGateArray)中编写处理逻辑实现,本系统使用ASI接口,称为ASI卡.
4.
2数据输出控制过程在如图3所示的结构中,数据传输控制按复用周期进行,分成两步完成,确定复用周期数据量,再将复用周期内数据匀速输出,实现过程如下:首先,读数据模块作为队列的消费者,循环执行队列中的命令,将视频数据由外部存储器读入第一级缓冲区,直至队列空时阻塞;其次,复用模块根据视频流内部的时间戳信息,利用算法1确定各视频流在当前复用周期的数据量,并从第一级缓冲区中读取这些数据,再利用"分段均匀交织传输包"算法[4]将其复用后存储到第二级缓冲区,直至第一级缓冲区空或第二级缓冲区满时阻塞;第三,传输模块循环将复用后的视频数据从第二级缓冲区转移至第三级缓冲区,直至第二级缓冲区空或第三级缓冲5532期苗艳超等:基于CATV网络视频服务器的数据实时性保证策略区满时阻塞;第四,转移模块根据输出模块提交的中断信号,在复用周期的起始时刻,将复用流一个复用周期的数据输出到第四级缓冲区中,且在下一个复用周期起始时刻(中断信号到达)之前输出结束;最后,输出模块中的输出控制逻辑根据时钟信号,在每个复用周期起始时刻,将上一个周期收到的数据均匀输出,同时向转移模块提交中断信号,申请下一个复用周期将要输出的数据.
第四级缓冲区和输出模块采用硬件结构(ASI卡),能够保证视频数据各比特按预定时刻输出.
第三级缓冲区和转移模块在ASI卡驱动程序中实现,以连接上层模块和底层硬件设备.
在调度过程中,为降低对上层模块的实时性压力,复用模块每运行一次,产生一个写周期的数据量存储于第二级缓冲区中,同时在各复用周期内,完成软复用操作,将多个单节目传输流在线复用为一个多节目传输流.
而读取模块在服务器主存开销允许的情况下,一次可以读入多个写周期数据到第一级缓冲区中,以降低读取模块的运行次数和提高存储设备带宽利用率.
数据经过多级缓冲后,将用户态模块处理的实时性要求降低为写周期数量级,而将核心态模块实时性要求降低为复用周期数量级.
图5视频数据传输采样复用周期取7.
52毫秒,写周期为复用周期的100倍时,在PC服务器上采用WinNT4.
0操作系统,并配置按上述方法开发的软硬件,作为视频服务器,以DVB-C机顶盒加普通电视作为客户端,视频数据采用MPEG-2传输流,进行传输控制实验.
图5给出一个由逻辑分析仪记录的视频数据传输采样图:中心线左侧的"T"时刻点表示数据申请中断发出时刻,中间信号部分表示DMA数据传输.
可以看出,在中断申请0.
5ms左右后开始DMA数据传输,带宽约40MB/s,传输数据量约8KB.
测试环境:Pentium166CPU,33MHz、32位PCI总线,WinNT4.
0操作系统.
测试表明,在服务器负载范围内,可以在客户端得到稳定的视频信号.
因此,通用PC服务器经过软硬件扩展后,可以满足视频服务器的实时性要求,向用户提供数字视频服务.
算法1计算各复用周期数据量算法:计算传输流各复用周期输出的数据量,以传输包数为单位.
输入:传输流ts的传输包序列输出:传输流ts各复用周期输出的传输包数N[…]过程:计算一个复用周期对应的PCR计数值:pcr-M=系统时钟频率(27MHz)*(复用周期获取传输流ts第一、二个PCR字段值pcr-a和pcr-b及其所在的传输包编号pkt-a和pkt-b;用pcr-a与pcr-b估计处理pcr-a之前的数据;剩余pkt-r个传输包,PCR偏差为pcr-r;whilepkt-b是合法传输包编号doΔpcr=Mod(pcr-b-pcr-a+pcr-r,233);//相对PCR增量,Mod表示取模运算ifΔpcr≥pcr-M//超过1个复用周期Δpkt=pkt-b-pkt-a+pkt-r;//两个PCR之间的传输包数pcr-r=Mod(Δpcr,pcr-M);//剩余PCR计数pkt-r=Δpkt*pcr-r/Δpcr;//剩余传输包计数在(Δpcr/pcr-M)个复用周期中均匀分布(Δpkt-pkt-r)个传输包,计算N[…];pcr-a=pcr-b;pkt-a=pkt-b;//准备下一次处理endif获取传输流ts下一个PCR字段值pcr-b及其所在的传输包编号pkt-bendwhile处理pkt-b之后剩余数据:用pcr-a与pcr-b估计pkt-b之后剩余复用周期传输包数注:传输包表示传输流中一个PES分组,固定长度为188字节;PCR是传输流中的时间戳字段,可参考文献[2].
5性能分析按上面给出的传输控制方法进行设计,在系统负载范围内,没有缓冲区溢出,系统可以稳定运行.
下面分析节目加载延迟、VCR操作延迟和服务器过载特性.
5.
1视频流加载延迟为描述方便,将复用模块检查各视频流第一级缓冲区中数据有效性的时刻称为数据插入点.
若第一级缓冲区中数据在数据插入点时有效,则该视频流参与复用,否则在即将形成的复用周期数据中没有该视频流.
数据插入点可以有两个位置:一个是复用周期起点:即复用模块在各复用周期起始时刻检查视频流数据的有效性;另一个是写周期起点.
在检查各视频流数据有效性时,要求第一级缓冲区中的剩余数据至少可以使用到下一个数据插入点,否则不能保证输出数据的正确性.
为描述方便,定义如下参数:Tp:新视频流加入时的预处理时间,包括创建数据结构、打开外部存储器中的视频文件和填充第一级缓冲区段时间;Tm:复用周期时间;653小型微型计算机系统2006年Tw:写周期时间,Tw=kw·Tm,kw为可调参数;T1:第一级缓冲区延迟,即第一级缓冲区数据排空时间;T2:第二级缓冲区最大延迟,即第二级缓冲区数据排空时间,T2=2Tw;T3:第三级缓冲区最大延迟,T3=2Tw;Tcp:在内存中复制一个写周期数据块时间;这里假设第二级和第三级缓冲区由两个缓冲区段构成.
·空载状态下的视频流加载延迟在初始状态,系统中没有数据,所有模块都处在阻塞状态,在收到第一个视频流请求后,执行过程如图6所示,各段延迟构成如下(不计模块切换时间):图6新视频流加入执行图AB段:预处理,为第一个视频流读取视频数据到第一级缓冲区,TAB=Tp;BC段:唤醒复用模块,TBC=0(忽略模块切换时间);CD段:产生一个写周期数据,数据进入第二级缓冲区,近似等于复制一个写周期数据时间,TCD=Tcp;DE段:传输结束,数据进入第三级缓冲区,TDE=Tcp;EF段:等待下一个复用周期起点时刻,复制数据到第四级缓冲区,等待时间0~Tm;FG段:等待再下一个复用周期时刻起点,数据开始输出,等待时间Tm;Tp为预处理和读一个写周期数据时间,其开销与操作系统和视频文件存储形式有关,这里暂不考虑.
则系统空载时,加入第一个节目的最大启动延迟时间可表示为Ta=2Tcp+2Tm≈2Tm·运行状态下的视频流加载延迟系统在运行过程中,增加一个新视频流时,其第一级缓冲区数据就绪后,还必须等到下一个数据插入点(图6中C点)到来时,新视频流数据才能参与复用,即BC段引入等待延迟,最大值为两个数据插入点间隔(假设第二级缓冲区由两段构成).
新数据形成复用流后,还要延迟其后各级缓冲区的排空时间才能输出.
因此,新视频流加入时,从第一级缓冲区数据准备就绪到数据输出,由于数据缓冲引起的调度延迟时间与数据插入点粒度和缓冲区级数有关,在图3中,第一级缓冲区与最后一级缓冲区间隔两级,因此,中间缓冲区最大延迟为T2+T3,则新视频流最大启动延迟可表示为Tb=T2+T3+Ta≈4Tw+2TmTm为复用周期时间,Tcp为更短的一个写周期数据内存复制时间,故Ta与Tm在一个数量级,而T2、T3为写周期等待延迟,与Tw一个数量级,故在不考虑Tp时,Tb远大于Ta.
因此,可以得到下面结论:(1)在过载以前,负载越重时,中间级满缓冲区数越少,启动延迟越小;(2)以复用周期起点作为数据插入点时,新视频流启动延迟较小.
(3)首个视频流加载延迟远小于后续视频流加载延迟.
图7给出实际测试的非首个视频流平均加载延迟时间(不计预处理时间Tp),其中首个视频流的平均加载延迟为0.
012秒.
图7视频流平均加载延迟测试过程:每次加载12个视频流,加载间隔0~5秒均匀分布,取10次平均值.
测试环境:ASI卡最高输出码率:36Mbit/s复用周期:7.
52ms写周期:752ms视频文件:MPEG-2传输流,约3.
0Mbit/s数据插入点:写周期起始处服务器配置:PII333,512M内存,Linux2.
2操作系统第一级缓冲区数据就绪后,第二、三两级缓冲区最大缓冲延迟为3.
008秒(4Tw).
为降低延迟时间和数据复制开销,可以将第二、三两级缓冲区通过数据共享的方法合并为一级,这里不再讨论其实现.
5.
2VCR操作延迟常用的VCR操作包括暂停、恢复、跳转(Seek)和快进/快退、慢进/慢退等,这里仅支持前三个,都在数据传输控制过程中完成,下面给出VCR操作实现方法及延迟计算.
这里不考虑模块切换时间,只考虑由于数据缓冲引入的调度延迟:5.
2.
1暂停/恢复如图3所示,若暂停运行其中任意一个模块,则后续模块因缺少数据而阻塞,前驱模块因数据堆积而阻塞,系统停止输出视频流.
暂停操作延迟时间为操作点后续缓冲区排空时间.
而恢复操作只需恢复已暂停运行的模块即可,其延迟时间最大值为填满所有后续缓冲区时间.
因此,暂停复用模块时有最大延迟Tb;暂停输出模块时有最小延迟Tm(输出模块只能在一个复用周期数据输出结束时才能暂停运行).
若暂停/恢复复用流中的单个视频流,必须在复用模块之前执行,否则将影响其它视频流的正常输出.
复用模块在下一个数据插入点暂停/恢复读取该视频流数据,即可实现单个视频流的暂停/恢复操作.
显然,其延迟时间等于非第一个视频流的加载启动延迟时间Tb.
5.
2.
2跳转7532期苗艳超等:基于CATV网络视频服务器的数据实时性保证策略跳转操作是指某个视频流从当前数据输出位置跳至使用者指定的视频流中任何一个位置输出数据.
该操作需要修改视频流的读数据文件指针,可在两个时间点执行:(1)下一次向第一级缓冲区中读取数据时,先移动文件指针,再读取数据,没有其它附加操作.
(2)收到跳转指令后,立即作废原第一级缓冲区中的数据,移动文件指针重新读入数据.
前一个方法实现简单,但需要增加排空第一级缓冲区数据时间的操作延迟(整数个写周期).
而后一个方法复杂,需要设置复用模块新的数据读取位置,以及额外的存储器访问带宽等,但执行时间缩短,去掉了第一级缓冲区排空时间.
但两个方法都要等排空第二、三、四级缓冲区后才能输出,即仍要延迟Tb.
这里的跳转操作没有考虑视频流本身特性,跳转后位置可能并非视频层规定的随机访问点,输出后客户端可能会产生暂短的图像抖动,但不会超过一个图像组(GroupofPic-ture,GOP)播放时间.
复用模块使用跳转后的数据时,需要重置跳转视频流的PCR值.
5.
3服务器过载特性5.
3.
1调度延迟根据结构设计,全部操作都围绕缓冲区进行,服务器中的I/O设备、CPU和总线等任意部件过载后,都将产生调度延迟,直至引起某级缓冲区下溢.
若第二、第三或第四级缓冲区发生下溢时,相当于在复用模块、传输模块或转移模块位置执行了暂停操作,而数据再次填充缓冲区后,相当于执行恢复操作.
若第一级缓冲区下溢,即在数据插入点进行数据有效性判图8数据延迟断时,某个视频流无数据可用,则从本数据插入点到下一个数据插入点之间的复用周期,该视频流都无数据输出,相当于对其执行了暂停操作,这不会干扰其它视频流的正常复用.
因此,缓冲区下溢除了在客户端产生图像抖动外,对服务器运行没有影响,过载去除后,系统恢复正常运行.
为保证系统稳定运行,复用模块和传输模块平均运行间隔不能超过一个写周期,否则第二、第三级缓冲区可能出现下溢,而反过来这一点可以用于判断服务器是否发生调度过载.
图8给出复用模块向第二级缓冲区中写数据的延迟时间,从第二级缓冲区输出数据结束(传输模块向第三级缓冲区写一个缓冲区段结束)到再次填充数据完成(复用模块向第二级缓冲区中写一个缓冲区段完成)的间隔时间.
可以看出,在系统过载以前,所有延迟都不超过一个写周期时间,即复用模块可以保证第二级缓冲区不出现数据下溢.
而过载以后,数据延迟超过一个写周期时间,第二级缓冲区将出现断流现象,视频服务器不再稳定输出视频流.
过载去除后,系统又可恢复到正常状态.
服务器因过载发生缓冲区下溢后,只有通过节目播放结束或主动删除节目降低负载后,服务器才能恢复正常.
5.
3.
2缓冲区上溢由于第四级缓冲区采用硬件FIFO存储器实现,上溢后将产生数据混乱,产生错误输出.
因此,第四级缓冲区溢出后,必须采用硬复位操作,使本复用周期数据失效,在下一个复用周期正常接收数据.
客户端将最多断流两个复用周期时间(当前复用周期数据不能输出,当前正在接收的下一个复用周期数据无效).
而第一、第二和第三级缓冲区采用软件形式,上溢后可能引起服务器软件崩溃.
因此,为保证服务质量,必须限制系统负载量,防止过载,特别是严禁缓冲区上溢.
6总结本文实现了一个保证数据实时性的数据传输控制方法,给出一个由通用PC服务器构建视频服务器的可行方案,并分析了服务器流量控制及操作性能.
实验表明,该视频服务器能够满足数据传输实时性的要求,在客户端可以得到稳定的视频图像.
References:[1]ZhongYu-zhuo,XiangZhe,ShenHong:Streammediaandvideoserver[M].
Beijing:TsinghuaUniversityPress,2003.
[2]ZhongYu-zhuo,QiaoBing-xin,QiWei.
ISO/IEC13813[M].
Beijing:TsinghuaUniversityPress,1996.
[3]YangXiao-jun,MiaoYan-chao,GuoLi-li,SunNing-hui.
TransferMethodofDigitalVideoonUnreal-timeOperatingSystem.
Contributed,2004.
[4]MiaoYan-chao,YangXiao-jun,ZhaoYi,SunNing-hui.
De-signofVideoServeronCATVnetwork[M].
Microelectronics&Computer.
2003,20(6).
附中文参考文献:[1]钟玉琢,向哲,沈洪.
流媒体和视频服务器[M].
北京:清华大学出版社,2003.
[2]钟玉琢,乔秉新,祁卫.
运动图像及其伴音通用编码国际标准-MPEG-2(ISO/IEC13813)[M].
北京:清华大学出版社,1996.
[3]杨晓君,苗艳超,郭黎利,孙凝晖.
一种基于非实时操作系统的数字视频传输方法,投稿待发表,2004.
[4]苗艳超,杨晓君,赵毅,孙凝晖.
基于CATV网络的视频服务器设计[J].
微电子学与计算机,2003,20(6).
853小型微型计算机系统2006年