子区vnc远程控制

ISSN1000-9825,CODENRUXUEWE-mail:jos@iscas.
ac.
cnJournalofSoftware,Vol.
17,Supplement,November2006,pp.
233242http://www.
jos.
org.
cn2006byofJournalofSoftware.
Allrightsreserved.
Tel/Fax:+86-10-62562563一种面向窄带环境的远程屏幕同步方法蒋文斌1+,金海1,过敏意2,邵志远1,朱漳楠11(华中科技大学集群与网格计算湖北省重点实验室,湖北武汉430074)2(上海交通大学计算机科学与工程系,上海200030)ALowBandwidth-OrientedRemoteScreenSynchronizationApproachJIANGWen-Bin1+,JINHai1,GUOMin-Yi2,SHAOZhi-Yuan1,ZHUZhang-Nan11(ClusterandGridComputingLaboratory,HuazhongUniversityofScienceandTechnology,Wuhan430074,China)2(DepartmentofComputerScienceandEngineering,ShanghaiJiaotongUniversity,Shanghai200030,China)+Correspondingauthor:Phn:+86-27-87557047,E-mail:wenbinjiang@hust.
edu.
cn,http://www.
hust.
edu.
cnJiangWB,JinH,GuoMY,ShaoZY,ZhuZN.
Alowbandwidth-orientedremotescreensynchronizationapproach.
JournalofSoftware,2006,17(Suppl.
):233242.
http://www.
jos.
org.
cn/1000-9825/17/s233.
htmAbstract:Thispaperpresentsanapproachforremotescreensynchronizationbyapplyingtheassociationofspatio-temporalredundancyreductions(ASTR).
Thetemporalredundancybetweenthecurrentchangedscreenareaandthepreviousframeistakenintoaccount.
ByapplyinganimprovedSSC-APDS(SubsamplingSearchCandidatesinAdjustablePartialDistortionSearch)algorithm,thespeedoftheblockmotionestimationisincreasedobviously.
Experimentalresultsapprovethatthisapproachcansavemorebandwidthintransferringthescreendataandreducetheoverheadoftheclient.
IthasbeenusedinapracticalwirelessapplicationforconferenceprojectingandcooperatingnamedFreeSpeechwithgoodperformance.
Keywords:temporalredundancy;server-basedcomputing;ubiquitouscomputing;remotescreensynchronization;wirelessnetwork摘要:综合考虑计算机屏幕在变化过程中时间与空间的双重冗余,提出一种新的远程屏幕同步方法,以进一步减少传输的数据量.
当前屏幕的变化区域和前一帧相应区域间的时间冗余得到了充分考虑.
同时采用了一种改进的SSC-APDS(subsamplingsearchcandidatesinadjustablepartialdistortionsearch)算法,显著地提高了时间冗余处理过程中块运动估计的速度.
实验结果表明该方法,能够进一步减少屏幕传输的带宽消耗,并降低客户端的开销.
该方法已经在一个实际的无线会议投影与协作系统FreeSpeech中采用,取得了较好的效果.
关键词:时间冗余;基于服务器的计算;普适计算;远程屏幕同步;无线网络计算机与网络技术的飞速发展给人类生产和生活带来了极大的便利.
人类的虚拟活动空间得到了空前的扩张.
新技术手段的不断涌现使得人们在网络上可以实现对远端设备各种形式的访问和操作.
其中,服务器计算(server-basedcomputing,简称SBC)模式更是使得人们能像访问本地机器一样很方便地访问和控制远程计算机.
近年来,出现了许多基于服务器计算模式的远程访问工具,如VNC[1],PCAnywhere[2],Netmeeting[3].
由于这种模式SupportedbytheNationalNaturalScienceFoundationofChinaunderGrantNo.
90412010(国家自然科学基金)Received2006-03-30;Accepted2006-10-08234JournalofSoftware软件学报Vol.
17,Supplement,November2006的方便和快捷,这类工具已经在许多实际系统中得到了广泛的应用[46].
在SBC中,以图形化屏幕的压缩和传输为基础的远程屏幕同步(remotescreensynchronization,简称RSS)机制是其中的关键技术之一.
由于被访问的远程计算机(我们称之为服务器)屏幕通常会频繁地发生变化,产生大量图像数据,从而在传输过程中消耗大量网络带宽.
为了缓解带宽压力,研究者提出各种方法.
早期,用来处理服务器屏幕数据的是一些相对简单的算法,如Raw,RRE,Hextile,这些方法基本不涉及数据的压缩,从而使得带宽的消耗很大.
随后,TridiaVNC[7]实现了两种被称为Zlib和ZlibHex的算法,它们都采用了标准的"zlib"库来实现对Raw和Hextile编码的数据进行进一步的数据压缩,从而使得需要传输的数据量有所减少.
然而,带宽问题仍然十分突出.
为进一步解决问题,研究者提出了一些更复杂的方法来压缩和传输图形屏幕数据.
Tight[7]是一种新的有效的编码方法,该方法通过采用数据分析器来判断输入数据的统计特性,从而决定采用哪种预处理过滤器来处理数据.
在用Zlib压缩前,不同的数据过滤器被用来预处理不同类型的图像数据.
这种方法试图找到一些特殊图像(如单色图像、大面积色块图像)以减少最终传输的压缩数据.
这种方法对一些有许多空白区域的简单图像是有效的,但对复杂图像,效率不高.
OLI(optimallinearinterpolation)[8]通过采用优化线性插值提出了一种新的基于像素的屏幕更新编码算法.
服务器只发送一小部分像素样点来表示屏幕的更新,通过像素样点,客户端使用分段线性插值来恢复更新的全部区域.
基于OLI,产生了一种2-D无损线性插值(2DLI)算法.
然而,这种方法仍然只是单独地将每个更新区域作为静态图像来处理.
文献[9]提出了一种FCE(fastcontentexpression)的屏幕编码方法,这种方法在给定方形区域内构造一个唯一像素值表,并将区域中的每个值转换为一个索引,从而实现屏幕数据的压缩.
这种方法仍然没有考虑在不同时间更新不同区域的时间冗余.
此外,还有一些应用于特殊场合的特殊方法.
如,对于嵌入式平台,文献[10]提出了一种应用于简单屏幕处理的方法——VNC.
不过,它只适合一些非常简单的屏幕处理,例如VCR(videocassetterecorder)中的控制板.
综上所述,我们发现,目前处理服务器屏幕通常采用的都是静态图像压缩方式.
这些方法仅仅考虑如何减少单帧图像内的空间冗余,使得传输的图像数据的量依然很大,影响传输及显示效果.
与此同时,随着无线计算技术的飞速发展,在普适环境下基于服务器计算的应用需求越来越大.
人们希望通过各种无线设备以SBC的方式远程访问远端服务器的资源.
然而,通常情况下,在无线环境中网络的带宽更窄、更不稳定,这给屏幕数据的传输带来了更大的瓶颈.
另一方面,由于要传输的图像是一系列具有用户界面风格的屏幕持续改变的区域,在两个连续屏幕图像之间通常存在大量的时间冗余.
尤其在计算机图形界面中,平移是一种经常发生的动作,这也是产生时间冗余的一个重要因素.
因此,可以应用这些潜在的时间冗余来进一步减少图像数据的传输.
为了进一步减少带宽消耗,本文提出了一种新的减少时空冗余的屏幕处理方法ASTR(theassociationofspatio-temporalredundancyreductions).
该方法考虑了当前屏幕变化区域与前一帧相应区域之间的时间冗余,并基于此,提出了一种新的远程屏幕同步机制.
在时间冗余计算中,采用了一种改进的SSC-APDS算法[11]以提高块运动估计(BME)的速度.
1远程屏幕同步机制在讨论新的桌面同步机制之前,来看一下传统远程屏幕同步中屏幕的处理方法:如图1(a)所示,当服务器屏幕的某些区域(如图中所示M)由于某些原因,如用户拖动滚动条、应用程序之间进行切换、连续播放动画,而发生变化时,系统捕获这些变化区域的图像,并采用Hextile,Tight或者FCE等方法进行压缩,然后按顺序一帧一帧发送到客户端.
客户端接收到数据后进行相应的解码,最后在本地屏幕上显示.
如果屏幕频繁发生变化,压缩后的静态图像数据量将会非常大,导致很大的传输开销.
因此进一步减少数据的传输量是十分必要的,特别是在普适环境下.
蒋文斌等:一种面向窄带环境的远程屏幕同步方法235VideostreamRecordingReplayingIPBBIBBP……MPEG-x,H.
26x,etc.
MHextile,ZlibTight,FCE,etc.
Sub-regionwithmotions.
ServerClient(a)Staticimageprocess(b)Traditionalvideocompression(a)静态图像处理方法(b)传统视频压缩方法UpdatingNochangeACBDACompensatedblockThepreviousframeThecurrentframeSub-RegionServerBCDClientThepreviousframe(c)ASTRapproach(c)ASTR方法Fig.
1Someapproachesforscreenprocess图1几种屏幕处理机制前面已经提到过在用户图形界面风格的屏幕变化过程中存在大量的时间冗余,因此,可以利用这一冗余特点来进一步降低屏幕变化过程中产生的压缩数据.
事实上,减少时间冗余已经应用在许多传统的视频压缩方法中,例如MPEG-x,H.
26x.
同时,这些传统方法也能够被用来处理计算机变化的屏幕.
一个最典型的应用是屏幕录像(如图1(b)所示),即将一段时间屏幕的变化记录为一个流媒体文件,便于以后重放,可以用在计算机教学、内容展示等诸多场合.
然而,这些方法不仅极大地增加了服务器的开销,而且产生了更多传输数据,因为这些方法每一帧都是对整个屏幕进行压缩,且压缩帧率固定.
因此,该类方法不适合具有实时特性的远程屏幕同步.
这里,为适应远程屏幕同步的特点,并进一步减少传输数据量,提出了一种新的远程屏幕同步机制——ASTR(如图1(c)所示).
首先,在某一时刻获取服务器屏幕上一个区域(称为子域,sub-region).
这些区域经常不是整个屏幕,而是屏幕中经常发生变化的某些局部区域.
这是RSS的第一步,在传统的同步方法中已经提到,这一步可以看成是空间冗余的处理.
然而,在ASTR中,不是将这个子域作为静态图像来压缩,而是与前一帧的相应子域进行比较,从而将子域划分为一些不同类型的子区(sub-area),以达到进一步减少时间冗余的目的:(a)无变化子区(如图1(c)中的D).
由于我们用一个矩形来涵盖包含运动的区域,与前一帧相应的子区比较可能存在一些没有任何变化的子矩形区域,由于这些子矩形区域和前一帧对应区域的内容完全一样,因此完全没有必要压缩和发送.
但在传统的方法中,这些区域也一起被处理了;(b)平移运动子区(如图1(c)中的A和C).
这意味着这个子区能够由前一帧中相应子区仅通过平移运动得236JournalofSoftware软件学报Vol.
17,Supplement,November2006到.
即可以用前一帧子区的矩形位置及到当前位置的运动向量来表征.
在传统的方法中,这类子区也作为静态图片进行压缩并发送.
而在ASTR中,仅需要发送前子区的位置和运动向量的元数据,而不是整个图像区域,这将极大地减少传输的数据量.
在许多情况下,对于图形用户界面,用户倾向于进行滚动条拖动,窗口移动等等操作,从而产生大量平移运动,所以通过元数据来表征这种区域的运动很有意义;(c)复杂运动子区(如图1(c)中的B).
这时我们不能在前一帧中找到一个与当前子区完全相同的对应区域.
我们需要通过补偿块和运动向量等参数一起来描述这种类型的子区.
当然,我们应当在前一帧中当前子区对应位置的附近寻找一个最相似的子区来简化补偿块.
补偿块越简单,压缩的数据就越少.
然后采用传统静态图像压缩方法来压缩补偿块.
通过上述3种类型子区的划分,当前帧与前一帧之间的时间冗余得到了充分考虑.
在获得这些子区后,我们应该将相关的数据发送到客户端.
对于(a),显然无须传送任何数据;对于(b),将表征子区原位置及运动向量的元数据发送到客户端(图1(c)中用黑点表示);对于(c),需要发送更多的数据,除了元数据外,需要将补偿块(图1(c)中用六边形表示)压缩并发送.
通过上述分析,可明显看到,客户端和服务器均需要分别保存屏幕的前一帧信息.
当客户端接收到待更新子区的相关信息时,它会根据位置信息在前一帧搜索得到相关子区,并综合所有信息,重构相应区域.
对于(a),无须做任何事情.
对于(b),只需根据运动向量将相应子区复制到当前位置.
对于(c),问题稍微复杂一些,需要解压补偿块,并结合前一帧相应子区来产生当前子区.
从上面提出的方法,可以看出不仅传输的数据量会明显减少,而且客户端的开销也会在一定程度上降低,这主要是由于需要解压缩的数据量减少了.
然而,由于需要花费时间来搜索不同类型的子区,会导致服务器开销有所增加.
幸运地是,在许多远程控制和协作的应用中,服务器通常比客户端有更强的计算能力,通过增加部分服务器开销来减少带宽消耗和客户端开销是值得的.
此外,基于一种改进的SSC-APDS算法,我们有效地提高了子区分类中BME的速度,使得服务器的工作效率更高.
2改进的SSC-APDS算法为了识别不同类型的子区,当前变化的子域被划分为一系列标准的宏块(通常是16*16).
在这里,BME用来完成宏块的运动估计和绝对误差和SAE的计算.
图2给出了BME基本处理过程:设A为子域中的一个宏块,以A为中心,在前一帧对应得一定搜索范围内寻找一个最合适的宏块Ap,使其与A最为相近,也就是与A的SAE最小.
由Ap到A的位移即为A的运动向量.
在求出每一个宏块的运动向量和位移以后,便可以据此来完成子域中不同类型子区的分类.
由于BME是一个费时的过程,研究者已经提出了诸多快速算法[1113].
SSC-APDS是最近提出的高效方法之一,它对宏块的候选位移搜索点和宏块内的像素点同时进行抽样.
该算法精度高、速度快.
然而,由于该算法搜索总是从搜索区域的中心点开始(如图3(a)所示),不够灵活,有时会带来较大计算量.
而在本文的应用环境中,存在大量因滚动条的运动、窗口的移动而导致的平移运动,因而许多相邻宏块具有相同或相似的运动向量的概率很大.
如果对于每个宏块,我们都从搜索区域中心开始估计它的运动,而一些宏块的最佳运动点远离中心,搜索算法将花费很长时间才能到达最佳点,因为在到达该点之前需要沿着螺旋扫描路径需要进行多次误差和的比较.
Currentframe……AApSearchareaASub-Regionwithmotions.
Fig.
2TheprocessofBME图2BME处理过程蒋文斌等:一种面向窄带环境的远程屏幕同步方法237…………StartpointThesearchareaRightmotionpoint……StartpointThesearchareaRightmotionpoint(a)ScanningpathinSSC-APDS(b)TheImprovementofscanningpath(a)SSC-APDS扫描路径(b)改进的扫描路径Currentmacro-blockSelectedmacro-blocksfordecision(c)Macro-Blocksfordecision(c)决策的宏块Fig.
3ImprovementoftheSSC-APDS图3改进的SSC-APDS算法为了提高BME的速度并使宏块更加适合合并,我们对SSC-APDS算法进行了改进,将搜索起点从中心移动到一个最合适的位置,如图3(c)所示.
当前宏块周边的一些宏块的运动被用来作当前宏块最适合起点的参考(如图3(c)所示).
最适合的起点计算如下:++=∑∑==mjjniiVmVnV12111111rrrλλ(1)r其中,V是最合适的搜索起点(如图3(b)所示),Vri1是最靠近当前宏块的周边各宏块的运动向量,是次靠近的周边宏块的运动向量.
n,m是分别是VjV1ri1r和Vj1r的数目.
λ是影响因子,在这里λ的值设为0.
5.
同时那些运动向量尚未被计算的宏块不予考虑.
通过使用改进的SSC-APDS算法,可以获得所有宏块的运动向量和SAE.
3子区识别和客户端重构3.
1子区识别通过考察宏块的运动向量和SAE,我们合并具有相同特征的相邻宏块作为子区.
如图4(a)所示,子区是一些互相连通的区域.
白色代表的是没有发生任何改变的宏块.
具有相同运动向量,且只发生平移的宏块用点标记(即SAE为0,并且运动方向相同).
用栅格标记的块的SAE不为0.
因为这样得到的每个子区通常是一个很难描述的不规则区域(图4(b)所示),所以有必要将其划分为一些规则的矩形,便于处理.
图4(c)说明了这种划分方法.
基本规则如下:(1)选择子区的左上宏块,将它作为初始矩形;(2)做水平延伸,搜索所有最右边宏块的相邻宏块,如果这些相邻块均存在,将它们添加到当前矩形中;(3)做垂直延伸,搜索所有最下方宏块的相邻宏块,如果这些相邻块均存在,将它们添加到当前矩形中;(4)交替重复上述步骤(2)和(3)直到不能继续为止;238JournalofSoftware软件学报Vol.
17,Supplement,November2006(5)从子区中移去当前矩形;(6)重新开始搜索,重复步骤(1)~(5)直到子区为空.
(a)Thecaughtarea(b)Sub-Areasfound(c)Divisionofsub-areasintoregularrectangles(a)当前子域(b)提取的子区(c)将子区划分为规则矩形Fig.
4Theprocessoffindingsub-areas图4子区的获取过程在进行上述处理后,当前获得的区域被划分为一系列规则矩形.
这些矩形可分为只有平移(SAE为0),或有复杂运动(SAE不为0)两种类型.
分别地,对于这两种类型,下面的数据会被发送至客户端.
(1)只有平移的矩形:(运动,位置).
(2)复杂运动矩形:(各宏块的运动向量,补偿矩形).
通过每个宏块的运动向量和服务器上保存的前一帧信息,补偿矩形很容易得到.
3.
2客户端重构对于客户端而言,根据服务器发送的数据容易重构待更新的区域(如图5所示).
对于只有平移运动的矩形,仅需要做的是根据运动向量和位置信息将相应的矩形从前一帧复制到目的位置.
对于复杂运动的矩形,处理过程稍微要复杂一些.
首先根据每个宏块的运动在前一帧中找到相应预测宏块,并合并形成预测矩形,然后将接收到的补偿矩形和预测矩形进行重叠从而形成最终的更新矩形.
(motionsofmacroblocks,thecompensatedrectangle)CompensatedrectangleOverlapPredictedrectangle(motion,location)Fig.
5Reconstructionofclient图5客户端重构补偿矩形的压缩方式决定了客户端更新的屏幕是无损还是有损的.
如果采用无损压缩方式,例如应用Zlib,则更新后的屏幕是无损的.
否则,便是有损的.
在以前的一些方法中,为了满足某些窄带宽环境的需要,有损方式经常被作为首选.
不过,在本文的方法中,由于发送的数据量已经有了明显地下降,因此无损方式可以优先考虑,这将能有效地保证客户端屏幕的清晰度.
当服务器当前屏幕变化区域和前一帧的相应区域非常相似时,本文提出的方法将非常高效.
然而,如果前者很大且与后者的区别很大,将会消耗大量时间来进行子区的分类,因为这时BME会带来大量的计算量.
在这里,采用一个折中的方法来缓解这个问题.
当我们开始处理变化子域时,首先采用改进的SSC-APDS算法分析少量的散布宏块.
从它们的运动和绝对误差和,我们能够判断当前获取的子域和前一帧子域的相似程度.
如果差别很蒋文斌等:一种面向窄带环境的远程屏幕同步方法239大,则采用传统的方法(如Tight)而不是ASTR来压缩这个区域.
当然,这些宏块应该尽量分散以能够反映整体的情况.
在实际情况中,有时由于某些随机因素会导致数据包的丢失.
在以前的方法中,这种意外被忽略,因为下一幅图像会迅速覆盖丢失数据包的相应区域.
然而,本文提出的方法很多时候仅仅发送的是补偿图像,并且必须利用客户端的前一帧来更新变化的区域.
如果没有采用其他措施,丢失的数据包将可能较长时间影响客户端屏幕.
幸运的是,在许多实际应用中,数据传输是不连续的.
当用户思考、讲话、休息时有大量空闲时间,这时服务器可以把整个屏幕作为静态图像发送到客户端来更新屏幕从而解决上述问题.
下一步,本研究将考虑设计一个更有效的丢包重传协议来使得本文的方法在一些不稳定的环境中应用得更有效.
4实验本文提出的上述方法在一个实际的无线会议协作与投影系统FreeSpeech[14]中得到了实现和验证.
FreeSpeech是我们实验室自主开发的一个基于远程屏幕共享,工作在AdHoc网络上的无线会议系统,如图6所示,系统由一个Manager、一个以上的Provider和若干Viewer组成.
演讲者作为Provider将自己的屏幕传给Manager,Manager通过投影议将其显示出来.
同时多个Provider可以协同显示和自由切换.
进一步地,为兼顾因距离或障碍物影响无法看清投影的其他参会者,Manager也可将显示内容组播给多个参会者(viewer),进行本地显示.
本文提出的方法,主要用于Provider到Manager端屏幕传输.
所有代码均通过VisualC++6.
0实现,且具体测试环境如下:服务器:IBM笔记本电脑,操作系统:WindowsXP,CPU:PentiumM1.
7GHz,内存:512MB;客户端:Asus笔记本电脑,操作系统:WindowsXP,CPU:PentiumM1.
4GHz,内存:256MB;网络:802.
11b无线局域网,带宽:11Mb/s.
为了能较全面地测试算法的效果,这里共测试了10个应用场景,涉及多窗口间的切换、文档的编写操作、PPT的播放、网页浏览等.
在这里着重讨论其中两个典型的代表(如图7所示).
一个是进行文档操作的场景,另一个是包含一些复杂运动的教学演示场景.
为了简便起见,分别命名为S1,S2.
在S1中,我们在阅读器中打开一个PDF文件并且以150ms每行的速度自动滚动.
因为在我们操作计算机时,滚动是一个非常普遍的动作,因此比较的结果是很具有代表性的.
S2是一个比较复杂的场景,包括平移,缩放,旋转等各种运动元素.
两个场景中S1选择的是打开参考文献[9]的PDF文件,S2选择的是执行WindowsXP系统中的tour.
exe教学程序.
这里,我们将本文提出的ASTR方法与传统的Hextile,Tight和FCE进行比较.
图8给出的是4种方法的网络带宽消耗.
(1)和(2)分别是S1和S2的结果.
明显地,ASTR比其他方法占用更少的带宽.
表1列出了4种方法各自的平均带宽.
在S1中,Hextile的平均带宽大约为865KB/s,比其他方法占用更多带宽,这是因为它只是对屏幕变化子域进行了简单处理,没有采用压缩算法.
Tight和FCE采用了较复杂的压缩算法来减少变化子域内的空间冗余,从而使得占用的带宽明显减少.
进一步,ASTR考虑了时间和空间的双重冗余,所以带宽的消耗进一步下降.
从S2的结果中,可得到相似的结论.
Fig.
6FreeSpeechframework图6FreeSpeech框架240JournalofSoftware软件学报Vol.
17,Supplement,November2006(a)ReadingPDFfile(b)Aflashtourplaying(a)PDF文件阅读(b)flash教学程序Fig.
7Testscenarios图7实验场景图9显示了对于4种不同的方法,服务器CPU的消耗情况.
对于S2,ASTR比其他方法花费更多的CPU时间,这种情况是在预料之中的,因为在对于子区进行分类时,BME通常要消耗一定的时间.
然而,对于S1,出乎意料的是,我们发现ASTR竟比Tight和FCE花费更少的CPU时间.
导致这一结果的主要原因是屏幕滚动时产生了大量的平移运动,这使得BME时间明显降低,同时,也导致极少补偿块需要处理,从而在静态图像压缩上花费的时间也明显减少.
(1)S1Bandwidthconsumption020040060080010001200140016001591317212529Time/sBandwidth(KB/s)HextileFCETightASTR(2)S2Bandwidthconsumption010020030040050060070080015913172125293337Time/sBandwidth(KB/s)HextileFCETightASTRFig.
8Bandwidthconsumption图8带宽的消耗Table1Consumptionsofbandwidth(BW)andCPU表1带宽与CPU消耗HextileTightFCEASTR带宽(KB/s)86519110958服务器(CPU/ms)29580494421S1客户端(CPU/ms)1112011354带宽(KB/s)302676123服务器(CPU/ms)899117202S2客户端(CPU/ms)3212314蒋文斌等:一种面向窄带环境的远程屏幕同步方法241(1)S1CPUconsumption010020030040050060070080090010001591317212529Time/SCPU/msHextileFCETightASTR(2)S2CPUconsumption01002003004005006007001591317212529333741Time/SCPU/msHextileFCETightASTRFig.
9CPUconsumptionoftheserver图9CPU的消耗表1给出通过4种方法服务器和客户端的CPU平均消耗的统计情况.
从表中可以发现,在客户端,ASTR通常比Tight和FCE占用更少的CPU时间,这是因为与其他方法相比,ASTR需要解压缩的图像数据更少.
最后,我们测试了一种极端的情况.
Provider全屏浏览一组照片,并发送到manager端.
这时,我们发现manager端出现较大时延,带宽占用大、且显示效果不好.
这主要是因为,在这种情况下,两帧图像间的时间冗余很小,在进行BME计算时,复杂变化子区占绝大多数.
因而,在最终处理时,仍然将当前帧作为静态图像压缩并传输,则出现了传统方法存在的数据量大,显示效果差等问题.
这也是本文后续研究工作需着重考虑的问题之一.
以上实验表明,在FreeSpeech中,绝大多数情况下,本文方法能明显减少了网络带宽的消耗,尤其是在多个Provider同时协同显示时.
本文的方法同样适合其他应用场合的远程屏幕同步.
具有很好的应用前景.
表2列出了本文提出方法的主要特点.
Table2ComparisonbetweenASTRandtraditionalapproaches表2ASTR与传统方法比较传统方法ASTR冗余考虑仅空间冗余时间冗余+空间冗余是否保留前一帧信息否是网络带宽占用较大较小服务器负载较小较大客户端负载较大较小适合网络环境有线环境普适环境5结论为了进一步减少在SBC应用中网络带宽的消耗,本文提出了一种新的远程屏幕同步机制.
该机制综合考虑了屏幕变化过程中存在的时间和空间双重冗余.
实验结果表明这种方法使得远程屏幕同步比许多传统的方法(如Hextile,Tight和FCE)更有效,主要表现在能节省更多的网络带宽,并且有效地降低客户端的开销.
服务器的开销由于耗时的BME处理将在一定程度上有所加大.
不过,如果应用中存在大量平移运动,服务器的开销会明显减少.
总的来说,这种方法非常适合于网络带宽和客户端计算能力均十分有限的普适计算环境.
References:[1]RichardsonT,Stafford-FraserQ,WoodKR.
AndyhopperA:Virtualnetworkcomputing.
InternetComputing,1998,2(1):3338.
[2]GuoZ,MoulderJC.
AnInternetbasedtelemedicinesystem.
In:Proc.
oftheInformationTechnologyApplicationsinBiomedicine.
2000.
99103.
242JournalofSoftware软件学报Vol.
17,Supplement,November2006[3]SwamyN,KuljacaO,LewisFL.
Internet-BasededucationalcontrolsystemslabusingNetMeeting.
IEEETrans.
onEducation,2002,45(2):145151.
[4]LeinerR.
Tele-ExperimentsviaInternetanewapproachfordistanceeducation.
In:Proc.
oftheElectrotechnicalConf.
2002.
2002.
538541.
[5]TalwarV,BasuS,KumarR.
Anenvironmentforenablinginteractivegrids.
In:Prof.
ofthe12thIEEEInt'lSymp.
onHighPerformanceDistributedComputing.
2003.
184193.
[6]JungDK,KimKN,KimGR,ShimDH,KimMH,ChoiBC,SuhDJ.
Biosignalmonitoringsystemformobiletelemedicine.
In:Proc.
oftheHEALTHCOM2005.
2005.
3136.
[7]KaplinskyKV.
VNCtightencoder-datacompressionforVNC.
In:Proc.
ofthe7thInt'lScientificandPracticalConf.
ofStudents,Post-GraduatesandYoungScientists.
2001.
155157.
[8]LiF,NiehJ.
Optimallinearinterpolationforserver-basedcomputing.
In:Proc.
oftheIEEEInt'lConf.
onCommunications.
NewYork,2002.
25422546.
[9]LiQ,LiF.
FCE:Afastcontentexpressionforserver-basedcomputing.
In:Proc.
ofthe2004IEEEInt'lConf.
onCommunications.
2004.
14261430.
[10]HaraikawaT,SakamotoT,HaseT,MizunoT,TogashiA.
VNC:AproposalforInternetconnectivityandinterconnectivityofhomeappliancesbasedonremotedisplayframework.
IEEETrans.
onConsumerElectronics,2001,47(3):512519.
[11]JiangW,ZhouM.
AfastBMAbasedoncombiningsearchcandidatesubsamplingandAPDS.
In:Proc.
ofthe2004IEEEInt'lConf.
onMultimediaandExpo(ICME2004).
2004.
11151118.
[12]CheungCK,PoLM.
Normalizedpartialdistortionsearchalgorithmforblockmotionestimation.
IEEETrans.
onCircuitsandSystemforVideoTechnology,2000,10:417422.
[13]CheungCH,PoLM.
Adjustablepartialdistortionsearchalgorithmforfastblockmotionestimation.
IEEETrans.
onCircuitsandSystemsforVideoTechnology,2003,13:100110.
[14]JiangW,JinH,ShaoZ,YeQ.
FreeSpeech:Anovelwirelessapproachforconferenceprojectingandcooperating.
In:Proc.
oftheUIC-06.
LNCS4159,Heidelberg:Springer-Verlag,2006.
688697.
蒋文斌(1975-),男,湖南衡阳人,博士,讲师,主要研究领域为普适计算,P2P计算,多媒体,网格计算.
邵志远(1975-),男,讲师,主要研究领域为高性能计算,嵌入式系统.
金海(1966-),男,博士,教授,博士生导师,主要研究领域为计算机体系结构,集群计算与网格计算,对等计算,普适计算,Web和网络安全,多媒体技术.
朱漳楠(1978-),男,硕士生,主要研究领域为普适计算,P2P计算.
过敏意(1962-),男,教授,博士生导师,主要研究领域为高性能计算,并行编译与算法,普适计算,嵌入式软件的优化编译.