虚拟云计算与虚拟化

GPU虚拟化相关技术研究综述①余时强,张为华(复旦大学软件学院,上海201203)(复旦大学上海市数据科学重点实验室,上海201203)(复旦大学并行处理研究所,上海201203)摘要:因为计算密集型应用的增多,亚马逊和阿里巴巴等公司的云平台开始引入GPU(Graphicprocessingunit)加速计算.
云平台支持多用户共享GPU的使用,可以提升GPU的利用效率,降低成本;也有利于GPU的有效管理.
通过虚拟机监视器以及各种软硬件的帮助,GPU虚拟化技术为云平台共享GPU提供了一种可行方案.
本文综合分析了GPU虚拟化技术的最近进展,先根据技术框架的共同点进行分类;然后从拓展性、共享性、使用透明性、性能、扩展性等方面对比分析,最后总结了GPU虚拟化的问题和发展方向.
关键词:GPU;虚拟化;云计算引用格式:余时强,张为华.
GPU虚拟化相关技术研究综述.
计算机系统应用,2017,26(12):25–31.
http://www.
c-s-a.
org.
cn/1003-3254/6096.
htmlSurveyofGPUVirtualizationYUShi-Qiang,ZHANGWei-Hua(SoftwareSchool,FudanUniversity,Shanghai201203,China)(ShanghaiKeyLaboratoryofDataScience,FudanUniversity,Shanghai201203,China)(ParallelProcessingInstitute,FudanUniversity,Shanghai201203,China)Abstract:TheemergenceofHPCcloudhasinspiredserviceprovidertodeployGPUinthecloudecosystem(e.
g.
,AmazonEC2GPUinstance,AliyunGPUServer).
GPUasacomputingacceleratorisplayinganindispensableroleincloudingcomputing.
Duetotheintrinsicsharingfeatureofcloud,GPUsharingdoesnotonlyboosttheutilization,lowerthecost,butalsomakesiteasiertomanage.
GPUvirtualizationcomestosolvethisproblemthroughHypervisorandcooperationofsoftwareandhardware.
ThispapercollectsthemethodologiesofGPUvirtualizationandmakesaclassificationandanalysis.
Inaddition,itconcludestheexistingproblemsandproposesthefutureworksofGPUvirtualization.
Keywords:GPU;virtualization;cloudcomputing1引言随着互联网应用的快速发展,计算机每天需要处理大量的数据,然而传统软硬件方法相对高昂的维护成本给相关应用的普及造成了极大的障碍.
为了解决该问题,2006年谷歌推出"Google101计划",并提出了云计算的概念.
云计算把IT能力转变为可管理的逻辑资源,虚拟化是云计算的关键技术之一.
虚拟化技术有多种分类,按实现方式可分为硬件虚拟化和软件虚拟化;按运行模式可分成全虚拟化和半虚拟化.
软件虚拟化(如QEMU[7])用软件来仿真硬件平台,硬件虚拟化(如IntelVT[8])扩展硬件单元提升VMM的处理效率.
全虚拟化(如VMwareWorkstation[4])为客户机提供完整的虚拟平台,半虚拟化(如Xen[5])需操作系统和VMM配合实现.
计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:csa@iscas.
ac.
cnComputerSystems&Applications,2017,26(12):2531[doi:10.
15888/j.
cnki.
csa.
006096]http://www.
c-s-a.
org.
cn中国科学院软件研究所版权所有.
Tel:+86-10-62661041①收稿时间:2017-03-06;修改时间:2017-03-23;采用时间:2017-04-05SpecialIssue专论·综述25虚拟机监视器又可以分成本地VMM(类型I),和宿主VMM(类型II)两种,如图1所示.
本地VMM直接运行在硬件上,而宿主VMM运行在操作系统上.
Xen为类型I的代表,而VMwareWorkstation和KVM为类型II的代表.
图1两种类型虚拟机GPU(Graphicsprocessingunit)又称图形处理器,最初用来加速计算机绘图工作,已有非常成熟的编程库接口,如OpenGL和DirectX.
由于GPU包含很多计算核,也可用于通用计算领域.
为了方便开发,NVIDIA提供CUDA编程模型,支持快速移植CPU端耗时但易于并行的部分至GPU端,获取较好的加速效果.
GPU是一种高性能计算硬件单元,应用于很多领域,例如视频编解码、天气预报和通用计算等[13].
GPU的核数越来越多,计算能力越来越强大.
亚马逊的EC2[1]和阿里云[2]等云平台开始使用GPU辅助计算.
如果多个用户可以分享GPU,则可以提升GPU的利用率,降低硬件成本.
因为多任务的需求,GPU的虚拟化研究成为趋势.
GPU的虚拟化技术,可大致划分为设备模拟、API重定向、设备直连和GPU全虚拟化四种方法,各有优缺点.
设备模拟用软件模拟硬件,API重定向封装驱动的API实现资源共享,设备直连把GPU独立分配给虚拟机使用,GPU全虚拟化修改VMM管理GPU.
GPU虚拟化有多种方案,功能日趋完善.
与CPU虚拟化相比,虚拟GPU的个数仍然有限.
另外,没有方案统一支持图形渲染和通用计算.
而且由于GPU自身体系结构的局限,GPU在多用户的虚拟化场景下存在着严重的安全问题.
本文调研了近年来在GPU虚拟化方面的主要研究成果,对相关技术进行了全面的分析和讨论.
在此基础上,对现在GPU虚拟化存在的一些问题以及发展方向做出了总结和展望.
本文结构如下,第1章介绍云计算与虚拟化相关的背景.
第2章介绍GPU虚拟化挑战.
第3章对当前GPU虚拟化技术进行归类,包括设备模拟、API重定向、设备直连、以及GPU全虚拟化四种,并对各类别系统特征进行详尽的描述.
第4章比较各方法之间的优劣.
第5章描述GPU虚拟化现存的问题并预测接下来发展趋势,最后一章总结全文.
2GPU虚拟化挑战GPU的用途非常广泛,例如视频编解码、图像渲染、生物医疗和通用计算等方面.
各应用领域的计算需求并不一样.
支持多用户共享GPU,虚拟化技术需满足计算多样性的需求.
因为商业竞争,GPU的设计细节并未公开,每代产品之间存在很大的差异.
另外,GPU的硬件接口也不开源,更没有统一的标准.
为了高效使用GPU,系统只能基于厂家提供的驱动.
这些差异增加了GPU虚拟化的难度.
程序在虚拟化系统上运行较原生硬件系统带来的性能损耗也是很大的一个挑战,性能损耗过高将降低GPU的利用率,反而增加成本.
GPU虚拟平台对应用驱动的使用透明性也会很大程度决定其部署难度.
3GPU虚拟化方法GPU虚拟化主要完成硬件模拟和硬件共享两个目的.
硬件模拟是在没有真实GPU硬件可用的环境中,采用软件模拟的方法仿真硬件设备,从而提供虚拟GPU硬件.
硬件共享是管理GPU硬件资源从而使其可以被多用户共享.
为了实现GPU虚拟化的目标,主流GPU虚拟化大体上可以分为设备模拟、API重定向、设备直连和全虚拟化四种方法.
设备模拟在缺少物理硬件情形下使用纯软件方法模拟硬件单元,供系统中需要GPU的应用使用,用于显示模拟和GPU架构研究等领域.
API重定向方法将宿主虚拟机作为管理GPU的枢纽,客户虚拟机在不改变调用接口的情形下使用前后端模块通信的方法共享GPU.
设备直连解决了虚拟机无法使用GPU的问题.
全虚拟化通过修改虚拟机监视器,使其对GPU进行资源管理,实现GPU共享.
3.
1设备模拟早期的虚拟机只消耗宿主机的计算和存储资源,为了保证应用的运行,只能通过模拟外设来提供相应计算机系统应用http://www.
c-s-a.
org.
cn2017年第26卷第12期26专论·综述SpecialIssue的功能.
设备模拟是一种用纯软件方式模拟GPU硬件逻辑单元功能的方法.
根据需求的不同,软件模拟的详细程度会有所不同.
最简单的只提供GPU对应接口和相关功能.
最详细的可以提供GPU硬件每个时钟周期的工作过程.
由于软件方式进行GPU各种功能模拟,该方法具有较好的灵活性和强大的功能,然而,由于通过软件的方式模拟硬件行为,这种方法面临较大的性能挑战,常用于简单的显示功能和GPU架构研究.
在图像处理方面,QEMU可以模拟简单的VGA设备,来满足虚拟机在使用GPU时的简易功能需求,目前基本具备2D显示功能,已经在一些需要用到GPU显示的虚拟系统中应用,如KVM和Xen利用QEMU负责虚拟显示设备.
在通用计算方面,GPGPU-Sim[6]通过分析CUDA编程模型下发射线程的执行方式,在CPU端进行软件模拟运行PTX指令集.
在并行编程模型中,GPU发射一组(grid)线程并发执行,这些线程又会被细分为块(block).
GPGPU-sim用软件模拟的方式实现了包含六个阶段(取指、译码、执行、内存1、内存2、写回)的流水线执行单元.
32个线程在软件模拟的计算单元上以SIMD的方式执行,若线程之间发生条件分支,则采用后支配的收敛机制进行同步[6].
GPGPU-sim已广泛应用于各种体系结构或GPU新特性的相关研究中.
3.
2API重定向研究者发现GPU驱动提供了统一的调用接口.
图像渲染的OpenGL编程接口和通用并行计算的CUDA编程接口与GPU内部实现没有关系.
API重定向在接口层面上实现虚拟化,采用对调用接口二次封装的方法.
这种方法相对简单,在图像渲染和通用计算都有广泛的应用.
在API重定向框架下,客户虚拟机和宿主虚拟机上设立前后端模块,前端模块提供应用程序访问的通用接口,后端模块链接GPU驱动直接访问GPU(对于类型II的VMM而言,此处宿主虚拟机是直接运行在硬件上的操作系统),前后端模块采用RPC等协议实现通信,具体如图2所示.
在图像渲染方面,VMGL[26]在客户虚拟机中添加的前端模块与OpenGL调用接口一致,同时在宿主虚拟机中添加后端模块与原生OpenGL库链接,利用WireGL[28]网络传输协议将客户虚拟机的命令传送给宿主虚拟机,从而间接访问GPU.
WireGL通信协议提高了网络带宽的利用率.
VMGL能达到86%的原生GPU渲染效果.
图2API重定向示意图API重定向在GPU通用计算领域中也有大量应用,架构基本如图2所示.
最主要的区别在于虚拟机监视器和前后端模块通信协议的选择.
GVim[9]和vCUDA[8]使用Xen作为实验平台,GVim使用XenStore[5]协议来实现前后端通信,数据通过pinned内存映射和虚拟机间内核缓冲区共享传输,性能主要受XenStore的行为以及内存拷贝的影响.
vCUDA[22]对比了VMRPC[34]和XMLRPC[27]两种通信协议的性能,发现VMRPC协议可以几乎达到原生性能,而XMLRPC协议在进行大量数据传输的情况下性能损耗较为严重.
gVirtuS[11]采用类型II的虚拟机监视器作为实验环境,基于TCP协议开发vmSocket实现通信,绕过了CPU和GPU之间的数据传输,gVirtuS在远程GPU利用方面有着前两者不可比拟的优势.
3.
3设备直连早期虚拟机无法直接使用GPU,程序只能通过设备模拟来实现GPU独有的功能,该方法只能提供简单功能,性能较差.
通过将虚拟机中原生的GPU驱动与硬件设备对接,能够极高的利用设备的计算能力.
设备直连是早期一些IO设备虚拟化的一种可选方式.
虚拟机能够直接访问硬件资源,可达到原生系统性能.
GPU在该方法下只能给某一个虚拟机使用,不能被多虚拟机共享.
Dong等人[21]提出一种基于硬件IOMMU(即Intel和AMD的I/O虚拟化技术)实现IO直连的虚拟化方法,实现了高质量的I/O共享.
该方法维护了设备的语义信息,也保证了虚拟机在切换时GPU寄存器信息的一致性.
此外,中断信息共享机制同步了缓存.
该系统在PCIe总线支持虚拟化拓展的情形下可直连GPU.
2017年第26卷第12期http://www.
c-s-a.
org.
cn计算机系统应用SpecialIssue专论·综述27一些云服务(如亚马逊的EC2)提供商采用这种直连的方式在云平台上部署GPU.
但是,设备直连只能保证GPU被一个虚拟机使用,不适合云计算场景下多用户共享使用的特点.
在计算量不足的任务执行过程中,GPU的利用率低下,浪费了计算资源.
设备直连的方法缺少必要的中间维护层和状态跟踪,对虚拟机的迁移等高级特性支持不足.
3.
4GPU全虚拟化设备模拟方法只能模拟一些简单的硬件、而且性能低下,API重定向虽然能够达到接近原生硬件的性能,但是需要修改客户虚拟机中程序库,设备直连方案虽然性能较好,但是共享性非常差.
近几年的提出的GPU全虚拟化将上述方案混合实现客户虚拟机完全使用透明.
该方法对寄存器等硬件上下文信息使用软件模拟,上下文切换后直连硬件设备能够充分利用GPU.
GPU全虚拟化指不需要对虚拟机中的驱动修改,应用程序就能使用GPU,即使用透明性.
GPU全虚拟化技术比设备直连有更好的共享性,同时在性能方面远超过设备模拟,也不需要修改客户虚拟机中的驱动,可以说发展至今最好的GPU虚拟化解决方案.
Intel的KungTian等人提出了gVirt[18],实现了图像渲染方面的GPU全虚拟方案,并对该系统进一步优化,提出gHyvi[14]和gScale[16].
在通用计算领域,YusukeSuzuki等人提出GPUvm[12]系统,通过修改VMM实现了GPU全虚拟化.
gVirt基于Xen开发,整体架构如图3所示.
为了实现GPU全虚拟化,gVirt对Xen的宿主虚拟机(Dom0)的一些修改,见图3中的灰色部分.
gVirt区分了GPU的资源,性能关键资源,包括显存以及指令缓存;非性能关键资源,包括一些I/O寄存器.
为了接近于原生GPU的性能,gVirt用隔离机制直接访问性能关键资源,用软件模拟的方法支持非关键资源的访问.
gVirt采用影子页表结构等内存划分技术,保证每个虚拟机拥有自己独立的内存;并提出了地址空间膨胀(addressspaceballooning)技术来减少地址翻译的开销.
gVirt实现了GPU调度器,调度时间片比较长,以降低GPU任务上下文切换的开销.
GPU的调度算法和Xen的CPU调度算法相互独立,这使得CPU和GPU可以并行访问显存.
gHyvi基于Xen的严格写保护影子页表机制提出了一种宽松影子页表机制,减少了影子页表的更新次数和陷入VMM同步的开销.
gScale动态分配显存,避免虚拟机数目增加导致每个虚拟机平摊到的空间变少的问题.
gScale比gVirt的可扩展性提高了4到5倍.
图3gVirt框架示意图在通用计算领域,GPUvm的GPU全虚拟化实现的更加的彻底,其修改只在Xen中完成.
与gVirt类似,GPUvm也采用GPU影子页表的机制将显存进行隔离,每个虚拟机访问属于自己那部分的内存.
除此之外,CPU与GPU间的命令传输队列也被虚拟化,即每个虚拟机都有各自的队列结构,虚拟机进行切换时,命令队列也会对应切换.
GPUvm采用一种宽带感知的非抢占算法进行调度,能够保证GPU被在各个虚拟机之间均衡切换.
4评价设备模拟、API重定向、设备直连和GPU全虚拟化从不同的角度提供了GPU虚拟化的解决方案.
设备模拟能够在没有真实硬件的环境下虚拟出GPU,该特性是后三者不可比拟的,而且该方法能够模拟新型硬件单元,帮助科研工作者探索新一代GPU硬件结构,具有良好拓展性.
应用程序几乎不用修改就可以直接运行,有着良好的使用透明性.
API重定向需要对接口进行二次封装,因此使用透明性很差,重定向过程带来了性能损耗.
宿主虚拟机后端模块可以与各客户虚拟机的前端模块进行对接,实现多虚拟机共享.
设备直连在程序使用过程中能达到原生GPU性能,由于只能给某个特定虚拟机使用,所以共享性不好.
GPU全虚拟化方法使用真实物理硬件,因此没有类似于软件模拟的拓展性;该方法可直接运行现有的应用程序,透明性良计算机系统应用http://www.
c-s-a.
org.
cn2017年第26卷第12期28专论·综述SpecialIssue好;全虚拟化通过虚拟机监视器管理GPU资源,实现GPU共享.
我们对评估特性进行了总结,描述如下:(1)拓展性:虚拟过程中GPU功能的可拓展性.
该特性评估对新功能的支持与延展性.
(2)共享性:在虚拟化场景下,共享性是虚拟化的重要关注点.
该特性评估GPU利用率的影响以及GPU是否可以被多用户并发使用.
(3)使用透明性:客户虚拟机使用虚拟GPU时是否需要修改程序或库文件.
该指标评估在GPU虚拟化支持下对原应用程序的兼容性.
(4)性能:虚拟环境下GPU的使用性能(与原生GPU使用做对比).
该指标评估GPU在虚拟化支持下的性能损耗.
(5)扩展性:系统虚拟出GPU的个数.
该指标评估GPU可被多少个虚拟机同时使用.
其中拓展性、共享性和使用透明性是不可度量的,性能和扩展性是可度量的.
表1给出四种GPU虚拟化方法在各评估特性上的表现,强表示满足某特性,弱表示不满足该特性或支持有限.
表1各系统评估表分类系统名称拓展性共享性性能使用透明性扩展性使用领域设备模拟Qemu强弱弱强弱通用计算GPGPU-sim强弱弱强弱图像渲染API重定向VMGL弱强强弱弱图像渲染vCUDA弱强强弱弱通用计算Gvim弱强强弱弱通用计算设备直连AmazonEC2弱弱强强弱通用计算、图像渲染IntelVT-d弱强强强弱图像渲染全虚拟化gVirt弱强强强弱图像渲染GPUvm弱强强强强通用计算5展望综前所述,GPU虚拟化有多种技术方案,但没有通用计算和图形渲染两个领域通用方案.
全虚拟化方案可在多虚拟机之间共享GPU,但GPU不可抢占的特性给资源调度带来了一定困难.
另外,GPU的虚拟化很少考虑安全性问题.
根据本文对当前GPU虚拟化方案的分析,我们认为GPU虚拟化今后可能会关注下列三个方面的研究:(1)可抢占性:由于GPU核数较多,抢占GPU需要保存大量的上下文信息,开销较大,所以目前市场上GPU都不支持抢占特性.
只用当前任务完成之后,GPU才能被下个应用程序使用.
在GPU虚拟化的环境中,多用户使用的场景会导致GPU进行频繁的任务切换,可抢占的GPU能够防止恶意用户长期占用,并且能够实现用户优先级权限管理.
(2)通用性:现在很多GPU虚拟化技术都是只针对某一种用途实现,例如VMGL是能用来做图像渲染计算的虚拟化,无法实现GPU的通用计算.
GPUvm则只针对于NVIDIA的GPU做通用计算的虚拟化,无法用于图像处理.
这些系统都不是通用的GPU虚拟化解决方案,而且只适用于某种虚拟机监视器架构.
通用的虚拟化架构有利于系统部署,使得GPU在各种云计算平台发挥更大的作用,所以GPU虚拟化的通用性也是未来需要解决的问题.
(3)安全性:由于云平台的多用户共享特性,GPU虚拟化带来的安全问题也开始变得突出,恶意用户可能会绕过当前虚拟化技术薄弱的保护机制进行攻击.
Roberto等人[31]通过分析GPU显存残余信息获取用户的私密数据,所以如何保证虚拟机数据不被窃取也是GPU被用户共享的前提.
6总结随着计算密集任务的增加,云平台部署GPU来提升系统性能.
为了在云平台上共享GPU,同时也有助于提升GPU的利用率且便于管理,GPU虚拟化技术逐渐发展起来.
本文综合分析了GPU虚拟化技术近十年的发展,分为设备模拟、API重定向、设备直连和全虚拟化四种.
本文进一步剖析了各种系统之间的技术框架和细节,同时也从拓展性、使用透明性、性能、共享性以及可扩展性等方面对各种技术进行了深入的分析和对比.
最后,我们总结了GPU虚拟化存在的一些问题,并展望了未来可能存在的研究.
2017年第26卷第12期http://www.
c-s-a.
org.
cn计算机系统应用SpecialIssue专论·综述29参考文献AMAZON.
Amazonelasticcomputecloud(AmazonEC2).
http://aws.
amazon.
com/ec2/.
[2014].
1高性能计算.
https://hpc.
aliyun.
com/product/gpu_bare_metal/.
2Virtualization.
https://en.
wikipedia.
org/wiki/Virtualization.
[2017-07-11].
3Vmware.
http://www.
vmware.
com/.
4BarhamP,DragovicB,FraserK,etal.
Xenandtheartofvirtualization.
ACMSigopsOperatingSystemsReview,2003,37(5):164–177.
[doi:10.
1145/1165389]5BakhodaA,YuanGL,FungWWL,etal.
AnalyzingCUDAworkloadsusingadetailedGPUsimulator.
Proc.
ofIEEEInternationalSymposiumonPerformanceAnalysisofSystemsandSoftware,2009.
ISPASS2009.
Boston,MA,USA.
2009.
163–174.
6BellardF.
QEMU,afastandportabledynamictranslator.
Proc.
oftheAnnualConferenceonUSENIXAnnualTechnicalConference.
Anaheim,CA,USA.
2005.
41.
7HiremaneR.
IntelvirtualizationtechnologyfordirectedI/O(IntelVT-d).
Technology@IntelMagazine,2007,4(10).
8GuptaV,GavrilovskaA,SchwanK,etal.
GViM:GPU-acceleratedvirtualmachines.
Proc.
ofthe3rdACMWork-shoponSystem-levelVirtualizationforHighPerformanceComputing.
Nuremburg,Germany.
2009.
17–24.
9DuatoJ,PeaAJ,SillaF,etal.
rCUDA:ReducingthenumberofGPU-basedacceleratorsinhighperformanceclusters.
Proc.
ofInternationalConferenceonHighPerfor-manceComputingandSimulation.
Caen,France.
2010.
224–231.
10GiuntaG,MontellaR,AgrilloG,etal.
AGPGPUtransparentvirtualizationcomponentforhighperformancecomputingclouds.
In:D'AmbraP,GuarracinoM,TaliaD,eds.
Euro-Par2010-ParallelProcessing.
BerlinHeidelberg,Germany.
2010.
379–391.
11SuzukiY,KatoS,YamadaH,etal.
GPUvm:WhynotvirtualizingGPUsatthehypervisorProc.
ofthe2014USENIXConferenceonUSENIXAnnualTechnicalConference.
Philadelphia,PA,USA.
2014.
109–120.
12TianK,DongY,CowperthwaiteD.
AFullGPUvirtuali-zationsolutionwithmediatedpass-through.
Proc.
ofthe2014USENIXConferenceonUSENIXAnnualTechnicalConference.
Philadelphia,PA,USA.
2014.
121–132.
13DongYZ,XueMC,ZhengX,etal.
BoostingGPUvirtualizationperformancewithhybridshadowpagetables.
Proc.
ofthe2015USENIXConferenceonUsenixAnnual14TechnicalConference.
SantaClara,CA,USA.
2015.
517–528.
HanSJ,JangK,ParkKS,etal.
PacketShader:AGPU-acceleratedsoftwarerouter.
ACMSIGCOMMComputerCommunicationReview,2010,40(4):195–206.
[doi:10.
1145/1851275]15XueMC,TianK,DongYZ,etal.
gScale:ScalingupGPUvirtualizationwithdynamicsharingofgraphicsmemoryspace.
2016USENIXAnnualTechnicalConference(USENIXATC16).
Denver,CO,USA.
2016.
16XiaL,LangeJ,DindaP,etal.
InvestigatingvirtualpassthroughI/Ooncommoditydevices.
ACMSIGOPSOperatingSystemsReview,2009,43(3):83–94.
[doi:10.
1145/1618525]17GottschlagM,HillenbrandM,KehneJ,etal.
LoGV:Low-overheadGPGPUvirtualization.
Proc.
ofthe10thInter-nationalConferenceonHighPerformanceComputingandCommunications&2013IEEEInternationalConferenceonEmbeddedandUbiquitousComputing(HPCC_EUC).
Zhangjiajie,China.
2013.
1721–1726.
18GuptaV,SchwanK,ToliaN,etal.
Pegasus:Coordinatedschedulingforvirtualizedaccelerator-basedsystems.
Proc.
ofthe2011USENIXConferenceonUSENIXAnnualTechnicalConference.
Portland,OR,USA.
2011.
3.
19DowtyM,SugermanJ.
GPUvirtualizationonVMware'shostedI/Oarchitecture.
ACMSIGOPSOperatingSystemsReview,2009,43(3):73–82.
[doi:10.
1145/1618525]20DongYZ,DaiJQ,HuangZT,etal.
Towardshigh-qualityI/Ovirtualization.
Proc.
ofSYSTOR2009:TheIsraeliExperimentalSystemsConference.
Haifa,Israel.
2009.
ArticleNo.
12.
21ShiL,ChenH,SunJH,etal.
vCUDA:GPU-acceleratedhigh-performancecomputinginvirtualmachines.
IEEETrans.
onComputers,2012,61(6):804–816.
[doi:10.
1109/TC.
2011.
112]22QiZW,YaoJG,ZhangC,etal.
VGRIS:VirtualizedGPUresourceisolationandschedulingincloudgaming.
ACMTrans.
onArchitectureandCodeOptimization(TACO),2014,11(2):ArticleNo.
17.
23RossbachCJ,CurreyJ,SilbersteinM,etal.
PTask:OperatingsystemabstractionstomanageGPUsascomputedevices.
Proc.
oftheTwenty-ThirdACMSymposiumonOperatingSystemsPrinciples.
Cascais,Portugal.
2011.
233–248.
24KatoS,McThrowM,MaltzahnC,etal.
Gdev:First-classGPUresourcemanagementintheoperatingsystem.
Proc.
25计算机系统应用http://www.
c-s-a.
org.
cn2017年第26卷第12期30专论·综述SpecialIssueofthe2012USENIXConferenceonAnnualTechnicalConference.
Boston,MA,USA.
2012.
37.
Lagar-CavillaHA,ToliaN,SatyanarayananM,etal.
VMM-independentgraphicsacceleration.
Proc.
ofthe3rdInter-nationalConferenceonVirtualExecutionEnvironments.
SanDiego,California,USA.
2007.
33–43.
26MerrickP,AllenS,LappJ.
XMLremoteprocedurecall(XML-RPC):U.
S.
,Patent7028312.
[2006-04-11].
27HumphreysG,EldridgeM,BuckI,etal.
WireGL:Ascalablegraphicssystemforclusters.
Proc.
ofthe28thAnnualConferenceonComputerGraphicsandInteractiveTechniques.
ACM.
NewYork,NY,USA.
2001.
129–140.
28BecchiM,SajjapongseK,GravesI,etal.
Avirtualmemorybasedruntimetosupportmulti-tenancyinclusterswithGPUs.
Proc.
ofthe21stInternationalSymposiumonHigh-PerformanceParallelandDistributedComputing.
Delft,TheNetherlands.
2012.
97–108.
29DongYZ,YangXW,LiJH,etal.
HighperformancenetworkvirtualizationwithSR-IOV.
JournalofParallelandDistributedComputing,2012,72(11):1471–1480.
[doi:10.
1016/j.
jpdc.
2012.
01.
020]30DiPietroRD,LombardiF,VillaniA.
CUDAleaks:Informa-31tionleakageinGPUarchitectures.
arXiv:1305.
7383,2013.
Virtualizationsolution.
http://www.
amd.
com/en-us/solutions/professional/virtualization.
32RaviVT,BecchiM,AgrawalG,etal.
SupportingGPUsharingincloudenvironmentswithatransparentruntimeconsolidationframework.
Proc.
ofthe20thInternationalSymposiumonHighPerformanceDistributedComputing.
SanJose,California,USA.
2011.
217–228.
33ChenH,ShiL,SunJH.
VMRPC:AhighefficiencyandlightweightRPCsystemforvirtualmachines.
Proc.
ofthe18thInternationalWorkshoponQualityofService(IWQoS).
Beijing,China.
2010.
1–9.
34MenychtasK,ShenK,ScottML.
EnablingOSresearchbyinferringinteractionsintheblack-boxGPUstack.
Proc.
ofthe2013USENIXConferenceonAnnualTechnicalCon-ference.
SanJose,CA,USA.
2013.
291–296.
35NVIDIAgridvirtualGPUtechnology.
http://www.
nvidia.
com/object/grid-technology.
html.
36仝伯兵,杨昕吉,谢振平,等.
GPU虚拟化技术及应用研究.
软件导刊,2015,14(6):153–156.
37赵冰.
GPU虚拟化中安全问题的研究[硕士学位论文].
西安:西安电子科技大学,2014.
382017年第26卷第12期http://www.
c-s-a.
org.
cn计算机系统应用SpecialIssue专论·综述31