性能虚拟服务器聚合动态性能评测系统

华 中科技大学硕 士学位论文

目录

摘要.. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .I

ABS TRACT .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. .I I

1绪论

1.1问题提出. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. .(1)

1.2虚拟化性能评测概况. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . ..(2)

1.3国内外研究现状. . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. .(4)

1.4研究内容. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. .(7)

1.5文章框架结构. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. .(8)

2虚拟服务器聚合动态性能评测系统设计

2.1系统简介. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .(10)

2.2系统体系结构. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .(10)

2.3系统主要设计思想. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . .(12)

2.4系统工作流程. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .(18)

2.5小结.. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .(19)

3虚拟服务器聚合动态性能评测理论和实现技术

3.1测试用虚拟机模板. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . .(20)

3.2系统评测模型和算法. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . .(21)

3.3性能评测方法. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .(26)

3.4小结.. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .(30)

III

华 中科技大学硕 士学位论文4系统测试与分析

1.6测试环境. . . .. . .. . . .. . .. . . .. . .. . . . . . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .(31)

1.7功能测试. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .(31)

1.8系统测试结果和分析. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . .(33)

1.9小结.. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .(45)

5总结及未来工作

致谢. .. . . .. . .. . . .. . .. . . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. .(48)

参考文献. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . . . . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .. . .. . . .(50)

IV

华 中科技大学硕 士学位论文

1 绪论

本章首先简述虚拟化性能评测的研究背景接着介绍虚拟化性能评测的意义、关键技术和国内外研究现状然后说明本课题的来源背景、 目标以及研究内容最后为文章的框架结构。

1.10问题提出

根据摩尔定律[1] 计算机CPU的晶体管数量每18个月翻一番相应的存储设备的容量和速度也不断的增长。计算机硬件的性能的不断提升导致部分计算资源得不到充分利用。虚拟化技术能够在单一物理机上并行地运行相互隔离的虚拟机提高了计算资源的利用率。虚拟化是对一组类似资源提供一个通用的抽象接口集从而隐藏属性和操作之间的差异并允许通过一种通用的方式来查看并维护资源[2] 。

上个世纪60年代IBM提出了虚拟化的概念 即对大型机并发的交互式访问[3] 。虚拟化系统按虚拟化方式可分为模拟、全虚拟、硬件虚拟化、半虚拟、操作系统级虚拟等[4] 。

模拟是指虚拟机模拟整个硬件环境不同CPU架构下的客户操作系统不需要任何修改就可以直接运行。这种方式通常用来测试尚未生产的处理器等。模拟方式实现虚拟化的系统有Boch、 PearPC、不带加速的QEMU等。

全虚拟或本地虚拟化是指虚拟机模拟足够多的硬件 以使相同架构下的未经修改的客户操作系统可以独立运行。支持全虚拟的系统有VMware Workstation,VMware Server、VirtualBox[5]、 Paralle ls Workstation、 Virtual Server、Virtual PC等。

硬件虚拟化是指硬件架构上提供了支持方便在虚拟化系统上运行独立的客户操作系统。 Inte l和AM D在2005年和2006年提出了I nte l-VT和AM D-V技术以支持硬件虚拟化。支持硬件虚拟化的系统有VMware Workstation、VMware Fus io n、M icro so ft Virtual PC[6]、Xen[7]、 Paralle ls Workstatio n等。

半虚拟化是指虚拟机不必模拟硬件而是提供专门的API只有经过修改的客户操作系统才能运行。支持半虚拟化的系统有Xe n、 TRAN GO[8]、 Sun公司的Lo gica l Domains、 IBM的z/VM[9]等。

1

华 中科技大学硕 士学位论文

操作系统级虚拟化是指在操作系统层次进行虚拟使独立的虚拟服务器在同一操作系统内运行所有的客户操作系统与主机共享同一操作系统环境 即客户操作系统和主机操作系统共用同一内核。操作系统级虚拟化系统包括OpenVZ、 Virtuozzo[10]、Linux VServer[1 1]、 Solaris Container[12]、 FreeBSD Jail[13]等。

目前流行的处理器包括Intel、 AMD、 IBM Power等都有支持虚拟化的硬件特性从而降低虚拟化对性能的损耗。而半虚拟化软件也在定义功能相同但效率更高的内存地址转换方式来取代页表。软件预虚拟化技术[14]以半自动化的方式注释操作系统代码从而使其既能与特定的虚拟化监控器兼容也能和硬件兼容[15] 。

虚拟化系统种类繁多软硬件技术日新月异而如何选择适合特定场景的虚拟化系统就成为一个难题。虚拟化性能评测正是为了解决这一问题而提出的。

1.11虚拟化性能评测概况

2.6虚拟化性能评测的意义

计算系统的迅猛发展呈现出如下明显趋势一方面计算系统的资源规模不断扩展处理能力快速增强资源种类日益丰富另一方面计算系统日趋复杂软件支撑环境类型多版本多管理配置困难使用不够方便高性能计算资源难以有效利用尤其是难以适应灵活多样的应用需求。

计算系统虚拟化的实质就是针对个性化需求高效组织计算资源隔离具体的硬件体系结构和软件系统之间的紧密依赖关系在动态环境中按需构建计算系统虚拟映像构造可以适应用户需求的协同普适化任务执行环境从而实现透明的可伸缩计算系统架构提高计算资源的使用效率发挥计算资源的聚合效能使用户可以获得高效、透明、普适、安全的服务。

计算资源的虚拟化和计算资源聚合[16]的动态化使传统计算系统的评测研究方法不能完全适应于虚拟系统的评测。对虚拟计算系统的评测将继承和发展传统的性能评价和可用性评测方法面向计算资源虚拟化[17]和动态构建的特征探索虚拟计算系统性能分析[18]、评价和可用性的理论方法、模型并开发相应的工具。具体研究内容主要分为以下几个方面

(1)性能比较及调优研究针对不同计算性质的任务模式如计算密集型、数据密

2

华 中科技大学硕 士学位论文集型等 应用测量方法和统计分析技术研究典型虚拟机不同技术途径在性能上的表现特征及性能瓶颈并分析相关提高性能的调优措施

(2)系统可用性评测技术和计算资源仿真研究研究计算资源的仿真方法和技术体系并由此建立虚拟计算系统的有效性、可靠性等可用性的评测方法和验证体系

(3)性能评价模型研究根据虚拟系统计算资源动态构建的特征建立虚拟计算系统的性能评价模型包括虚拟计算资源的性能度量及特性模型、面向计算资源聚合方式的性能分析模型 以及相应性能评价方法的研究

(4)评测工具开发构建针对不同计算性质的测试任务集和不同类型计算资源的仿真模型并根据虚拟系统性能评价、预测和可用性研究成果开发虚拟计算系统评测工具。

1.12虚拟化性能评测的关键技术

服务器虚拟化性能评测的关键技术包括虚拟机通用模板的建立、动态评测模型、性能评价标准等。下面对每项技术进行简要的介绍

(1)虚拟机通用模板。为消除不同应用程序对测试结果的影响保证结果的一致性须建立一致的虚拟机模板。通常不同的虚拟化系统支持的虚拟机存储格式不尽相同在一种虚拟机监控软件下的虚拟机通常无法直接运行在另一种虚拟机监控软件下。 由于在不同平台下分别创建虚拟机不能保证虚拟机的一致性不同平台下的虚拟机的差异可能影响系统的性能评测 因此需要通过创建通用的虚拟机模板来减小或消除不同环境下的相同类型虚拟机的差异。系统通过建立通用的虚拟机模板方式来减小在Xe n 和OpenVZ系统下的虚拟机的差异。模板虚拟机包括操作系统的核心部分、应用服务器、测试程序等不包括具体虚拟化环境的配置等。利用模板系统可以针对不同的虚拟化系统方便的建立相应的虚拟机。采用模板的方式可以大大减轻手工安装虚拟机的繁琐操作步骤等。

(2)系统评测模型。系统评测模型按虚拟机种类可以分为单类型评测模型和多类型评测模型两种按评测模型的复杂程度又可分为简单评测模型和复杂评测模型。 四种不同的评测模型针对不同应用场景而设计兼顾评测的易用性和实用性。简单评测模型针对用户数量稳定上升时而设计系统的负载逐渐增大。复杂的随机评测模型建立在用户数量基本稳定的情况下采用一定的概率分布来模拟用户的使用过程从而评

3

华 中科技大学硕 士学位论文测在有波动的负载下虚拟机系统的性能。系统评测模型是整个服务器虚拟化动态性能评测系统的理论基础。

(3)性能评价标准。性能评价标准是决定虚拟化系统性能优劣的依据。性能评价标准包括定义系统的单项性能、综合性能、综合性能的计算方法等。系统的单项性能包括稳定状态性能、非稳定状态性能等具体的包括事务处理能力、响应时间等参数。通过一定的数学方法将单项性能进行综合得到系统的综合性能。系统的综合性能反映系统性能的整体水平。

1.13国内外研究现状

虚拟计算系统的评测内容包括系统的性能和可用性评测等。 目前 国外对计算系统性能评价的研究主要分为三种测量方法、模拟方法和分析方法。测量方法通过运行涉及不同类型计算的基准测试程序Benchmark 评测系统的计算能力 比较著名的测试程序有Linpack[19] NAS[20] ParkBench[21]  SPEComp[22] Perfect[23]  SPLASH[24]等。模拟方法通过构造系统模型和工作负载模型来近似目标系统进而了解目标系统的特性一般可采用专用的模拟语言描述如EC S S,C S S和一些模拟工具。分析方法通过为计算系统建立数学模型进而在给定输入条件下通过计算获得目标系统的性能特性。 目前主要集中在基于排队论的性能分析研究如随机P etri网[25] Markov 排队网络[26] 混合排队网络等。

在虚拟机的性能分析方面主要基于“黑盒”的性能测试[27] 通过运行针对不同应用特性如数据库应用、文件系统[28]、WEB应用等的性能测试软件来评测虚拟机系统性能 目前还不存在公认的测试集和标准。在基于分布计算资源的虚拟系统的性能研究方面主要集中于计算任务的性能监测、分析和预测。 目前已有一些针对这类系统的性能监测与预测工具但这些工具主要集中于对系统性能的一个或少数几个侧面的监测和分析缺乏综合性的性能监测[29]手段 同时将性能监测及分析结果应用于系统调优[30]和调度的研究较少。

在计算系统可用性的测试技术方面其研究与开发还处于刚刚起步阶段 尚无成熟的测试方案和基准测试程序[31] 如Berke ley针对他们研制ISTORE[32]系统开发了一套用于测试可用性的基准测试程序。

综合看来 目前虚拟计算系统性能的研究主要集中于虚拟机或计算资源聚合系统

4

华 中科技大学硕 士学位论文的性能测量及监测而在虚拟系统性能评价模型研究以及利用性能监测结果对系统调优和动态调度研究还很少计算系统可用性评测研究也才刚刚起步。

现有的性能评测软件众多其中较权威的有S P EC和TP C。 S P EC[33]不仅提供专门针对CPU进行评测的SPEC CPU[34] 也提供针对服务器的性能评测套件如S PECweb[35]、 S PECjbb[36]等而TP C提供评测计算机事务处理能力的套件[37] 。

针对虚拟机的性能评测套件目前1仅有VM mark™[38] 。VMma rk针对运行Web服务器、数据库服务器、文件服务器、邮件服务器、 J ava应用服务器和空闲服务器的虚拟机的VMware®ESX S erver[39]作性能评测。而Inte l公司也提出了评测虚拟机性能的方法称为vC o nso lidate[40] 。下面以vC onso lidate和VM mark为例说明服务器环境下虚拟机性能评测的基本概念和方法。

1.14 vConso lidate

Inte l公司2006年提出了vC o nso lidate的概念。如图1.1所示底层是物理机 向上依次为虚拟化层、虚拟机、负载和聚合层。 vCo nso lidate的中建立了Web虚拟服务器、 电子邮件虚拟服务器和数据库虚拟服务器并赋予不同的权重。利用现有的测试程序对运行在虚拟环境下的各服务器进行测试最后将各结果进行加权平均后得到系统的得分。

1 2007年11月

5

华 中科技大学硕 士学位论文

图1.1中最底层为硬件平台虚拟化层隔离了物理平台和虚拟机各个虚拟机上运行不同的负载最顶层为聚合层。

1.15 VMmark

VMwa re公司2007年发布了针对服务器虚拟化性能评测的套件VM mark。VMmark主要用来评价硬件平台及VMware ESX Server虚拟机监控软件的性能。VMware ESX Server是直接运行在裸机上的虚拟化软件 3.0版支持x86和amd64架构支持运行Windows、 Red Hat、 SuSE、Netware、 Solaris等操作系统的虚拟机。

VMmark将Web服务器、 电子邮件服务器、 Java应用服务器、数据库服务器、文件服务器和空闲服务器等6个服务器定义为一簇a tile 每个服务器运行在单独的虚拟机上其中Web服务器、数据库服务器和文件服务器运行SuSE Linux操作系统其它三个服务器运行Windows操作系统。每个服务器通过现有的基准测试程序测试

包括S P EC web、Lo ad S im、 S P ECjbb等 。最后将6台服务器的评分结果进行综合得到一簇虚拟机的性能。VM mark对服务器性能的评测是按簇扩展的方式通过评测服务器运行一簇或多簇虚拟机的性能来反映服务器的性能。

VMmark评测的是虚拟机稳定运行状态的性能。运行各基准程序时 VMmark采集中间运行状态下的结果如6台虚拟机连续运行3小时则取中间一小时的测试结果。

1.16单项性能分析或测试

专门针对虚拟机单项性能测试的研究主要针对虚拟机的存储性能、 网络性能等等。例如Irfan Ahmad[41]重点分析了VMware ESX Server的存储性能。存储性能在虚拟化技术中起着至关重要的作用存储的性能高低将影响虚拟机系统的性能高低。而A Meno n[42]使用xenop ro f分析了Xen虚拟机环境的网络性能包括不同网卡配置情况下吞吐率发送端和接收端的性能Web服务器的负载等等。这些专门的性能分析或测试仅针对特定的虚拟机和特定的应用通常不能作为衡量系统整体性能的标准。

6

华 中科技大学硕 士学位论文

1.17研究内容

为了实现对虚拟化系统动态性能的综合评价本文主要在虚拟化系统评测模型、评价标准、动态性能的评价和通用虚拟机模板等方面进行了深入的研究。服务器虚拟化性能评测针对虚拟服务器的稳态性能和动态性能进行综合评价。

评测用的虚拟服务器主要包括Web服务器、数据库服务器等。Web服务器是应用最为广泛的服务器之一大量的中小型企业都建有自己的Web服务器很多个人也建立了自己的Web服务器或者通过托管、虚拟主机等不同的方式建立个人网站。Web服务器上有大量的应用特别是随着Web 2.0技术的广泛应用万维网上的资源以几何级数式增长。 网络上大量的资源主要是通过网页的形式发布。其次数据库服务器应用也十分广泛从大型金融系统到简单的信息管理系统都离不开数据库的支持。数据库使信息的存储、查询、更新等操作变得简单高效。随着计算机性能的增强越来越多的独立的Web服务器和数据库服务器的使用率偏低而虚拟化技术的应用使得聚合的Web服务器和数据库服务器逐渐取代传统的独立运行的服务器。本文主要通过Web虚拟服务器和数据库虚拟服务器的性能来评测虚拟化系统聚合能力和综合性能。

主要研究内容包括

(1)虚拟机通用模板。虚拟机通用模板包括空闲虚拟机模板、Web虚拟机模板、数据库虚拟机模板等。通用模板消除了不同应用程序对测试结果的影响保证结果的一致性。通常不同的虚拟化系统支持的虚拟机存储格式不尽相同在一种虚拟机监控软件下的虚拟机通常无法直接运行在另一种虚拟机监控软件下。 由于在不同平台下分别创建虚拟机不能保证虚拟机的一致性不同平台下的虚拟机的差异可能影响系统的性能评测 因此需要通过创建通用的虚拟机模板来减小或消除不同环境下的相同类型虚拟机的差异。 目前通用模板支持Xen和OpenVZ虚拟化平台。模板虚拟机包括操作系统的核心部分、应用服务器、测试程序等。利用模板系统可以针对不同的虚拟化系统方便的建立相应的虚拟机。采用模板的方式可以大大减轻手工安装虚拟机的繁琐操作步骤等。

(2)系统评测模型。系统评测模型是整个服务器虚拟化动态性能评测系统的理论基础。系统评测模型按虚拟机种类可以分为单类型评测模型和多类型评测模型两种按评测模型的复杂程度又可分为简单评测模型和复杂评测模型。 四种不同的评测模型针

7