测试服务器评测体系

读懂服务器性能指标拨开服务器评测体系迷雾

用户总希望有一种简单、高效的度量标准来量化评价服务器系统 以便作为选型的依据。但实际上服务器的系统性能很难用一两种指标来衡量。包括TPC、 SPEC、 SAP SD、 Linpack和HPCC在内的众多服务器评测体系从处理器性能、服务器系统性能、商业应用性能直到高性能计算机的性能都给出了一个量化的评价指标。在如此多的标准中用户该如何选择最适合自身应用环境的评价体系呢这里我们

选择了应用面较广泛的TPC和SPEC作一个深入介绍。

■走出误区

深入TPC-C指标

TPC体系是影响最大的评测基准之一尤其近两年 国内媒体对TPC指标的报道可谓海量。但有多

少用户真正了解其中的含义呢本文以TPC-C为例让用户深入了解这项基准测试。tpm C值在国内外被广泛用于衡量服务器系统的事务处理能力。但究竟什么是tpm C值呢?笔者曾向一些用户、专业媒体记者乃至某些国外大公司的技术人员问过这个问题但回答的精确度与tpm C值的流行

程度差异甚远。不少人将之误写为TPMC甚至与TPC组织混为一谈。

TPC(Transactionprocessing Performance Counci l 事务处理性能委员会)是由数十家会员公司创建的非盈利组织 总部设在美国。 TPC的成员主要是计算机软硬件厂家而非计算机用户其功能是制定商务

应用基准程序的标准规范、性能和价格度量并管理测试结果的发布。

TPC不给出基准程序的代码而只给出基准程序的标准规范。任何厂家或其他测试者都可以根据规范最优地构造出自己的测试系统(测试平台和测试程序)。为保证测试结果的完整性被测试者(通常是厂家)必须提交给TPC一套完整的报告(Ful l Disclosure Report)包括被测系统的详细配置、分类价格和包含5年维护费用在内的总价格。该报告必须由TPC授权的审核员核实(TPC本身并不做审计)。 TPC在全球只

有不到10名审核员全部在美国。

TPC推出过1 1套基准程序分别是正在使用的TPC-App、TPC-H、TPC-C、TPC-W过时的TPC-A、TPC-B、TPC-D和TPC-R以及因为不被业界接受而放弃的TPC-SServer专门测试基准程序 、TPC-E大型企业信息服务测试基准程序和TPC-Cl ient/Server。而目前最为“流行”的TPC-C是在线事务处理

(OLTP)的基准程序于1992年7月完成后被业界逐渐接受。

TPC-C使用三种性能和价格度量其中性能由tpm Ctransactions per minute tpm衡量C指TPC中的C基准程序。它的定义是每分钟内系统处理的新订单个数。TPC-C还经常以系统性能价格比的方式体

现单位是/tpm C 即以系统的总价格单位是美元 /tpm C数值得出。

解读tpmC

从TPC-C的定义不难知道这套基准程序是用来衡量整个IT系统的性能而不是评价服务器或某种硬件系统的标准而且tpm C数值的高低直接受到各个环节的影响右表大概可以说明系统设置对tpm C测试的影响。此处的“IT系统”包括服务器、外设(如硬盘或RAID)、服务器端操作系统、数据库软件、客户

端及其操作系统、数据库软件和网络连接等。因此如何解读tpm C数值会因不同的采购需求有非常大的

差异。

tpmC测试指标与硬件的关联度

交易类型 复杂程度 发生频率负载新订单 复杂交易 45% 8 46 53付款 复杂交易 43% 4 8 11

交货 4% 4 70 8

订单查询 简单交易 4% 3 12 1

库存查询 复杂交易 4% 3 401 27

以服务器为例。在很多厂家的TPC测试系统中服务器的价格只是系统总价格的25或更小而硬盘的价格有可能占到总价格的30以上 因为TPC-C要求被测系统必须保存180天的事务记录这一趋势从一些最新的TPC-C测试结果来看会愈演愈烈 。如果同样的服务器被用到用户的环境中厂家报的tpmC值就意义不大因为用户的实际系统与厂家原来用于TPC测试的系统大不一样。当同样的主机用在

不同的系统中时 tpmC值可能有相当大的变化现在许多用户还没有意识到这一点。

尤其需要服务器采购用户注意的是 tpm C指标更多的是衡量从Cl ient到终端网络的性能区域如左图所示 而不是通常误认为的服务器到企业端网络的性能。 由此可见如果用户是建立一套全新的业务系统那么无妨多借鉴tpm C的性能指标如果只是采购某种或某些硬件设备则需要参考更多的指标。

对于tpm C数值着迷的用户而言一个现实问题是实现高tpmC指标的代价是否能够承受毕竟TPC-C都是很复杂的基准程序做一个严格的测试非常消耗资源厂商通常不会给TPC报告出全部花费的金钱和

时间。

实际上正因为tpmC其他评测指标也大都一样受系统优化影响较大业界对于是否应该在测试中进行优化向来争议颇多。在1993年,当时三大IT公司的专家就对OLTP性能测试的优化提出过反对意见——DEC的Jim Gray(现为TPC-C委员会专家)与Walt Kohler 、天腾公司TANDEN的Charles Levine

和IBM的Steve Kiss共同发表了对OLTP性能测试指标是否应该进行人为优化的看法:

“一个好的性能测试指标是不会依赖于特殊情况下的优化。最理想的情况应该是一个测试指标在测试过程中所表现出的性质和能力,以及对测试所做的优化能够确实提供对现实世界中用户实际应用的性能改进。然而事与愿违某些厂商迫于标准测试指标所带来的巨大市场压力他们花费巨大的精力在如何改进测试结果的同时还能降低价格比率而全然不顾所做的这一切优化究竟是否给用户带来了真实的利益。 ”

相信实践最佳检验方式

众所周知成熟的企业从不相信任何“国际通用标准”而是花相当精力 比如预算的5使用自己的应用来测试系统从而决定选型。 “国际通用标准”的度量可以作为参考值而不应作为必要条件。尤其是一定要弄清这些流行度量有什么含义是在什么样的系统环境中测得的 以及基准程序是否符合企业真实

的业务流程和运作模式。

下面就是三种不同的检测模式。

在真实环境中运行实际应用

这是最理想的方式。要求制造商或系统集成商配合将系统(含平台、软件和操作流程)在一个实际用户点真正试运行一段时间。这样用户不仅能看到实际性能也能观察到系统是否稳定可靠、使用是否方便、

服务是否周到、配置是否足够、全部价格是否合理。

使用用户定义的基准程序

如果第一种方式不可行用户可以定义一组含有自己实际应用环境特征的应用基准程序。业内有两个典型的例子其一是近年来由于层应用模型的风靡 SAP SD基准获得了众多厂商和用户的认可于是在很多地方都能看见对SAP测试数据的引用其二是 国家税务总局曾经开发自己的基准程序 以帮助

税务系统进行服务器选型。这种方式在中国尤其重要 因为中国的信息系统有其特殊性。

使用通用基准程序

如果前两种均难实行那么使用如TPC-C之类的通用基准程序未尝不可。但用户应当尤其注意——实际应用是否与基准程序相符绝大多数基准程序都是在美国制订的而中国的企事业单位与美国的运作方式常常不一样在使用TPC-C时用户应该清楚地知道 自己的应用是否符合批发商模式?事务请求是否与测试模式近似对响应时间的要求是否那么高如果都不是则tpm C值的参考价值就不太大了。那么

不妨看看其他的更合适的测试指标例如SPECweb2005等。

主流基准测试概览

基准名称 基本描述 侧重点

TPC-C 单位为tpmC对系统在线事务处主要是服务器OLTP主要是模

理能力进行评价含义为每分钟内拟企业MIS、 ERP系统来考验

系统处理新订单的个数。 服务器联机业务处理能力

SPEC 单位为比值是系统执行测试程序考察系统CPU运算能力和内存CPU2000 的时间与参考系统的比值。 性能。

SPECweb 指标为整数含义为系统能同时相侧重CPU、 内存、系统I/O和2005 应的最大Http连接数。 网络的整体性能。

■突出重点

SPEC关注CPU和We b

与TPC体系注重在线处理能力和数据库查询能力不同 SPEC体系中最广为人知的两个子项是衡量CPU、 内存性能的CPU2000和Web服务器性能的web2005。

除了TPC家族 SPEC家族也是广为人知的一大体系。 SPEC指标体系由Standard PerformanceEvaluation Corp制定 目前主要包括针对CPU性能的SPEC CPU2000 已有CPU2006但尚无数据 、针对Web服务器的SPECweb2005、针对高性能计算的SPEC HPC2002与SPEC MPI2006、针对Java应用的jAppServer2004与JBB2005以及对图形系统、 网络和邮件服务器的测试指标。

其中CPU2000和web2005两类是被引用最广泛的指标。

CPU2000注重CPU

SPECCPU2000是一组针对CPU和内存的测试它主要测试的对象是CPU、 内存不测试硬盘、I/O效率和网络等部分。 SPEC CPU2000 由许多源代码程序组成这些程序都从实际的应用主要来自

配置14颗CPU的工作站应用中取出来的例如164 gzip就是gzip压缩程序。这些程序区分成“整数”和“浮点数”两组。SPECi nt2000就是“整数”部分而SPECfp2000则是“浮点数”部分。 “整数”部分有12个程序使用C或C++语言它们不使用CPU 的浮点单元而“浮点数”部分有14个程序使用FORTRAN 77/90和C语言这些程序的主要运算是浮点数的。

S P E C i n t2000和S P E Cfp2000的结果以执行时间为准。每个程序的执行时间和一个参考平台S u nU ltra5/10 300MHz相比计算出其倍数。如果执行时间和参考平台相同结果就是100。如果只花了一半时间完成结果就是200。 “整数”的12个程序的结果取其平均值得到的就是S P E Ci n t2000的测试结果。 “浮点数”的14个程序也是一样。

由于SPEC CPU2000的测试程序都是源代码形式以保证跨平台测试 所以编译器效率就显得十分重要。 SPEC CPU2000规定测试结果有“Base”和“Peak”两种结果。 “Base”测试中对于编译时的最佳优化参数有所规定所有的程序都需使用同样的参数且参数数目不能超过四个 而“Peak”测试则比较宽松。

另外 因为SPEC CPU2000的程序都是针对单CPU的系统设计 因此在多CPU系统上如果要测试多CPU系统的效率则是采取同时执行多个相同程序的方法这个结果就是“Rate”。因此 同样有S P E C i n t_rate和S P ECfp_rate的测试结果。需要说明的是 “Rate”测试同时执行多个相同的程序但程序之间并不会有关联所以这是一种理论计算能力测试并不代表实际并行计算能力。

Web服务 参考Web2005

SPEC web2005测试的原理是通过多台客户机向服务器发出Http Get请求请求调用Web服务器上的网页文件这些文件从数千字节到数兆字节不等。在相同的时间里服务器回答的请求越多就表明服务器对客户端的处理能力越强系统的We b性能就越好。

目前SPECweb2005测试榜上性能最高的是2005年1 1月发布的Sun Fire T2000系统此系统的基本配置为1颗8核心的UltraSPARC T1 (1 2GHz)/32GB内存/3×73GB万转SAS硬盘/Solaris 10/UFS文件系统/Java2 Runtime Environment能够同时响应14001个Http请求。这一性能比排行第二的系统高出

77。如果用户知道两套系统的价格接近那么就可轻易得知采购Fire T2000作为Web服务器性价比将比采购第二名的系统高出许多。

不过SPECweb2005的缺陷也正在于此它不像TPC-C那样要求厂商提供测试环境的总成本对于实际采购的指导意义有所削弱。