链路存储服务器

第37卷第1期国防科技大学学报Vol.
37No.
12015年2月JOURNALOFNATIONALUNIVERSITYOFDEFENSETECHNOLOGYFeb.
2015doi:10.
11887/j.
cn.
201501007http://journal.
nudt.
edu.
cn高密度存储服务器高速链路设计与仿真沙超群1,任雪玉2,胡长军1,聂华1,陈进3,4(1.
北京科技大学计算机与通信工程学院,北京100083;2.
曙光信息产业有限公司,北京100193;3.
哈尔滨工程大学水声工程学院,黑龙江哈尔滨150001;4.
中国科学院微电子研究所,北京100029)摘要:针对高密度存储服务器中高速链路结构复杂、信号速率高、链路长度长等特点,在高速链路PCIE3.
0和SAS3.
0设计过程中引入全面的信号完整性仿真.
通过对高速印刷电路板设计中拓扑结构、材料类型、印刷电路板结构等关键项目进行仿真设计,获得成本最低、性能达标的最优方案;通过全链路有源仿真,预估系统性能,降低系统投产风险;通过系统实际信号测试,验证系统性能完全满足相应规范要求,仿真结果有效可靠.
关键词:高速印刷电路板设计;信号完整性仿真;信号测试中图分类号:TP336文献标志码:A文章编号:1001-2486(2015)01-039-08HighspeedchanneldesignandsimulationofhighdensitystorageserverSHAChaoqun1,RENXueyu2,HUChangjun1,NIEHua1,CHENJin3,4(1.
SchoolofComputerandCommunicationEngineering,UniversityofScienceandTechnologyBeijing,Beijing100083,China;2.
DawningInformationIndustryCorporationLimited,Beijing100193,China;3.
CollegeofUnderwaterAcousticEngineering,HarbinEngineeringUniversity,Harbin150001,China;4.
InstituteofMicroelectronics,ChineseAcademyofSciences,Beijing100029,China)Abstract:ComprehensivesignalintegritysimulationwasintroducedinthedesignofPCIE3.
0andSAS3.
0channelsofhighdensitystorageserver,whicharecharacterizedbycomplicatedstructures,highsignalspeedandlonganddensetraces.
TheoptimizedcosteffectivedesignwasobtainedbysimulatingthekeyitemsofhighspeedPCBdesignsuchastopology,materialandhighspeedviastructure.
Thesystemperformanceswerethenevaluatedbyfullchannelactivesimulationtoensurethestabilityofthesystemandreducethemanufacturerisks.
ThesignalqualityofstorageserversystemtotallymeetstherequirementofPCIE3.
0andSAS3.
0specifications,verifyingtheeffectivenessandreliabilityofsignalintegritysimulation.
Keywords:highspeedprintedcircuitboarddesign;signalintegritysimulation;signaltest近年来,全球数据存储量呈现爆炸式增长,当前全球每48h所创造的数据量等同于从人类文明诞生至2003年间产生数据量的总和[1](其中,企业与互联网数据以每年50%的速率在增长,据Gartner预测,到2020年,全球数据量将达到35ZB,等于80亿块4TB硬盘[2]).
数据存储理念的变化,尤其是大数据、云计算等新的应用模式要求存储服务器系统不断提升计算能力、存储容量、出口带宽与存储密度,这对新一代存储服务器系统设计,尤其是其中高速信号链路设计提出了新的挑战.
1)链路结构复杂.
单个系统中包含有60~100块SAS3.
0硬盘,同时支持4~8组PCIE3.
0*16标准设备,有数百对高速传输线需要经过系统背板.
2)链路信号速率高.
经过背板的高速链路PCIE3.
0[3]和SAS3.
0[4]协议的速率分别达8Gbps和12Gbps,传统高速印刷电路板(PrintedCircuitBoard,PCB)链路阻抗控制(±10%)已无法满足要求,需要更加精细化的链路结构设计.
3)高速链路走线长.
绝大部分的高速链路需要经过3次连接器,跨越4块电路板,最长的链路达1m,增加了链路损耗控制的难度.
针对系统高速链路的特点和要求,在系统设计过程中引入全面的信号完整性(SignalIntegrity,收稿日期:2014-06-12基金项目:国家"863"高技术研究发展计划基金资助项目(2013AA01A209);北京市科委计划项目(D141100003414002)作者简介:沙超群(1977—),男,江苏邳州人,博士研究生,Email:scq@sugon.
com;任雪玉(通信作者),男,工程师,硕士,Email:renxy@sugon.
com国防科技大学学报第37卷SI)仿真[5],通过仿真的方法指导高速链路设计,提高系统高速信号质量.
首先基于高速链路拓扑结构特点,通过SI仿真分析以及3D电磁场仿真完成材料选型与过孔结构优化,并最终得到全链路的无源模型(仿真工具为ANSYSHFSS1507).
同时根据PCIE3.
0/SAS3.
0标准规范,设计PCIE3.
0和SAS3.
0有源收发器模型,完成相应链路的有源仿真(仿真工具为ANSYSDesigner15.
0.
7),评估系统预期性能.
最后使用误码仪和高速示波器,对PCIE和SAS链路的实际性能进行测试和验证.
1系统SI仿真设计11高速链路拓扑设计系统中PCIE与SAS链路的拓扑结构较为类似,如图1所示,PCIE链路从主板出发,经过背板接到I/O扩展模块上,模块上有标准PCIESLOT,用于外接标准PCIE设备;SAS链路从SAS标准卡出发,经过背板接到硬盘底板上,硬盘底板可外接标准硬盘或固态硬盘.
链路整体均分为4个部分,前3个部分为系统内板卡,第4部分为标准设备.
图1PCIE与SAS高速链路拓扑图Fig.
1PCIE&SAStopologyPCIE最长链路中,主板部分长度约为230mm,背板部分长度约为330mm,I/O扩展板部分长度约为130mm,全链路总长约为690mm;SAS最长链路中,SAS子卡部分长度约为100mm,背板部分约为400mm,硬盘底板部分约为500mm,全链路总长约为1m.
这些链路3次经过连接器(添加标准设备端),可以作为评价PCIE和SAS链路的最劣样本.
根据PCIE与SAS协议规范,链路损耗需要分别控制在-10dB±2dB(4GHz)与-18dB±2dB(6GHz)(其中的不确定度来自于芯片封装性能与链路阻抗连续程度的差异).
12材料选型确定链路拓扑后,需要进行材料与连接器的选型.
材料选型原则为兼顾材料的链路损耗要求及材料成本,避免过设计.
因此,选择4种市场上主流的PCB板材进行仿真,同时制作测试PCB,通过实测结果验证材料厂商所称的材料参数(仿真工具为ANSYSDesigner,测试工具为矢量网络分析仪).
图2不同材料152mm带状线仿真与实测损耗对比Fig.
2Measuredandsimulatedinsertionlossof152mmstriplineofdifferentmaterials图2为152mm带状线的损耗仿真与实测结果对比,表1为仿真拟合前后的材料参数与不同材料的损耗对比.
根据系统拓扑设计结果,PCIE链路的损耗在4GHz要求为-0.
37±0.
07dB/in,SAS损耗在6GHz要求为-0.
45±0.
05dB/in.
结合仿真结果可知N400013SI为满足要求的最佳性价比材料.
表1仿真拟合前后的材料参数与不同材料的损耗对比Tab.
1Insertionloss&characteristicparametersofdifferentmaterials材料类型材料手册参数仿真拟合参数损耗值(dB/in)DkDf铜箔DkDfRMS(μm)4GHz6GHz相对成本IT180A[6]4.
70.
018STD4.
40.
02570.
7891.
1271TU862HF[7]4.
50.
015RTF4.
40.
01850.
5200.
7301.
3~1.
5N400013SI[8]3.
20.
008RTF3.
40.
01050.
3550.
4852.
5~3Megtron6[9]3.
40.
004VLP3.
40.
00530.
2250.
2984~5注:Dk(DielectricConstant)表示材料的介电常数,Df(DissipationFactor)表示材料的损耗因子,STD表示标准铜箔,RTF表示反转铜箔,VLP表示低损耗铜箔,RMS值表征铜箔的粗糙度.
·04·第1期沙超群,等:高密度存储服务器高速链路设计与仿真13PCB结构精细化设计高速PCB链路中的过孔、蛇形绕线、补偿线、BGA焊点、AC耦合电容等结构影响链路的阻抗连续性,其中,过孔是PCB设计中应用最广泛的结构,也是造成链路阻抗不连续的关键因素之一,需要进行精细化的设计来提高链路阻抗连续性,减少链路对高速信号的反射.
对过孔的阻抗有较大影响的结构参数主要有差分孔距、钻孔孔径、反焊盘半径和过孔根长度,通过参数扫描仿真可以得到这些参数对过孔特性的影响,见表2.
一般工程实践中的过孔优化步骤是建立3D过孔模型,通过扫描不同的结构参数得到阻抗变化最小的结果,但这种方法往往只能将过孔阻抗的偏差控制在10%.
为了进一步优化过孔阻抗特性,在此基础上设计了3种特殊的过孔结构,图3为4种结构(额外添加标准结构作为对照)的结构透视图.
表2不同结构参数对过孔特性的影响Tab.
2Effectofdifferentviastructuralparameters过孔参数当参数值增大(↑)时特征参数的变化LoCgLmCm阻抗特性差分孔距感性钻孔孔径容性反焊盘半径感性过孔根长度容性、谐振(a)标准结构(a)Standard(b)纺锤形结构(b)Spindle(c)梯形结构(c)Trapezoid(d)雨滴形结构(d)Raindrop图34种过孔结构Fig.
3Fourviastructure图3(a)为标准结构;图3(b)为纺锤形结构,该设计思想为通过减小外层PCB反焊盘大小,降低过孔两端的阻抗,通过增大内层PCB的反焊盘,提升过孔中段的阻抗;图3(c)为梯形结构,其设计思路为通过增加一小块入线层参考面来使得阻抗更加连续;图3(d)为雨滴形结构,设计思路为通过增加入线线宽,降低过孔入线端阻抗.
对这4种结构分别进行仿真与测试验证,仿真与实测的TDR阻抗结果对比如图4所示(仿真工具为ANSYSHFSS,测试工具为矢量网络分析仪).
由图4可知,纺锤形与梯形结构的阻抗更加连续(走线阻抗约为102.
5Ω),阻抗波动偏差约为5%,优于经过仿真优化的标准结构(约为6%~7%).
考虑到纺锤形结构的布线工作量要大于梯形,在原型系统设计时选取设计工作量相对较小的梯形方案.
14PCIE3.
0/SAS3.
0全链路仿真原型系统的PCB设计初步完成后,通过对图4仿真与实测的过孔TDR阻抗特性曲线Fig.
4SimulatedandmeasuredimpedanceofoptimizedviastructurePCIE与SAS全链路进行3D电磁场仿真(基于ANSYSHFSS),得到全链路的无源仿真模型(S参数).
仿真过程中,对于较长的链路,需要将其分割为多个部分,分段仿真,最后将各个部分的S参数级连起来,得到全链路的S参数(仿真工具为·14·国防科技大学学报第37卷ANSYSDesigner).
图5分别为PCIE与SAS中最长链路的插入损耗曲线.
图5PCIE与SAS链路的插入损耗曲线Fig.
5InsertionlossesofPCIEandSASchannel其中,PCIE全链路在4GHz时的损耗为-9.
17dB,SAS全链路在6GHz时的损耗为-17.
74dB,结合相应的频域参数模板可知,PCIE的仿真结果满足相应规范的要求,SAS的仿真结果在低频时低于模板,在基频点(6GHz)以上满足模板要求.
2有源仿真在PCB设计完成后,需要评估链路设计是否满足相应规范要求.
结合前文提取的全链路模型,依据PCIE3.
0和SAS3.
0协议规范设计了通用芯片的有源仿真模型,对系统PCIE与SAS链路的信号质量进行有源仿真.
保证在仿真结果满足规范要求的前提下进行投产,降低系统投产风险.
有源仿真基于ANSYSDesigner仿真工具,为了能够适应不同厂商的芯片,在仿真时优化设计了收发器有源模型,模型的建立依据相应的PCIE与SAS的协议规范.
21PCIE3.
0有源仿真PCIE3.
0通用芯片模型中包含均衡模块[10]:①在TX端设置有一个3Tap(Tap表示移位寄存器的阶数)的FIR预加重模块;②在RX端设置有CTLE模块和1TapDFE模块,CTLE模块包含2个极点和1个零点,高频补偿为6~12dB;DFE采用LMS自适应算法[11].
在仿真过程中,为使仿真环境更接近真实测试环境,在链路的末端添加一段损耗约为-4dB(4GHz)的链路,用于模拟PCIE标准卡设备,图6为使用PRBS31编码得到的RX端眼图仿真结果(8Gbps).
图6(a)中TX/RX均衡均未开启;图6(b)中TX端均衡开启;图6(c)中TX/RX均衡均开启;图6(d)为(a)~(c)条件下BER浴盆曲线对比.
(a)(b)(c)(d)图6PCIE链路眼图仿真结果(8Gbps)Fig.
6SimulatedeyesofPCIEchannel(8Gbps)仿真统计结果见表3,为了能够更好地模拟真实芯片的环境,在发送端加入0.
04UI的占空比失真(DutyCycleDistortion,DCD),加入了2ps的随机抖动(RandomJitter,RJ).
协议标准定义的误码率眼高和眼宽分别为35mV和37.
5ps,添加抖动噪声的情况下仿真结果能够满足规范要求.
·24·第1期沙超群,等:高密度存储服务器高速链路设计与仿真表3PCIE链路眼图仿真条件与结果(8Gbps)Tab.
3EyesimulationconditionsandresultsofPCIEchannel(8Gbps)ItemTXPreemphasisPre(dB)Post(dB)CTLE(dB)1TapDFEDCD(UI)RJ(RMS)EyeHeight(mV)EyeWidth(%UI)a----0.
042ps--b3.
53.
5--0.
042ps6553(66ps)c3.
53.
56Adaptive0.
042ps8669(86ps)表4SAS链路眼图仿真条件与结果(12Gbps)Tab.
4EyesimulationconditionsandresultofSASchannel(12Gbps)ItemTXPreemphasisCTLE(dB)5TapDFEDCD(UI)RJ(RMS)EyeHeight(mV)EyeWidth(%UI)a---0.
042ps--bOptimized(12dB)--0.
042ps3655(45ps)cOptimized(12dB)4Adaptive0.
042ps3647(39ps)22SAS3.
0有源仿真与PCIE3.
0相比,SAS3.
0的链路速率更高,为得到更加可靠的仿真效果,同时与市场中主流的SAS3.
0芯片性能相吻合,在模型中设计了更加复杂的均衡模块:①在TX端设置一个4TapFIR预加重模块,支持1TapPreCursor和2TapPostCursor;②在RX端设置CTLE和5TapDFE模块,CTLE模块包含2个极点和1个零点,高频补偿为0~11dB;DFE采用LMS自适应算法.
为让SAS3.
0的预加重参数更好地匹配链路特性,依据SAS全链路的冲激响应曲线计算预加重模块的均衡器系数.
预加重模块补偿前后的全链路冲激响应曲线的对比如图7所示(为使对比结果更加明显,图中对预加重模块引入的1UI时延进行了补偿).
图7预加重补偿前后的SAS链路冲激响应曲线对比Fig.
7ImpulseresponseofSASchannelwith/withoutTXequalization将最高点定为采样原点,原冲击响应曲线(虚线)在原点、PreCursor、MainCursor、PostCursor对应的采样点电压依次为x-1,x0,x1,x2,构建采样输入矩阵X与期望输出向量y:X=x0x-100x1x0x-10x2x1x0x-10x2x1x0,y=0100(1)得到原始的预加重均衡器系数cc=X-1·y=c-1c0c1c[]2(2)得到归一化的预加重均衡器系数c′=c∑ci(3)c′的值为(-0.
14,0.
57,-0.
27,-0.
02).
对比补偿前后的冲激响应曲线,预加重使得响应曲线更加接近理想的冲激响应.
图8为使用PRBS31编码得到的眼图仿真结果(12Gbps).
图8(a)中TX/RX均衡均未开启;图8(b)中TX端均衡开启;图8(c)中TX/RX均衡均开启;图8(d)为(a)~(c)条件下BER浴盆曲线对比.
眼图仿真结果统计见表4,SAS3.
0协议中并未给出12Gbps接收端的眼图模板,业界一般要求接收端的眼宽大于20.
8ps.
仿真结果表明链路在添加抖动的情况下能够满足要求.
(a)·34·国防科技大学学报第37卷(b)(c)(d)图8SAS链路眼图仿真结果(12Gbps)Fig.
8SimulatedeyesofSASchannel(12Gbps)3测试验证31PCIE/SAS全链路无源性能在PCB生产完成后,为了评估系统链路真实的损耗特性,同时对比验证仿真结果,需要对PCIE/SAS全链路进行无源测试.
图9为PCIE/SAS链路的损耗仿真与实测结果的对比(链路损耗测试基于矢量网络分析仪),可以看出,在20GHz范围内,仿真结果与测试结果能够达到较好的匹配.
32PCIE3.
0测试结果使用误码仪作为标准TX输出端,接入到系统PCIE链路中,在PCIESLOT接入标准PCIE30测试夹具,使用高速示波器得到PCIE3.
0的图9PCIE/SAS链路的损耗仿真与实测对比Fig.
9SimulatedandmeasuredinsertionlossofPCIE/SASchannel眼图测试结果(8Gbps),如图10所示.
(a)(b)(c)(d)图10PCIE链路眼图测试结果(8Gbps)Fig.
10MeasuredeyesofPCIEchannel(8Gbps)·44·第1期沙超群,等:高密度存储服务器高速链路设计与仿真图10(a)~(c)的测试分别对应图6(a)~(c),测试中设置的预加重、均衡条件与仿真条件一致,图10(d)为链路接收端误码率仿真与实测对比(无RX端均衡),3种眼图的测试结果细节见表5.
由于测试时的接收端均衡为高速示波器模拟,并没有实际的物理设备,因此添加物理预加重后的眼图结果作为评价链路的指标.
实测结果满足PCIE3.
0的35mV眼高和37.
5ps眼宽要求,且实测结果与仿真结果(括号中的数值)接近,实测结果略小于仿真结果.
33SAS3.
0测试结果使用误码仪作为标准TX输出端,接入到系统SAS链路中,在SAS硬盘接口处接入标准SAS3.
0测试夹具,使用高速示波器得到SAS的眼图测试结果(12Gbps),如图11所示.
(a)(b)(c)(d)图11SAS链路眼图测试结果(12Gbps)Fig.
11MeasuredeyesofSASchannel(12Gbps)图11(a)~(c)的测试分别对应图8(a)~(c),测试中所设的预加重、均衡条件与仿真条件接近.
由于误码仪的预加重模块只能实现3Tap,实测环境中的预加重效果有所降低,图11(d)为链路接收端误码率仿真与实测对比(无RX端均衡),3种眼图的测试结果细节如表6所示.
添加物理的预加重后SAS链路的接收端眼图张开,与业内的评价指标相比,接收端的眼宽指标满足20.
8ps的要求.
由于实际设备的预加重性能较低(实际设备为3Tap,仿真模型为4Tap),信号在添加TX预加重情况下的眼高眼宽小于仿真值.
在添加预加重的情况下进行误码率测试,系统的误码率能够达到10-15,满足存储系统的性能要求.
表5PCIE链路眼图测试结果细节Tab.
5DetailsofPCIEchanneleyediagrams(8Gbps)EqualizationEyeHeight(mV)EyeWidth(ps)TJ(ps)RJ(ps)Width@BER*10-12(ps)NOEQ00162.
551.
68560TXEQ62.
687(65)63.
946(66)75.
4251.
707049.
569TX/RXEQ101.
13(86)97.
832(86)40.
4101.
210490.
015表6SAS链路眼图测试结果细节Tab.
6DetailsofSASchanneleyediagrams(12Gbps)EqualizationEyeHeight(mV)EyeWidth(ps)TJ(ps)RJ(ps)Width@BER*10-12(ps)NOEQ00396.
0323.
2420TXEQ30.
441(36)37.
043(45)56.
0462.
130827.
282TX/RXEQ39.
237(36)46.
945(39)46.
6461.
526236.
683·54·国防科技大学学报第37卷4结论本文基于SI仿真设计方法,对高密度存储服务器系统中PCIE3.
0与SAS3.
0的链路进行设计优化.
在材料选型时,以最长链路的损耗作为指标,对材料损耗进行控制,既满足了相关协议规范的要求,又避免了材料的浪费;同时,对链路中不连续结构,特别是过孔结构进行进一步优化,使阻抗的偏差控制在5%之内,保证链路损耗在接近规范极限的情况下,信号仍能满足协议要求.
在PCB设计完成后,通过PCIE3.
0与SAS3.
0的有源仿真,对系统性能进行初步的评价,确保仿真结果满足协议规范后进行投产,大大降低系统的设计风险.
最后,对系统链路的无源与有源特性进行测试验证对比,确认系统能够满足设计需求,同时也验证SI仿真结果有效可靠.
参考文献(References)[1]SchmidtEE.
PeopleAren'tReadyfortheTechnologyRevolution[EB/OL].
[2014-06-12].
http://readwrite.
com/[2]GantzJ,ReinselD.
Thedigitaluniversedecadeareyouready[R].
IDC_925,176SouthStreetHopkinton,MA01748,UnitedStates,EMCCorporation,2010.
[3]PCIexpressbasespecificationrevision3.
0[S/OL].
PCISIG,2010.
http://www.
pcisig.
com/[4]SerialattachedSCSI-3(SAS-3)[S].
AmericanNationalStandardsInstitute,Inc.
11W.
42ndStreet,NewYork,2013.
[5]HallSH,HeckHL.
Advancedsignalintegrityforhighspeeddigitaldesign[M].
NewYork:JohnWiley&Sons,2009.
[6]IT-180BS/IT-180TCspecification[R/OL].
ITEQCorporation.
[2014-06-12].
http://www.
iteq.
com.
tw/[7]TU-862HFspecification[R/OL].
TaiwanUnionTechnologyCorporation.
[2014-06-12].
http://www.
tuc.
com.
tw/[8]NelcoN4000-13/N4000-13SIspecification[R/OL].
ParkElectrochemicalCorporation.
[2014-06-12].
http://www.
parkelectro.
com/[9]Megtron6[R/OL].
PanasonicCorporation.
[2014-06-12].
http://www.
panasonic.
com.
c[10]LiuJ,LingXF.
Equalizationinhighspeedcommunicationsystems[J].
IEEECircuitsandSystemsMagazine,2004,4(2):4-17.
[11]LuckyRW.
Theadaptiveequalizer[J].
IEEESignalProcessingMagazine,2006,23(3):104-107.
·64·