防火墙速率测试

Hillstone·Fortinet·Juniper高端防火墙产品测评报告亓亚烜薛一波清华大学信息技术研究院网络安全实验室测试产品:HillstoneSA-5050防火墙报告版本:V1.
0测试日期:2008年2月2日测试结果摘要1.
SA-5050防火墙在双向、零丢包率下的吞吐量,无论网包大小,性能均高于比较测评的FortiGate3600A和NetScreen5200.
2.
SA-5050防火墙达到了每秒24.
5万的TCP新建连接速率.
3.
SA-5050防火墙对64-Byte小包的转发速率达到3Gbps.
4.
SA-5050防火墙在复杂防火墙规则下,性能稳定,且不受网络流量变化影响.
FG3600ASA-5050NS52008Gbps12GE,6GE/SFP4Gbps4Gbps5,000,0001,000,0001,000,000200,00020,00025,0008GE,2GE/SFP主要接口新建连接速率最大并发连接数吞吐量防火墙8mini-GBIC表1.
测试对象主要性能参数标称1.
测试对象和测试仪器本测试为山石网科(HillstoneNetworksInc.
)委托清华大学信息技术研究院网络安全实验室(NSLab,RIIT,TsinghuaUniv.
)进行的防火墙性能比对测试.
1.
1.
本测试的测试对象Hillstone公司:SA-5050防火墙(图例:SA-5050)软件版本:SA5000-1.
1R1d4.
用作性能对比的测试对象为:Juniper公司:NetScreen5200防火墙(图例:NS5200)软件版本:NS5000-5.
0R8Fortinet公司:Fortigate3600A防火墙(图例:FG3600A)软件版本:FortiOS3.
0build559测试对象的主要性能标称见表1.
1.
2.
本测试使用的测试仪器防火墙网络层测试设备:硬件:SmartBits6000C(SMB6000C)软件:Smartowversion5.
00防火墙应用层测试设备:硬件:IXIA1600T(IXIA1600T)软件:Ixloadversion3.
30流汇聚交换机:H3CS5100-24P-EI24口千兆交换机(H3C5100)管理交换机:H3CS212624口百兆交换机(H3C2126)测试仪器见图1.
1.
3.
本测试的主要测试依据RFC2544RFC2647RFC3511图1.
测试对象和测试仪器1Hillstone·Fortinet·Juniper高端防火墙产品测评报告21.
4.
测试平台拓扑本测试被测防火墙、测试仪器、交换设备以及控制台连接拓扑见图2和图3.
图2.
测试仪器配置方案1图3.
测试仪器配置方案22.
防火墙吞吐量测试2.
1.
测试目的吞吐量是指防火墙在不丢包情况下能转发的最大网包数量.
防火墙作为内外网之间的唯一数据通道,吞吐量的大小将直接影响到网络的整体性能.
2.
2.
测试方法防火墙的每一端口均直接连接到SmartBit6000C上.
防火墙配置1条规则,即所有端口的流量全部允许通过.
测试分别对64字节、128字节、512字节、1024字节和1518字节的网包流量吞吐量分别0100020003000400050006000700080006412851210241518SA-5050NS5200FG3600A(Mbps)图4.
吞吐量测试结果测试.
测试仪器配置方案见图2.
为了精确考察防火墙的双向处理能力,被测试防火墙的端口被均匀分配到trust和untrust两个域,测试使用双向流量.
为了精确考察防火墙的吞吐量,依据RFC2544,测试中丢包率被严格设置为0.
2.
3.
测试结果吞吐量测试结果见图4、表2.
表2.
吞吐量测试结果Packetsize(bytes)Throughput(Mbps)6412851210241518FG3600A(8GE)250445.
3131546.
883015.
634289.
061825.
882287.
33216.
313450.
13505.
472086.
722614.
063675.
783942.
974006.
25SA-5050(8GE)2929.
6951257882.
817960.
947968.
75ThroughputNS5200(7GE)网包大小(字节)33.
防火墙平均时延测试3.
1.
测试目的防火墙的时延是指测试仪器发送端口发出网包经过防火墙后到接收端口收到该网包的时间间隔.
防火墙的平均时延是防火墙存储转发性能的重要指标.
3.
2.
测试方法测试中,被测防火墙的每一端口均直接连接到SmartBit6000C上.
被测防火墙配置1条规则,即所有端口的流量全部允许通过.
测试分别对64字节、128字节、512字节、1024字节和1518字节的网包流量时延分别测试.
测试仪器配置方案见图2.
050100150200250300641251210241518SA-5050NS5200FG3600A(uSec)为了精确考察防火墙的双向处理能力,被测防火墙的端口被均匀分配到trust和untrust两个域,测试使用双向流量,50%的流量从trust到untrust域,50%的流量从untrust到trust域.
为了精确考察防火墙在高负荷运载下的平均处理时延,测试中使用了被测防火墙的所有端口并以95%的最高吞吐量(由测试1得出)作为测试流量负载.
3.
3.
测试结果:平均时延测试结果见图5、表3.
图5.
平均时延测试结果网包大小(字节)Packetsize(bytes)Latency(uSec)6412851210241518AverageLatencyFG3600A(8GE)199.
633196.
422200.
793243.
274280.
755NS5200(7GE)5.
0956.
91116.
20525.
71335.
413SA-5050(8GE)8.
62811.
2916.
03625.
15732.
159表3.
平均时延测试结果4.
防火墙最大并发连接数测试4.
1.
测试目的最大TCP并发连接数是防火墙能同时维护的网络连接数量,它反映了被测防火墙设备对多个连接的访问控制能力和连接状态跟踪能力.
4.
2.
测试方法测试中,被测防火墙配置1条规则,即所有端口的流量全部允许通过.
选取被测防火墙的两个端口分别作为连接内网用户和外网服务器的接口.
测试仪IXIA1600T用来产生TCP三次握手的流量.
测试仪器配置方案见图3.
为了考察被测防火墙的极限性能,我们使用了IXIA1600T的全部22个端口,通过24口的H3C5100交换机将流量汇聚到防火墙(防火墙的内网和外网使用交换机剩余的两个端口).
4.
3.
测试结果最大连接数测试结果见表4.
NS5200FG3600A4865454999937SA-50504999325ConcurrentTCPConnecionCapacity表4.
最大连接数测试结果Hillstone·Fortinet·Juniper高端防火墙产品测评报告45.
防火墙最大新建连接速率测试5.
1.
测试目的防火墙最大新建连接速率测试分别使用TCP和HTTP进行测试.
防火墙最大新建连接速率TCP测试是指防火墙在单位时间内所能建立TCP连接的数量,即防火墙处理TCP三次握手的能力.
与TCP新建连接不同,防火墙最大新建连接速率HTTP测试不仅仅考察被测防火墙对TCP三次握手的处理,同时还要考察被测防火墙对TCP连接关闭时的四次握手处理.
测试中还添加了1字节的HTTP通信流量,即三次握手之后,用户从服务器端GET1字节的流量,然后进行四次握手的连接关闭处理.
5.
2.
测试方法测试中,被测防火墙配置1条规则,即所有端口的流量全部允许通过.
选取被测防火墙的两个端口分别作为连接内网用户和外网服务器的接口.
测试仪IXIA1600T用来产生500个内网用户访问5个外HTTP服务器的流量.
测试仪器配置方案见图3.
为了考察被测防火墙的极限性能,我们使用了IXIA1600T的全部22个端口,通过24口的SR-550交换机将流量汇聚到防火墙(防火墙的内网和外网使用交换机剩余的两个端口).
5.
3.
测试结果新建连接速率测试结果见图6、表5.
注意:由于IXIA测试仪的全部三块板卡只能提供每秒约12万的HTTP连接流量(使用短接测试得出),而测试中SA-5050的HTTP连接处理能力达到了11.
5万(此时其处理器平均利用率约为70%),因此测试中的结果仅是其真实HTTP新建连接速率的一个下界.
050000100000150000200000250000300000TCPHTTPSA-5050NS5200FG3600A(Connections/s)NS5200FG3600A332955779SA-5050*115000*受测试仪限制,CPU70%FG3600A33828NS520017385SA-5050246863MaximumTCPConnectionEstblishmentRate(TCP)MaximumTCPConnectionEstblishmentRate(HTTP)图6.
新建连接速率测试结果表5.
新建连接速率测试结果*由于IXIA测试仪的全部三块板卡的极限只能提供每秒约12万的HTTP新建连接56.
网包分类性能6.
1.
测试目的网包分类性能考察防火墙对每一个网流的第一个网包的处理能力.
本测试中所指网流为具有相同五元组(源IP、目标IP、源端口、目标端口、传输层协议)的一系列网包.
网包分类性能对防火墙的影响体现在多个方面,这里从流量的角度进行来分析:首先,对合法流量,虽然防火墙通常为合法流量建立连接状态,并通过快速通道的精确匹配进行高速转发,但新建连接都需要对网流的首包进行分类,因此网包分类直接影响新建连接的速率;其次,对非法流量,由于防火墙通常不为非法流量建立连接状态,所以非法流量的网包即使属于同一网流,都需要进行分类,因此网包分类的性能也反映了防火墙处理大量非法流量的能力.
6.
2.
测试方法测试中,被测防火墙的所有端口均配置在一个域中并分别连接到SmartBit6000C上.
测试主要考察防火墙在大规模防火墙规则(即网包分类规则)下,对不同比例的合法、非法流量的总体处理能力.
输入流量选取1518字节的网包.
测试仪器配置方案见图2.
为了考察合法、非法流量对网包分类性能的不同影响,测试流量包括不同比例的合法流量(防火墙允许通过的流量,GOOD_TRAFIC)和非法流量(防火墙拒绝通过的流量,BAD_TRAFFIC).
定义非法流量占总流量的比例(BAD_TRAFFIC_RATE)为:BAD_TRAFFIC_RATE=(BAD_TRAFFIC)/(BAD_TRAFFIC+GOOD_TRAFFIC)*100%为了考察防火墙规则变化对网包分类性能的影响,防火墙规则分别采用两组复杂度不同的规则.
两组规则数量均为2000条,但第一组规则(SET1)可以从数学上简化为8条范围匹配(range-match)的规则或24条最长前缀匹配(prefix-match)的规则,而第二组规则(SET2)则只能简化为80条范围匹配的规则或400条最长前缀匹配的规则.
测试中,合法流量与第1999条规则匹配,并允许通过;非法流量与第2000条匹配,不允许通过.
6.
3.
测试结果网包分类性能测试结果见图7、表6和图8、表7.
从测试中可以看出:SA-5050防火墙的性能稳定,无论非法流量所占比例大小,无论输入规则复杂程度,均保持转发时处理能力的93%以上;NS5200防火墙性能不受规则复杂程度影响,但当非法流量达到80%时,其整体处理能力下降到30%;FG3600A防火墙的性能随规则复杂程度增加及非法流量所占比例增大而明显下降,尤其是在使用SET2规则时,FG3600A无法通过0丢包率的测试.
10.
00%0.
00%20.
00%30.
00%40.
00%50.
00%60.
00%70.
00%80.
00%90.
00%100.
00%0%20%40%60%80%SA-5050NS5200FG3600Abadtrafficrate(%)performance0%20%40%60%80%RuleSet1FG3600A(8GE)40003264257421231748NS5200(7GE)3469.
2383596.
562049.
761366.
851023.
85SA-5050(8GE)7968.
757968.
757968.
757968.
757968.
75非法流量比例(%输入流量)图7.
网包分类性能(规则集合SET1)表6网包分类性能(规则集合SET1)Hillstone·Fortinet·Juniper高端防火墙产品测评报告610.
00%0.
00%20.
00%30.
00%40.
00%50.
00%60.
00%70.
00%80.
00%90.
00%100.
00%0%20%40%60%80%SA-5050NS5200FG3600Abadtrafficrate(%)performance0%20%40%60%80%RuleSet2NS5200(7GE)FG3600A(8GE)400000003469.
2383596.
562049.
761366.
851023.
85SA-5050(8GE)7968.
757968.
757968.
757968.
757492.
19非法流量比例(%输入流量)图8.
网包分类性能、(规则集合SET2)表7.
网包分类性能(规则集合SET2)清华大学信息技术研究院网络安全实验室,FIT3-419,100084Tel:86-10-62797765Fax:86-10-62772393Copyright2008,清华大学信息技术研究院版权所有,保留所有权利.