阿七
级别: 未验证会员
精华:
0
发帖: 909
威望: 0 点
金钱: 2161 RMB
贡献值: 0 点
在线时间:512(小时)
注册时间:2006-03-29
最后登录:2008-08-07
|
网络类产品测试方法
广告：ad_top产品硬件配置解析
网络产品的硬件配置，是其性能、质量高低的先决条件，因此，是一个比较重要的环节。产品硬件解析，我们主要通过直接拆解该产品，还有说明书上标配的参数来确定。拆解分析的重点元件是CPU、内存、闪存、电源、交换芯片等，对于无线类产品，会有专门针对无线硬件方案的拆解。确认元件标识后，通过搜寻该元件的生产厂商、频率、容量等主要属性，最终确认该元件的档次、性能，从而最后综合得出该产品的整体硬件配置级别。
产品外观描述
产品外观描述属于主观评测的部分，因此，只是作为参考，并不作为产品性能方面的评价。产品外观描述在SOHO级产品应用得较多，主要针对SOHO级用户对IT产品具有一定的美观需要，还有所使用外壳材料有不同喜好等原因。同时体现出该产品生产商在工业设计方面的功力。
软件功能介绍
除了硬件配置，软件开发的好坏，也很大程度影响到网络产品的性能。当然，软件设计各有千秋，并没有一个真正的测试标准，我们主要从软件运行、打开的速度，界面设计上的人性化，还有功能的多寡来为其主观定性。
Throughput(吞吐量、包转发率)测试：
Throughput（吞吐量）表示的是路由器每秒能处理的数据量。打个形象的比方，路由器的工作过程很像邮局包裹业务，邮局寄包裹是大家把物品、寄件人、收件人等信息交给邮局，邮局把物品包好，并贴上格式化的包裹单，检查无误后投递到目的地，收包裹是相反过程。路由器基本一样，只不过收发的东西是数据而已。Throughput就相当于邮局单位时间里的包裹处理能力，是路由器性能的直观反映。但同时，这个数据后面隐藏的名堂也是最多的。
首先应该说明路由器的Throughput，一定是LAN-to-WAN的Throughput，数据流出或流入局域网才需要路由器处理，才能代表路由器性能。而不是LAN-to-LAN，这代表的是路由器内部小交换机性能，一点意义都没有。这就像邮局单位时间里的包裹处理能力，一定指的是运出和运进邮局的包裹量，而不是从邮局一个房间搬到另一个房间的包裹量。
其次，路由器Throughput，应该是在NAT（网络地址转换）开启、防火墙关闭的情况下得出的测试数据。这是因为NAT是宽带路由器最基本、最核心的功能，不开启NAT就不成其为宽带路由器了，而且软件设计的好坏直接影响到NAT效率和路由器性能，所以NAT开启的Throughput才是有意义的。而防火墙，应该算做宽带路由器附带的高级功能，有的产品防火墙规则很多很复杂，能过滤很多东西，有的产品规则就又少又简单。规则多、复杂的，CPU用来过滤数据的时间就长，规则少、简单的，过滤数据的时间就短，这对Throughput测试数据影响还是挺大的。为公平起见，在测试路由器Throughput时，特别是在不同产品性能比较时，把防火墙关闭是合理的。防火墙的评判，一般放在功能里比较而不是性能比较。
常见Throughput测试方法有两种，一是Smartbits测试，一是Chariot测试。
Smartbits测试方法简介：
Smartbits测试是使用全球最权威的网络设备测试仪Smartbits2000或6000，配以专业的测试软件SmartApplication，用连续不断的UDP包，来测出对不同大小的数据包，路由器每秒能处理的包数量。路由器在处理数据包时，主要的时间花在处理包头、包尾上，对不同大小的数据包，路由器每秒能处理的包数量差别不会太大。这就像邮局处理包裹，主要的时间是花在处理寄件人、收件人和物品信息以及检查上，包裹重一点轻一点对处理速度影响不会太大。如128Byte包每秒能处理10000个，并不能做到64 Byte包每秒处理20000个，而是只比10000个略多一点点，比如10100个。例如：有些说法认为路由器在处理最大的1518Byte包时每秒8000个（理论上处理1518Byte包达到100M线速的极限值是每秒8127个），折算出Throughput是100M*8000/8127=98.44M，于是称该路由器Throughput高达98.44M；而实际上这个路由器在处理最小的64Byte包时每秒是11000个（理论上的极限值是每秒148810个），折算只有100M*11000/148810=7.39M，两者相差13倍多！同样，说路由器的“Throughput高达97M”，也很可能是1518Byte包达到97M，而处理64Byte的包却很可能只有7.39M！更为重要的是，小包转发的处理能力才能真正体现路由器的Throughput能力！目前市场上大多数的主流路由器处理512、1024和1518Byte这样的大包，Throughput大都能近似线速，而测试256、128和64Byte等小包的时候，性能差异立即体现。而大多数路由器的实际应用里小包转发能力十分关键，比如网吧里经常玩游戏，每操作一个游戏指令，每扣动一个扳机，转发的全部是小包，如果路由器处理小包的能力不够强，就很难应付游戏的大量小包转发需求，游戏玩起来就很不顺畅。所以NAT开启64 Byte小包的LAN-to-WAN 的Throughput才真正具有评价意义。
Smartbits简介：
思博伦通信的Smartbits系列数据网络测试平台提供了以太网业务所必需的测试功能，能快速地验证以太网业务，节省现有的人力资源，并且使用人员无需很多数据通信方面的经验，可选的POS和ATM接口卡还可以完成部分SDH和ATM的功能及性能测试。对于对ATM有更深入测试需求的用户，思博伦公司还提供了更专业的ATM测试仪表——AX4000宽带网络测试平台，用以满足ATM测试全方位的需求。
SmartBits是数据通信业界广泛认同的对于网络设备及网络性能测试的标准测量仪表，在北美、欧洲和亚洲，它被广泛的用于政府、大学科研机构、各大网络通信公司、运营商等相关组织中。在进入中国的短短几年里，SmartBits用户遍及全国，成为网络设备从业人员不可缺少的工具之一，在同类产品中具有绝对优势。使用SmartBits可以帮助用户测试设备及网络性能，如吞吐量、延迟、丢包等指标，更可以在一个端口中模拟上千万个网络的数量，并可以对其各自的性能进行分析，测试出不同的QoS下不同流量的表现。
SmartBits测试系统有2X系列和6X系列两大类机箱，每个系列中又分别有机架式和便携式两种机箱。2X系列机架式机箱有20个槽位，最多可以支持20个10/100M接口；2X系列便携式机箱有4个槽位，最多可以支持4个10/100M接口；6X系列机架式机箱有12个槽位，最多可以支持96个10/100M接口；6X系列便携式机箱有2个槽位，最多可以支持16个10/100M接口。
SmartBits提供丰富的接口：包括10MUSB接口，10M/100M/1000M以太网接口，E1/25M/Oc3/Oc12ATM接口，Oc3/Oc12/Oc48/Oc192POS接口和1G/2G Fiber Channel接口。
SmartBits支持不同接口类型之间的互通测试，支持多用户操作，不同的操作人员可以使用同一机箱上的不同板卡，从而提高了测试设备的使用效率。Smartbits还可以通过机箱之间的扩展达到超过1000端口的测试密度，而且支持远程GPS/CDMA的时钟同步系统进行精准的异地延迟等高要求的测量。整个系统有良好的扩展性。
SmartBits提供了丰富的测试软件，用户可以通过安装了测试软件的PC机（Windows 9X/NT/2000/XP）控制SmartBits设备，这种控制既可以是本地也可以来自远程。同时SmartBits提供灵活的编程接口，支持TCL和C等语言。用户既可以选择使用功能灵活的软件自定义测试方法与网络拓扑，实现任意功能或性能测试，也可以使用基于标准的定制软件进行基准测试。
Chariot测试方法简介：
Chariot测试则是用两台服务器，安装NETIQ公司的软件Chariot，一台接路由器WAN口，一台接LAN口，通过统计一个预定长度和格式的脚本文件无差错地从一台服务器传送到另一台服务器的时间来计算出路由器的Throughput。建立的连接数越多，对路由器软件的性能要求越高，软件写得差的，在连接数增加时，其Throughput会直线下降，甚至导致无法连接；而软件写得好的路由器则很平稳，甚至会随连接数的增加反而略有上扬。Chariot测试不象Smartbits测试那样是测试UDP“包”，而是数据“流”，其数据封装成多大TCP包和服务器操作系统相关，但一般都封装为1518Byte大包，所以其测试数据会比用Smartbits测试64 Byte小包的数据好看很多倍。
Chariot简介：
Chariot 是业界著名的多功能网络业务测试软件。非常多的评测实验室都在使用Chariot 软件进行网络设备的性能测试，比如一些千兆以太网卡横向比较测试和无线局域网产品的横向比较测试，我还看到很多对于防火墙设备的评测都采用了Chariot 。
Chariot 的基本组成包括Chariot 控制台和Endpoint 。其中Chariot 控制台可以运行于Microsoft 的各种Windows 平台。在Chariot 控制台上可以定义各种可能的测试拓扑结构和测试业务类型。
Endpoint 可以运行在几乎目前流行的所有操作系统上。Chariot Endpoint 能够充分利用运行主机的资源，执行Chariot 控制台发布的Script 命令，从而完成需要的测试。
无线产品信号测试
信号测试是无线产品测试的一个重点项目。我们主要通过主机运行软件来侦测无线产品的信噪比，使用的软件是Network Stumbler。
Network Stumbler对一定区域内的无线电信号进行扫描，如果在这一区域内存在接入点或是同类适配器的话，它将列出搜索结果和一些相关的重要信息，比如：Service Set Identifier (SSID)——这是一种为区域网络设计的标识符（无论其加密与否）。如果我的笔记本电脑上装有一个全球定位系统装置时，Network Stumbler甚至可以列出搜索到的装置具体的经纬度位置，然后你便可以使用一个地图软件来在地图上查找某一具体位置。
网络存储类产品主性能测试
网络存储类产品(NAS)的主要性能是由其操作数和吞吐量来体现的，我们主要用业界认可的专业测试软件IOMeter来测试该性能。
IOMeter是一款功能非常强大的IO测试软件，它包含了负载发生器（IOMeter称其为Worker），提供一系列标准测试组件以模仿实际应用，如WebServer（网站服务器）、FileServer（文件服务器）和在OLTP（OnLine Transaction Processing，在线交易处理）服务器。这些测试组件产生不同大小的输入输出请求和读/写分布，以模仿实际应用中的行为。
IOMeter还允许使用者自行设定输入输出参数，如大小、队列深度和读写分布等，使系统按照用户的特定意愿进行工作。输入输出大小的设定可从1字节按对数方式增加到1兆字节以上。同样，队列深度和读/写分布可以按用户指定的参数变化。当一系列参数指标被确定后，使用者必须明确所用的测试参数具有相关性。比如，小块连续数据模式在实际应用中并不存在，因此其反映的信息对实际情况而言是模糊的。
测试运行结合了文件服务器和网站服务器。此外，针对不同的应用，采用了不同输入输出范围内的连续读写方式。对于数据输入/输出大小的设定，服务器应用采用4KB到64KB范围，而连续性传输应用则采用64KB到1MB范围。
通过使用不同的IOMeter设定值来呈现文件服务器（选择范围为512Bytes到64KB）和网站服务器（选择512Bytes到512KB作为I/O范围）的相应负载，文件服务器和网站服务器的脚本都按照于StorageReview.com的脚本来进行，StorageReview.com通过对各种文件服务器和网站服务器的实际运行进行统计分析制定了业界广泛使用的测试脚本，我们认为这些的脚本是很正确的。连续性操作的设值为64KB，因为这是Windows NT系列系统所使用的限定数值。
最后，我们实际测试使用的IOMeter策略如下：
Max IO：
测试读取尺寸为512Bytes，100%读取操作，随机率为0%，即为100%连续读取，用于检测磁盘子系统的最大IO能力。
Max Throughput：
测试读取尺寸为64KB，100%读取操作，随机率为0%，即为100%连续读取，用于检测磁盘子系统的最大吞吐量。
FielServer：
文件服务器应用在一个多用户或网络化的环境中专门用于文件的储存，恢复和管理。不同用户的访问形成了多线程，因此，其工作负载是随机性的。输入输出大小是可变的，取决于所操作的文件大小。读/写分布也是变化的。总的来说，一个频繁使用的多用户服务器应该采用较高的队列深度来模拟。
最后，测试读取尺寸从512Bytes到64KB不等，80%读取操作，随机率为100%，用于模拟文件服务器的性能。
WebServer：
网站服务器应用于处理多用户通过Internet或Intranet进行的访问。这些请求具有典型的随机性，并且在用户访问不同页面或视频应用时大量偏向于读请求。同样，一个访问频繁网站服务器也应该采用较高的队列深度来模拟。
最后，测试读取尺寸从512Bytes到512KB不等，100%读取操作，随机率为100%，用于模拟Web服务器的性能。
在实际的桌面环境中，小于4KB的块访问数量不少，但是由于操作系统的缓存的存在而具有一定的降低，主要的块大小基于4KB。在文件服务器环境中，512B、4KB、64KB的块都比较多，其中4KB的占了绝大部分，而在网站服务器环境则主要是8K以下的块大小。
因为SCSI标准的TCQ（Tagged Command Queuing）支持高达256的Queue Depth（队列深度），所以按照企业级硬盘的标准，IOMeter测试的Queue Depth一般都用128或者256，但是在桌面应用中，Queue Depth通常不会大于128，通常为64左右；作为SCSI TCQ技术的一个简化的版本，SATA的NCQ（Native Command Queuing，本地指令队列）支持32的Queue Depth，因此我们测试时，队列深度从1到128。我们仅仅使用了一个Worker，因为对硬盘而言，无论多少个Worker硬盘都不会注意，硬盘看到的，不过是一连串的IO流。
|
|
|
|
[楼 主]
|
Posted: 2007-10-12 14:55 |
| |
常州五颜六色网络技术有限公司 -> 技术文档 -> 网络类产品测试方法
