在2006年7月,YouTube报道每天有1亿次视频浏览。在2010年5月,每天的视频浏览次数攀升到20亿。在2010年2月,Twitter报道每天有5千万Tweets。同样在2008年6月,iTunes有50亿的歌曲下载,而在2010年2月,下载量攀升到100亿。Facebook有超过5亿的活跃用户,人们每个月在社交网站上花费7千亿分钟。有超过1百万个网站已经与Facebook平台结合在一起。这些应用以及其他一些类似的应用正在创建新的互联网和新的商务习惯。这些应用的核心就是数据中心,伴随着日益增长的高速带宽和存储的需求。
同样地,增长带宽的需求也成了企业数据中心的核心。短短五年前,没有人能够预测碳排放税,增加的标准和报告的需求,或者通过企业网络存储和移动的巨量信息产生的影响。通过多个服务器和存储设备共享一个或者两个网络连接的虚拟化是高速网络的驱动力。企业的运营需要多种广泛的软硬件平台和越来越多的合并协作、视频和其他先进的应用。IT不再是一个不可避免的灾难,相反地是一个竞争优势。
不管是为了传送接下来的巨量应用,还是管理不断增长的即时数据的需求,数据中心正在提高速率,重新评估现有的应用,并通过合并和虚拟化的方式寻求更加绿色的处理。为了获得所需的更高的数据传输速率,新的标准和传输媒介已经应运而生。每一个应基于建筑式样、设计和技术优势、端到端的成本和性能考虑来评估。
IEEE40/100GbE标准的正式颁布增加了高速传输的选项。同样地,由短距离双芯同轴和光纤组件支持的柜顶(ToR)交换机也提供了一个相对新的选项。然而,这些系统的设计与基于工业标准的结构化布线(使用两芯光纤的10GBASE-SR/SX和/或者使用四对双绞线铜缆的10GBASE-T系统)有着显著的区别。针对如今不断涌现的数据中心的高速传输,这本白皮书将提供一个概述,并且比较各种不同的选项。
从10GbE到40/100GbE
从40/100GbE开始,IEEE802.3ba标准在2010年7月17日获得了高速任务小组的批准。最初的项目授权要求(PAR)是基于如下参数得到批准的,并在斜体字部分作了显著的修改:
在底版上传1米(40GBASE-KR4)
在铜缆上传送(40GBASE-CR4/40GBAE-CR10)从10米减至7米*
在OM3上传100米(40GBASE-SR4/100GBASE-SR10
在OM4上传150米(40GBASE-SR4/100GBASE-SR10)**
在单模光纤上传10公里40GBASE-LR4/100GBASE-LR10
在单模光纤上传40公里100GBASE-ER4
*在任务小组的标准开发过程中,对最初的PAR作了一些修改。双芯同轴的CR4/CR10距离被减至7m。
**在标准开发过程中,一种新的光纤规格,即OM4被定义了。根据TIA-492AAAD和ISO11801:2002 Amendment 2,OM4增加的带宽允许把支持距离扩展到150m。由于40/100GbE标准是新的,OM4已被包含在内。但是对于10GBASE-SR/SX应用,基于IEEE传输距离的扩展需要对802.3an标准作一个修订版。
更高速的光纤传输
当升迁至40/100GbE,在主干和水平多模应用中最重要的区别是光纤芯数的不同。40GBASE-SR4使用4芯来传送和接受,共需8芯。100GBASE-SR10使用10芯来传送和接受,共需20芯。SMF还是保持2芯应用,虽然光纤相对便宜,但是SMF的光电设备却可能贵上10倍。在数据中心和主干,有可能会需要8芯或20芯光纤。然而,如果这些光纤芯数采用了不同的路径从一端到另一端,则可能会引起延迟偏移并导致比特误差。因为这个原因,40/100GbE标准要求采用预端接光纤,并采用MPO或者MTP®多芯光纤接头。在这种情况下,所有的芯数会是相同的长度。参考"paralleloptics," 这种结构将使延迟偏差减至最小,允许接受端的每芯光纤都可以同时接受到信息。
MPO(Multi-fiberpush-on)和MTP(MechanicalTransferPush-on)是以12芯或者24芯的结构用在预端接光缆的两端。MTP设计是性能更好的MPO。有专利的MTP接头更加坚固,椭圆形,不锈钢排成一列的针的末端改善插入指导,并减少引导孔的磨损。MTP接头还提供一个浮动的金属箍来保持外加负载时的物理接触,改善了机械性能。MPO/MTP预端接主干缆同样也支持10GBASE-SR/SX的2芯应用。在这种情况下,预端接主干缆连至模块和/或者扇出跳线,这里把多芯光纤分成2芯的接头(通常是LC或者SC)。
高速光纤结构的第二个不同是极性。对于像10GbE这样的2芯应用,管理极性是非常简单的,只需在信道的某个地方做一个反转(即从发送到接受)。因为此时信道是由单芯组成的。在12芯一组的预端接光缆,标准中有三种建议的极性。
A两端一样两端一样某一端的极性反转
B两端一样某一端的极性反转两端一样
C某一端的极性反转两端一样两端一样
如上所述,当2芯应用迁移到多芯平行应用时,非常重要的一点是必须保证选用正确的极性以支持更高的应用。所有的极性方式都应该可以从2芯应用转换到12芯应用。
还有一点值得注意的是这些极性方式是标准建议的,而不是强制的。但是有一条强制规定:一个极性方式的建立和维护必须贯穿所有的光纤信道,使得每一芯的传送信号都能到达另一端的接受信号。这个规则适用于所有情况,包括多芯传送模式。
高速InfiniBand(IB)
以太网也不是唯一使用平行传输的应用。InfiniBandT是一个工业标准的协议,用于连接高性能计算集群到服务器,交换机,存储和嵌入式系统。根据2010年11月6号由Infinband同业协会发布的公告,“InfiniBand代表了前500个超级计算机中超过43%的系统。InfiniBand连接在前100中占据61%,在前200中占据了58%,在前300中占据了51%。”InfiniBand的低延迟,高品质服务,fabric架构网络使得交换机,点对点信道的数据传输能通过铜缆和光纤连接达到120Gb/s。InfiniBand同业协会做了互操作性测试,并在综合列表中提供了数百个产品的清单。
在直连结构中允许主机总线适配器(HBA)与目标通道适配器(TCA)直接通讯,实质上是扩展了服务器或者存储设备的总线并创建了低延迟的吞吐量。虽然InfiniBand以SDR,DDR和QDR的数据传输速率运行在传统的CX4或8470铜缆和光纤组件上,它采用了类似多通道通讯的QSFP连接器的40/100GbE连接机制。InfiniBand当前支持多种接口,在通道上操作,每个通道等于两股导线(一个传输,一个接收)。
MPO/MTP主干缆可以被连至当地的InfiniBand接口或者混合集成的缆线上。目前的InfiniBand规范定义了三种数据传输速率。2.5Gbit/通道的单数据速率(SDR),5Gbit/通道的双倍数据速率(DDR),以及10Gbit/通道的四倍数据率(QDR)。由于编码,实际数据传输速率的吞吐量小于设定值。例如,接口采用8/10位编码,每10位能传输8位数据,剩下的2位是用来编码的,这比Ethernet overhead所要求的位数已经显著变少了。预计将在2011年发布两个新的InfiniBand规格,即十四倍数据传输速率(FDR)和增强数据速率(EDR)。
更高速的Fibre Channel(FC)
FibreChannel是高速传输的另一个协议,并已变成企业数据中心中存储区域网络(SAN)的标准。Fibre Channel同样也有铜的接口。Fibre Channel和较新的允许使用以太网来传输的Fibre Channel over Ethernet (FCoE),已在存储中占据了主导地位。由国际信息技术标准委员会(INCITS)开发的标准,包括了存储、处理、转换、显示、管理组织和信息检索。自1970年以来,在INCITS里的技术委员会T11负责Fibre Channel的接口。FCoE是在2009年6月3日正式获得批准的。
传统上,服务器使用不同的适配器来处理存储和网络流量-主机总线适配器(HBA)运送存储流量,网络接口卡(NICs)处理局域网流量。对FCoE有一种混合的适配器,一个端口担当Fibre Channel HBA接受Fibre Channel的连接,另一个端口用于以太网。在FCoE,其以太网接口与传统的铜和光的以太网接口一样。
新的汇聚网络适配器(CNA)只需要单个的端口就能同时支持存储和网络流量。使用服务器汇聚网络适配器CNAs将减少所需的服务器适配器数量,因此就减少了I/O线缆的数量,和交换机端口的数量。这个构造减少了硬件资源,简化了服务器I/O配置,降低了电力消耗,并降低了总拥有成本。
FibreChannel的拓扑结构包括点对点,即用一根线缆组件连接两个设备,并支持以下距离:
不同类别线缆的支持速度和距离
类型 速度 距离
OM2 1Gb/s 500m/1,640’
OM3 1Gb/s 500m/1,640’
OM2 2Gb/s 300m/900’
OM3 2Gb/s 500m/1,640’
OM2 4Gb/s 150m/492’
OM3 4Gb/s 270m/886’
OM2 8Gb/s 50m/1,64’
OM3 8Gb/s 150m/492’
Twinaxcopper 8Gb/s 15mmax’
第二种FibreChannel拓扑结构,是仲裁环路(FC-AL),可支持多达127个设备。但是更通用地,是Fibre Channel的第三种拓扑结构is deployed in a switched fabric。Fibre Channel Switched fabrics(FC-SW)随着存储虚拟化的增长而变得流行。一个switched fabric结构包含一个大型安装中的ToR或者EoR的光通道交换,和一个基于机箱中央交换的SAN Director。
速度增至8Gb/s的Fibre Channel正在开发中,另外更快速的16Gb/s技术也有望在2011年发布。最近发布的16GFC(16 Giga bit Fibre Channel)是向下兼容的,并在连接传统设备时会自适应向下到4/8GFC。
选择铜或光的Fibre Channel连接通常依赖于所需的速度、支持的长度和成本。当地的16GFC可在OM3光纤上运行100m以上,OM4光纤上运行125m。更长的距离可通过单模光纤来支持。SAN directors产生了密集环境。
Fibre Channel同样支持直连的SFP+双芯铜轴组件,可为短链路应用提供低功耗、有成本效益的选择。这些高速互连线缆将主要用于ToR柜顶交换机应用中。
支持10Gb/s,40Gb/s,100Gb/s和FibreChannel应用的高速互联(HSI)铜缆跳线
2004年颁布的第一个支持万兆以太网的铜缆接口是针对10GBASE-CX4(IEEE802.3ak)应用而开发的。该接口符合X2,Xenpack和XPack多源协议(MSAs是相互竞争的制造商之间标准化一种接口形式的多源协议)。SFF-8470标准定义了这个屏蔽四通道铜接头的物理要求。作为一个无源组件,SFF-8470/CX4电缆可达到15米。它支持万兆以太网、InfiniBand,FibreChannel和FCoE。还支持I/O功能的其他串行传输,如SATA(串行高级技术附加装置),SAS(串行连接SCSI)和RapidIO。这些跳线使用的Twinax双轴电缆,由屏蔽编织网整体包裹的两根内导体构成。双轴电缆通常用于短距离高速互连,通过精确的焊接工艺在工厂完成端接,并提供定制长度。双轴电缆导体的线径通常从支持短距离的30AWG(标称外径6.1毫米)到长距离的24AWG(标称外径11.0毫米)。
由于其低延迟,这些跳线多用于超级计算集群,高性能计算和存储。作为802.3ba 40GbE/100GbE标准的一部分,多通道40GBASE-CR4和100GBASE-CR10也已被定义。按照规定,使用4和10通道的双轴电缆跳线,可以在7米的距离上实现40和100GbE速率。
高速互连有源光缆跳线(AOC)
由于点对点直连结构中的距离限制,在ToR交换机中通常会出现端口超额认购,在一个机柜中能支持的设备数量会受到电力和制冷的条件限制。为了在一列或者数据中心中增加交换机的端口使用率,有源光缆跳线(AOC)得到了开发。美国西蒙的MorayT线缆组件采用标准的小型QSFP+连接头,每个接头上均包含了四芯单模光纤的光电转换收发器,每一芯能支持10Gb/s速率,每根跳线能支持40Gb/s。Moray AOC能支持到4,000米(12,960英尺),其标准长度可达300米,用户定制长度可达4,000米。该跳线能支持InfiniBand,以太网,Fibre Channel和其他应用。
设计考虑
对每一种技术的评估应建立在互操作性、应用效益、未来可扩展性、维护成本和每端口总传输成本的基础上。这种分析应包括跳线、交换机端口和服务器或存储设备的网络接口卡的成本。虽然TOR解决方案具有低延迟,可降低水平铜缆成本的特点,但由于其电子设备的昂贵成本以及因此带来的高维护费用,大多数情况下,他们仅被运用在数据中心的某些特殊应用领域。考虑到特制跳线和有源设备的高成本,大部分数据中心仍考虑安装支持10GBASE–T的布线系统。英特尔在2011年初供货的集成10GBASE-T芯片的主板,大幅度降低了电能消耗。
节能型以太网(IEEE802.3az)将在不久的将来进一步降低10GBASE-T端口的功耗,其原理是将闲置的端口设为“睡眠”模式(低功耗模式),从而降低每端口的净功耗。
在数据中心应用中,传统的铜缆信道被用于监控、集中式KVM和设备管理。而新的国际标准ISO24764和即将颁布的TIA942-A则建议在数据中心中安装6A类/EA级铜缆布线来支持10GBASE-T,在主干中应该使用预端接光纤MPO/MTP连接来支持未来的40/100GbE应用升级。直连跳线将根据不同应用的距离限制被用于单个机柜内或机柜列内。通过采用支持10GBASE-T的“集中式”布线设计,可以避免端口超配及昂贵的移动,增加和变化。同样,服务器若使用集成了10GBASE-T端口的主板就可以节省额外的网卡成本。另外非常重要的一点是,对于SFP,SFP+和CX4模块,由于它们本身属于收发器模块,其质保期一般只有90天,与此相对应的交换机的端口有一年的质保期,而结构化布线系统一般至少承诺20年质保期。
通过利用不同的铜缆和光缆选项,可以设计一个强壮的、可升级的、灵活高效的数据中心来满足现在和未来的需求。美国西蒙提供最广泛的铜缆和光缆高速互连跳线、各种级别的线缆和线缆管理解决方案。想要了解更多的有关西蒙互连解决方案(SIS),可访问www.siemon.com/sis。想要了解更多的有关西蒙铜缆、光缆以及管理解决方案,包括Zero-U配线的VersaPOD数据中心机柜解决方案,可以访问www.siemon.com/us/versapod/。
查询进一步信息,请访问http://www.siemon.com.cn/wp.php。