跳到主要内容
研究论文

可扩展的商品数据中心网络架构

出版:2008年8月17日出版历史
跳过抽象节

摘要

今天的数据中心可能包含数万台具有显著总带宽需求的计算机。网络体系结构通常由路由和交换元素树组成,其中越来越多的专用设备和昂贵设备在网络层次结构中向上移动。不幸的是,即使在部署最高端的IP交换机/路由器时,所产生的拓扑可能只支持网络边缘可用总带宽的50%,同时仍然会产生巨大的成本。数据中心节点之间的带宽不均匀使应用程序设计复杂化,并限制了总体系统性能。

在本文中,我们展示了如何利用大量商品化以太网交换机来支持由成千上万个元素组成的集群的全部聚合带宽。与商品计算机集群如何在很大程度上取代更专业的SMP和MPP类似,我们认为,适当架构和互连的商品交换机可以以比当今更高级解决方案更低的成本提供更高的性能。我们的方法不需要修改终端主机网络接口、操作系统或应用程序;关键的是,它与以太网、IP和TCP完全向后兼容。

工具书类

  1. 思科数据中心基础设施2.5设计指南。http://www.cisco.com/univercd/cc/td/doc/solution/dcidg21.pdf。谷歌学者谷歌学者
  2. InfiniBand架构规范第1卷,1.0版。http://www.infinibandta.org/specs。谷歌学者谷歌学者
  3. Juniper J流。http://www.juniper.net/techpubs/software/erx/junose61/swconfig-routing-vol1/html/ip-jflow-stats-config2.html。谷歌学者谷歌学者
  4. Sun数据中心交换机3456体系结构白皮书。http://www.sun.com/products/networking/datacenter/ds3456/ds3456_wp.pdf。谷歌学者谷歌学者
  5. M.Blumrich、D.Chen、P.Coteus、A.Gara、M.Giampapa、P.Heidelberger、S.Singh、B.Steinmacher-Burow、T.Takken和P.Vranas。BlueGene/L环面互连网络的设计与分析。IBM研究报告RC23025(W0312--022),2003年3月。谷歌学者谷歌学者
  6. N.Boden、D.Cohen、R.Felderman、A.Kulawik、C.Seitz和J.Seizovic。《Myrinet:A Gigabit-per-second局域网》,《Micro》,IEEE,15(1),1995年。谷歌学者谷歌学者数字图书馆数字图书馆
  7. S.Brin和L.Page。大型超文本Web搜索引擎剖析。计算机网络和ISDN系统,30(1-7),1998年。谷歌学者谷歌学者数字图书馆数字图书馆
  8. R.Cheveresan、M.Ramsay、C.Feucht和I.Sharapov。高性能和技术计算中使用的工作负载的特性。在2007年超级计算国际会议上。谷歌学者谷歌学者数字图书馆数字图书馆
  9. L.Chisvin和R.J.Duckworth。内容寻址和关联存储器:无所不在RAM的替代品。计算机,22(7):51-641989。谷歌学者谷歌学者数字图书馆数字图书馆
  10. B.克莱斯。Cisco Systems NetFlow Services导出版本9。RFC 3954,互联网工程特别工作组,2004年。谷歌学者谷歌学者
  11. C.闭合。非阻塞交换网络的研究。贝尔系统技术期刊,32(2),1953年。谷歌学者谷歌学者
  12. J.Dean和S.Ghemawat。MapReduce:简化大型集群上的数据处理。USENIX操作系统设计与实现研讨会,2004年。谷歌学者谷歌学者数字图书馆数字图书馆
  13. G.DeCandia、D.Hastorun、M.Jampani、G.Kakulapati、A.Lakshman、A.Pilchin、S.Sivasubramanian、P.Vosshall和W.Vogels。迪纳摩:亚马逊的高可用性键值商店。2007年ACM操作系统原理研讨会。谷歌学者谷歌学者数字图书馆数字图书馆
  14. A.B.唐尼。互联网上长期分销的证据。ACM SIGCOMM互联网测量研讨会,2001年。谷歌学者谷歌学者数字图书馆数字图书馆
  15. W.Eatherton、G.Varghese和Z.Dittia。树位图:具有增量更新的硬件/软件IP查找。SIGCOMM计算机通信评论,34(2):97-1222004。谷歌学者谷歌学者数字图书馆数字图书馆
  16. S.B.Fred、T.Bonald、A.Proutiere、G.Régnié和J.W.Roberts。统计带宽共享:流级拥塞研究。SIGCOMM计算机通信评论,2001年。谷歌学者谷歌学者数字图书馆数字图书馆
  17. M.R.Garey和D.S.Johnson。计算机与不可纠正性:NP-完备性理论指南。W.H.Freeman,1979年。谷歌学者谷歌学者数字图书馆数字图书馆
  18. S.Ghemawat、H.Gobioff和S.-T.Leung。谷歌文件系统。ACM SIGOPS操作系统评论,37(5),2003年。谷歌学者谷歌学者数字图书馆数字图书馆
  19. C.跳跃。一种等成本多路径算法的分析。RFC 2992,互联网工程特别工作组,2000年。谷歌学者谷歌学者数字图书馆数字图书馆
  20. D.Katz和D.Ward。IPv4和IPv6的BFD(单跳)(草案)。技术报告,互联网工程特别工作组,2008年。谷歌学者谷歌学者
  21. E.Kohler、R.Morris、B.Chen、J.Jannotti和M.Kaashoek。Click模块化路由器。《美国计算机学会计算机系统学报》,18(3),2000年。谷歌学者谷歌学者数字图书馆数字图书馆
  22. C.Leiserson、Z.Abuhamdeh、D.Douglas、C.Feynman、M.Ganmukhi、J.Hill、D.Hillis、B.Kuszmaul、M.Pierre、D.Wells等人,《连接机CM-5的网络架构》(扩展摘要)。ACM并行算法和体系结构研讨会,1992年。谷歌学者谷歌学者数字图书馆数字图书馆
  23. C.E.Leiserson。脂肪树:硬件高效超级计算的通用网络。IEEE计算机汇刊,34(10):892--9011985。谷歌学者谷歌学者数字图书馆数字图书馆
  24. J.Lockwood、N.McKeown、G.Watson、G.Gibb、P.Hartke、J.Naous、R.Raghuraman和J.Luo。NetFPGA—千兆网络交换和路由的开放平台。2007年IEEE微电子系统教育国际会议。谷歌学者谷歌学者数字图书馆数字图书馆
  25. J.莫伊。OSPF版本2。RFC 2328,互联网工程特别工作组,1998年。谷歌学者谷歌学者
  26. F.Schmuck和R.Haskin。GPFS:大型计算集群的共享磁盘文件系统。在2002年USENIX文件和存储技术会议上。谷歌学者谷歌学者数字图书馆数字图书馆
  27. L.R.Scott、T.Clark和B.Bagheri。科学并行计算。普林斯顿大学出版社,2005年。谷歌学者谷歌学者数字图书馆数字图书馆
  28. SGI开发人员中心开源Linux XFS。XFS:高性能日志文件系统。http://oss.sgi.com/projects/xfs/。谷歌学者谷歌学者
  29. V.Srinivasan和G.Varghese。使用受控前缀扩展实现更快的IP查找。美国计算机学会计算机系统汇刊(TOCS),17(1):1-401999。谷歌学者谷歌学者数字图书馆数字图书馆
  30. D.Thaler和C.Hopps。单播和多播下一站选择中的多径问题。RFC 2991,互联网工程任务组,2000年。谷歌学者谷歌学者数字图书馆数字图书馆
  31. L.Tucker和G.Robertson。连接机的体系结构和应用。计算机,21(8),1988年。谷歌学者谷歌学者数字图书馆数字图书馆
  32. J.Vetter、S.Alam、J.Dunigan、T.H.、M.Fahey、P.Roth和P.Worley。Cray XT3的早期评估。在2006年IEEE国际并行和分布式处理研讨会上。谷歌学者谷歌学者数字图书馆数字图书馆
  33. M.Woodacre、D.Robb、D.Roe和K.Feind。SGI Altix 3000全球共享内存体系结构。SGI白皮书,2003年。谷歌学者谷歌学者

索引术语

  1. 可扩展的商品数据中心网络架构

      建议

      评论

      登录选项

      检查您是否可以通过登录凭据或您的机构访问本文。

      登录

      完全访问权限

      • 发布于

        封面图片ACM SIGCOMM计算机通信评论
        ACM SIGCOMM计算机通信审查 第38卷第4期
        2008年10月
        436页
        国际标准编号:0146-4833
        内政部:10.1145/1402946年
        期刊目录

        版权所有©2008 ACM

        如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人对本作品组成部分的版权。允许赊账提取。要以其他方式复制或重新发布,在服务器上发布或重新发布到列表,需要事先获得特定许可和/或付费。从请求权限[电子邮件保护]

        出版商

        计算机协会

        美国纽约州纽约市

        出版历史

        • 出版:2008年8月17日

        检查更新

        限定符

        • 研究论文

      PDF格式

      以PDF文件查看或下载。

      PDF格式

      电子阅读器

      使用eReader联机查看。

      电子阅读器