说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

AWS副总裁谈数据中心网络打造

HTML文档下载 WORD文档下载 PDF文档下载
在AWS re:Invent 2014上,AWS副总裁兼杰出工程师James Hamilton分享了该公司在网络攻坚上所做的努力。James表示,通过SR-IOV和定制设备,在内部可用区域流量上,AWS已经可以达到每秒25TB的吞吐量。

在拉斯维加斯的AWS re:Invent 2014上,公有云巨头详述了该公司在数据中心网络上所做的努力。James Hamilton,AWS的副总裁兼杰出工程师,在演讲中详细分享了该公司在网络上的实践,涉及到的内容还有数据中心和数据库。

类似电信公司和其他基础设施重度用户,该公司同样认为网络设备开销已经超出各个机构的承受范围,为此,Amazon开启了网络设备的研发之路:他们从原始设计制造商购买路由设备,随后搭载定制的网络协议软件从而获得更高的效率。


Hamilton表示,为了让该网络设备可以支撑大量流量,Amazon做了大量的测试。Hamilton补充说,在测试环境中,该公司使用了大约8000台服务器;同时,鉴于测试是在云中完成,在测试结束后,他们可以立刻关闭这些服务器,因此测试成本可以从数百万降至数十万。

Amazon使用专用光纤连通了全球11个region(每个region都拥有数个数据中心),从而保证了服务在世界范围内的网络连通性,也避免了一些潜在的问题和故障。


Hamilton分享到,在内部可用区域流量上,AWS已经可以达到每秒25TB的吞吐量。


Hamilton表示,Region中的每个可用区域都包含了两个或以上的数据中心,每个数据中心大约有50000到80000台服务器。Hamilton认为,从规模上看,Amazon数据中心可能会小于其他机构,然而别忘记了,数据中心执行效率是受到机架数量限制的;同时,当灾难发生时,Amazon的多地域灾难备份会将损害降到最低。


同时,Amazon在SR-IOV上也深有研究。Hamilton表示,给虚拟网卡搭载这种SDN技术(SR-IOV)可以让每个客户都获得自己的“网卡”。Hamilton补充到,这一点的实现并不容易,因为如果这样做的话,机构必须在DDoS和网络容量限制上投入更多的精力,好在是Amazon实现了,而客户们也一直享受着AWS带来的低延时。

通过虚拟化和定制设备,Amazon切实地降低了网络、存储和服务器的开销。

原文链接: Amazon details how it does networking in its data centers(编译/仲浩 审校/魏伟)

CSDN诚邀您参加中国大数据有奖大调查活动,只需回答23个问题就有机会获得最高价值2700元的大奖(共10个), 速度参与进来吧!

第八届中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)将于2014年12月12日-14日在北京新云南皇冠假日酒店召开。传承自2008年,历经七届沉淀,“中国大数据技术大会”是目前国内最具影响、规模最大的大数据领域技术盛会。本届会议,你不仅可以了解到Apache Hadoop提交者Uma Maheswara Rao G(兼项目管理委员会成员)、Yi Liu,以及Apache Hadoop和Tez项目管理委员会成员Bikas Saha等分享的通用大数据开源项目的最新成果和发展趋势,还将斩获来自腾讯、阿里、Cloudera、LinkedIn、网易等机构的数十场干货分享。 门票限时折扣中, 预购从速。


免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Impala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。

备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘