说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

覆盖全领域:Google、Facebook、Twitter等大师的最佳推荐

HTML文档下载 WORD文档下载 PDF文档下载
每个公司都会针对自己使用场景做合适的设计,然而总有一些万变不离其宗的思想;比如:让应用程序保持简单、让所有事情自动化、重做你的解决方案、在适当的地方使用缓存、根据场景在数据的一致性和可用性之间做取舍。

Dodgy Coder发布了一篇关于高访问量公司扩展经验的总结文章,内容主要是High Scalability Blog上关于Google、YouTube、Twitter、Amazon、Ebay、Facebook和Instagram博文的摘取。

在具体看每个公司之前,先看一下这7个公司中的通用思想

  • 让应用程序保持简单——在扩展过程中、复杂性总会一直出现。
  • 让所有事情都自动化——包括灾难恢复。
  • 重做你的解决方案——在你准备好将其扩展到下一个等级时,你必须做好丢弃一个工作组件的准备。
  • 在适当的地方使用缓存。
  • 根据场景,在数据的一致性和可用性之间做取舍。

下面来分别看一下7个领域中大师级公司的优秀建议:

一、  Google

可靠的存储(Reliable Storage)

可靠、可扩展的存储基本上是任何应用程序的核心。GFS(Google File System)是Google的核心存储平台——它是一个大型分布式结构化的日志文件系统,Google在其中投放了大量的数据。然而为什么会自建系统,而不是使用其它已有的产品,其主要原因是Google需要对系统持有绝对的掌控力,同时这个平台也是Google与其它机构的区别之处。对GFS,他们的评价是:实现跨数据中心的高可靠性处理、具备扩展到上万个节点的能力、提供巨大的读写带宽、支持以G为单位的大数据块处理以及使用降低瓶颈发生的高效跨节点操作分发技术。

基础设施即竞争优势

Google可以释放出更快、更便宜,并且在规模上罕有匹敌的新互联网服务。许多公司与Google的想法并不相同,他们把基础设施的赡养看作是一笔负担。每个机构都使用完全不同的技术,并且缺少系统建设的计划和共识。

在平台的基础上构建应用程序

平台解决方案有一个经常被忽略的优势就是初级开发者就具备快速建立强健应用程序的能力。如果每个项目都需要建立分布式基础设施,那么你很快将会陷入困境,因为懂得这么去做的开发者非常少。协同效应并不总是空谈,从整个系统上着眼改善,可以帮助到建立在这个系统上的所有应用程序或项目。比如:改善了文件系统就可以让所有项目都立即和清晰地获益。如果每个项目都使用不同的文件系统,那么在整个堆栈上的改进将不会带来持续不断的增益。

自动化和恢复

建立订制的管理系统,让工作不需要停机进行。这样允许你更容易的进行以下操作:平衡服务器间的资源使用、动态的添加性能、将机器移除以及从容的处理更新。

建立一个Darwinian版的基础设施

并行地执行一个耗时(CPU绑定的)操作,并取优胜者。这尤其适合在CPU富余而IO不足的情况。

不要忽视学术

学术中有很多很棒的思想并没有产品化,你现在看到Google所做的事情只是在已完成技术上的部署,这些“顶尖”的技术在很早以前就已经被研发。

聚焦数据压缩

当由许多机器组成的大型集群受限于IO时,压缩不失为一良策。

二、  YouTube

越简单越好

寻找问题领域的最简解决方案。这里存在许多复杂的问题,但是选择解决方案的首要前提就是不能复杂。随着时间的发展,复杂性会一直存在,而最简单和最松散的解决方案是始终适用的。这样做的原因是保持解决问题的灵活性,反之你则会把自己逼入角落。你将会失去对程序的控制,同样当你试图解决时,问题将变的越来越复杂,你会变得无路可走。

欺骗:知晓如何在数据上作假

最快的函数调用就是根本上没有发生。当你需要做一个持续增加的计数器时,比如说一个浏览计数,你需要为每次的更改做数据库调用。或者你可以每隔一段的时间做一次调用,或者是一个随机数量做更改——但是人们可能就会认为它是实时显示的。你必须要知道如何在数据上作假。

抖动(Jitter)

如果你的系统不存在抖动,将会因为用户在同一时间对同一个资源进行请求产生Thundering Herd(“惊群效应”)。对于一个流行的视频,YouTube会尽可能的为其做缓冲。最流行的视频可能会缓冲24小时。如果所有缓存同时到期,将会造成上面所说的Thundering Herd。通过抖动,你可以设置随机的时间(18-30小时)。这将阻止事情在同一个时间发生,并且保证很长时间内请求的顺利完成。

近似的正确

用户所见就是你系统的状态。如果用户看不到你系统中存在的偏移和不一致,那么这些问题从本质上来说根本“不存在”。如果你正在一个页面上发布评论,而这时候某些用户刚好打开了这个页面,那么这些用户在半秒内可能根本看不到你的评论,然而那些阅读这个页面的用户根本不会在意这个事情。这种情况就允许你稍微的进行“作弊”,因为你的评论并没有达到全局一致性。如果真的去做这个全局上的一致性,那将会投入大量的开销,同样也是牛刀杀鸡——因为你并不是在做金融系统,所以你可以作弊。

三、 Twitter

实现一个API

Twitter的API Traffic是Twitter网站的10倍,API的使用是Twitter增长他们用例的最重要手段。保持服务的简单,允许用户在各自基础设施上建立服务,并且提出比Twitter能想到的更好应用程序思想。所谓众人拾柴火焰高,集思广益才能做更好的创新。所以开源你的应用程序,并且让其保持简单,这样就可以和其他人的应用程序进行整合。

使用你清楚的东西

Twitter使用了一堆消息传送。对用户发布的消息进行排队,然后分发给指定的用户。Twitter最主要的功能就是扮演消息传递的桥梁,架起不同格式(SMS、Web、IM等等)之间的消息传送。在后台同步发送消息去清除朋友的缓存,而不是单独的进行。Twitter开发者对Ruby最为熟悉,所以他们抛弃DRb转至Starling(一个Ruby编写的分布式队列系统)。分布式队列系统将队列写入磁盘,以防止系统崩溃。以Twitter的经验,大部分的性能提升不是语言的选择而是应用程序的设计。

知道何时进行缓存以及缓存什么

举个例子,获得你朋友的状态是很复杂的,包括了安全等多个隐患。所以,取代对数据库进行查询,朋友的状态将会被放入缓存。永远都不会接触到数据库。90%的请求都是API请求,所以他们在前端基本上不做任何页面缓存。因为Twitter的页面都对时间敏感,这样做(缓存页面)没有任何好处。

四、 Amazon

使用SOA

Amazon的架构都是松耦合的,并且围绕着服务建立。一个面向服务的体系结构(SOA),基于他们可以快速及独立的建立软件的多个组件,允许他们更快的向市场上投放。Amazon.com Web页就是一个类似的应用程序服务器。这样的话这个应用程序同时服务了网络服务接口、用户服务应用程序以及卖方接口。

使用API打造你的系统,你将围绕你的应用程序建立起一整套的生态系统。围绕着服务展开将给你更高的灵活性——你可以并行的进行操作,因为所有的输出都是一项服务。禁止客户端直接对数据库进行访问,因为不会涉及到客户端,所以你的服务将拥有更好的扩展性和可靠性。这点很像谷歌的改变某个组件让建立在整个系统或平台上的应用程序都获益。

根据场景在数据的一致性和数据的可用性之间做取舍

既然扩展你就必须做分片,所以你必须为特定的系统做高一致性或者高可用性的选择。你必须发现有效性和一致性上的重叠部分,根据服务的需求选择一个合适的方案。举个结账系统的用例:你总是希望将请求作为购物车的添加项,因为它产生了收入。在这个用例中,你就选择了高可用性。错误就隐藏在了客户方面,并且由其提出:当客户进行提交时,你必须对一致性进行重点对待,因为不同的服务(信用卡处理、运输、操作、报告)都将同时访问数据,并且每个都有各自数据一致性的需求。

拥抱失败

对失败抱平常心,它可能会经常出现,所以拥抱它。比如,使用一个快速重启和快速恢复方案。选用一个合适的数据传输,服务正常运行的几率将接近100%。建立一个自我修复、自我组织、无人值守类型的操作。

只用你需要的

让设计保持简单,确定设计中没有隐藏的需求及依赖性。将技术程度降到最低,你只需要一些解决问题的必须技术。确保这些技术不会带来更多的复杂性,慎重甚至是不选择一些特定的方法或者技术堆栈。有些地方他们使用jboss/java,但他们只选用Servlet,而不使用余下的几个J2EE框架。使用C++来处理请求,使用Perl/Mason来建立目录。

根据客户的反馈来指定决策

使用测量和客观的讨论去区分好坏。给客户一个切实的选择来测试哪个更好,并且通过这些测试制定决策。这点通常使用类似A/B测试和Web Analytics等技术实现。如果你产生决策上的问题,那么将其编码,让更多的人使用,从而清楚哪个选择才是你真正想要的。

扩展性即竞争优势

和Google一样,基础设施同样是Amazon竞争优势所在。他们可以简单的在原始服务上建立非常复杂的应用程序。他们可以独立的进行扩展操作,保持无与伦比的系统可用性,在不需要大规模的重配置下就可以快速的推出新服务。

五、 eBay

切分所有

如果你不能对其进行切分,那么你就不能对其进行扩展。通过功能和数据,将所有东西都切割成容易控制的组块。

异步所有

通过事件驱动队列和传输管道,连接起所有的组件。

拥抱失败

监视所有发生的事情,别间断服务——即使有些部分开始发生故障。最小化和控制依赖性,使用抽象的接口和虚拟化技术,组件中包含一个SLA,用户从SLA违规中恢复。自动化所有事情,组件需要自动的调整,而系统则需要自我调节和完善。

拥抱不一致

在需要使用CAP原理的地方挑选好每个特征,如果选择非分布式事务,不一致性可以通过操作顺序来最小化,通过异步恢复和调整实现最终一致性。

保存你所有的数据

数据驱动最佳的机遇、预测和推荐的发现,所以保存所有。清楚哪些数据是有权威的,哪些数据没有,进行不同的对待。

基础设施:给指定的工作分配合适的工具

需要最大化的使用每个资源:数据(内存)、处理(CPU)、时钟时间(延时)等。没有通吃的策略,区分规模对待。由商用、工业服务器共同组成。

六、 Facebook

扩展需要多次的迭代

解决方案通常是在工作的开始时提出,然而随着发展你必须对其进行修改——已经使用了一年的方案,以后可能不再适用。一个好的例子就是图片,Facebook现在(文章撰写时)每秒需要服务12亿张图片。第一代的思想就非常简单,没有考虑到扩展到如此规模,只注重功能上的实现。Uploader会将文件储存为NFS格式,而原数据将会保存在MySQL中。这个方案只用了3个月,但是这并不重要,在上市时间上他们赢得了巨大的竞争优势,同样功能上的特点比深思扩展方案来的更加重要。第二代则使用了不同的访问方式对其进行优化,鉴于较小的图片访问频度会比较高,所以对其使用了缓存,他们同样开始使用CDN(内容分发网络)。第三代则是一个overlay系统,让Facebook可以在原有的文件系统上使用BLOB存储。图片被存储到一个二进制的BLOB,因为你清楚BLOB中图片的字节偏移量,所以每张图片对磁盘只进行一次IO操作。

不要重复设计一个方案,让其保持简单

在你对系统进行横向扩展时,只使用你需要用到的。找到方案中需要重做的地方,进行优化,或者着手重新建立堆栈中需要修改的部分。Facebook花费了大把的时间去优化PHP,最终完成了HipHop的编写,完成了PHP到C++的转换,这为他们节省了大量的内存和CPU开销。然而你不需要从第一天就着手做这个事情,在完全重写一门语言之前你需要做的是聚焦产品的特性。

针对工作选用正确的工具,并且接受这个选择所带来的开销

如果你需要使用Python,并选择了它进行开发,但是必须要认识到这个选择是有开销的:通常是部署、监视、运营等方面。如果选择了一个面向服务的体系结构(SOA),你必须自己动手建立大部分所需的后端,这需要大把的时间。通过LAMP你可以省下许多开销,但是一旦你真的选择了LAMP堆栈,类似服务的配置以及监视将是随之要面对的问题。随着你对这个服务了解的加深,你必定会自费力气做重复的工作。

正确的公司文化

建立一个可以促进生产的内部环境,并根据需求不断的进行完善。在进行正确的编码和做出正确的产品之前,你首先需要定义正确的公司文化;没有一个正确的文化,公司将不会得到发展。

七、 Instagram

利用现有的云基础设施

不要去做重复的事情,你可以使用可靠并且得到证实的技术。Instagram在Amazon的EC2云计算基础设施上运行了100多个Ubuntu 11.04实例,他们同样还使用了Amazon ELB,其中包括3个NGINX实例以及自动的故障恢复(撰稿日期)。图片被储存在Amazon S3上,他们还使用了Amazon CloudFront作为他们的CDN,这么做可以有助于世界各地的图片加载时间。

异步的任务队列

当一个用户决定将Instagram上的图片分享到Twitter或者Facebook时,或者当他们需要给发布的图片发送一个实时的通告,他们把任务推送给开源的Gearman任务管理框架。使用异步队列意味着当“重载”在后台进行时,媒体上传可以快速完成。大约有200个工作者(Python编写)忙于任务队列的处理,处理服务中自己分割的份额。

推送通知

他们使用一个开源Apple Push Notification Service(APNS)提供者pyapns(基于Twisted),每天稳定的为Instagram解决10亿推送消息的任务。

实时的系统级监控

对于拥有100多个EC2实例的Instagram来说,对系统进行实时的全方位监控无疑是重中之重。他们使用Munin进行系统级监视,这个监视工具在系统任何操作超过正常范围时都会发出警报。他们开发了Munin的定制插件,基于Python-Munin之上,监视非系统级事件。他们使用Pingdom进行服务的外部监视,并且使用PagerDuty处理通知和事件。而Python的错误报告,他们使用Sentry,一个开源的Djngo应用。在任何给定的时间,他们可以实时的开始指令并得知系统中正在发生的错误。

选择性使用NoSQL技术(比如Redis)

Redis驱动了大部分的操作,活动、会话系统以及其它相关系统。Redis所有的数据都需要写入内存,所以他们在EC2上为Redis运行了几个Quadruple Extra-Large Memory实例,并且不定期给任何给定系统做跨Redis的分片。

原文链接: Scalability lessons from Google, YouTube, Twitter, Amazon, eBay, Facebook and Instagram  (编译/仲浩 审校/王旭东)

“  第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名!

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加!

IBM公布Softlayer中国业务落地时间表 推荐30款最佳的数据可视化工具 数据库迁移测试:选白盒还是黑盒? 东软发布首款英特尔架构企业级移动终端解决方案 英特尔与腾讯创立游戏创新实验室 推进RealSense技术 《近匠》系列沙龙之探寻绝密武器:移动跨平台开发 iOS走向开放:苹果新推iAd Workbench广告服务 腾讯薛伟:快速模型更新在精准广告推荐中的应用 微软Build2014第一天要点精华汇总(组图) Windows 8.1 Update 1五大改变:任务栏回归,增强鼠标支持(图) 【十大院士】怀进鹏:全球的计算模式可能重新形成 微软Build2014第一天应了解的15件事 TypeScript1.0发布,完美支持Visual Studio系列产品 欲与Android展开价格战,微软宣布在移动设备上免费开放Windows 2014深圳英特尔信息技术峰会次日要点汇总 4月4日:微软39周岁,生日快乐! 正式进军硬件市场 Atlassian发布可穿戴设备Bitband 云计算时代IT专业人员需具备的10项技能 【走近院士】李德毅:大数据是连接虚拟和现实世界的桥梁 微软Build2014大会第二天干货总结 Microsoft Azure拥抱Puppet、Chef、MongoDB... 唏嘘不已!Brendan Eich上任Mozilla CEO仅十天即因歧视同性恋被迫辞职 最火HTML5 JavaScript游戏引擎:国外篇(一) Facebook发布PlanOut 开源部分A/B测试源码 一周消息树:6款Java转C#的最佳工具、Web开发者必备的9个软技能 对话“宙斯杯”获奖代表:依托京东云平台,打造精品电商CRM 关于微软开源WinJS,开发者必须知道的5件事 告别丑陋banner条,InMobi联合开发者尝试原生广告 免费游戏开发经验谈:第一印象很重要 《近匠》小旭音乐:游戏音乐金牌匠人的练级之路 日600亿消息,月4.65亿用户——WhatsApp的Erlang世界 一周热点:Cloudera新一轮融资总额已达9亿美元 memory fault--core dumped的问题 有谁知道怎么解win98的开机密码? 用 procedure 与 trigger 、database link 能完成吗? flowerofwind,rjcludy()请回答 COM中的一个怪问题:我将::CoUninitialize();去掉后程序不出错,添上出现非法操作,是啥问题??? 请问?????? 如何在程序中播放rm格式的文件??? edit怎么用啊? JB6盘中不含 Borland Enterprise Server AppServer5.0,各位快载一个上去吧! 如何改变显示的分辨率? 那里有c#编译器免费下载?谢谢 如何在vc中播放rm格式的文件??? 那位大侠知道怎么创建并使用一个变量,每次只让一个进程访问???给个例子吧,大大大 大 delphi中怎么编写中断,获取外部设备传来的信息?急救!! 数值模拟与计算仿真,高手请帮忙! 请问:dos下图形放大算法或思路?还有.........(高手请进) 求教!!!!SOS!! --请问如何将一个BMP图形文件转成JPG图形文件,高分请教师--- 高分给出,win98的怪问题! 打印统计问题 请教 : html的javascript 中报错:document.Form1.client_name.value不是对象 VC++里面如何从文本文件中一行一行读取文件? 请问,如何用mail函数批量发送邮件.多谢. 各位请教一下,Jsp 的服务resin在win2000下是怎样配置的 各位兄弟: 有谁知道 侯杰 的 <多线程程序设计> 什么时候才能买到??? 哪里有VFP3.0下载? system.ini和win.ini的作用 怎样生成安装包,多谢! 如何在两个不同的应用程序之间拖动文本字符 请问,PTSTR 和 PSTR 有什么不同? 反对上海电信变相涨价的行为。我能不能告中国电信“违约”和“欺诈”呢。 求救!误删Office2000注册表! 生成.exe出错 在Excel中,如何让某些行不能滚动? 在--成都--程序员能拿多少--¥--???? 换了17寸纯平显示器,开心,放分. 错装PB7,不能无create datawindows的图标,全是XX,为什么? 请问怎样遍历一个页面中服务器端的所有对象? 能否跟我说说——自动控制方面——与delphi编程的基本常识?我一直想了解,但不知道我们编的程序如何去跟那些硬件搞在一起而且控制硬件呢? 程序出错 发现一个不错的网站!www.ffboy.com 兩個Recordset之間數据轉入和轉出問題???. 高手請進......(一定給分) 大家推荐一下 ,win2k 下的 XML 编辑器。 请问男女之间存不存在真正的友情? 请教一下,怎样打印 java applet绘出的图形?,要用java 编写 高手请进!!!关于数据库 很菜的问题!字符串转化的问题? 最近运行D盘时,出来"找不到该路径..."的对话框,是什么原因? 指针数组定义的问题 我想截获tcp包,问从何下手,大鸟们 快来帮忙 远程数据传输问题:不同地域,不同系统间的数据传送有什么好方法? 急!!!(原谅我的无知) 江河中的水不停的流入大海,可是海洋里的水却不会溢出来,江河里的水也一直流不完,你知道这是什么原因吗 急…函数f(x)=x(x-1)(x-2)…(x-50)在x=0处的导数为答案是50! 高等数学求导应用 怎样理解法则 只有重力和弹力作用时,机械能守恒.这句话为什么不对 江河中的日夜不停地流入海洋.海洋中里的水却也总也不会溢出来,江河里的水也一直流不完.这是什么原因? 形容"月亮"应该用什么词?**的月亮?最好来个成语好吗?一楼的也太简单了吧... 只有重力和弹力作用时,机械能一定守恒.为什么 江河中的水流入海洋,海洋里的水为什么也不溢出来江河中的水日夜不停地流入海洋.海洋里的水却总也不溢出来,江河里的水也一直流不完.这是什么原因?我们能自己做出自己的解释吗? 用什么词来形容月亮 机械能守恒时,物体一定只受重力和弹力的作用!为什么错 求y=[(x-1)^2][(x+1)^3]绝对值的导数,注意是函数绝对值的导数 形容月光或者月光照在地上的词只限两字 最多不超出3个字 物体的机械能守恒,一定只受重力和弹力作用.请解释为什么错误 怎样形容月亮圆 关于月亮的修饰词今日遇到一个语文问题,就是按照例子填空,如直勾勾的盯着,来填写***的月亮, 判断:只有重力和弹力作用时,机械能才能守恒. 形容月亮圆的词有哪些啊就是指月亮很圆的 词 电荷的单位是库仑,1库仑相当于6.25乘于10的18次方个电子的电荷量,那么,一个电子所带的电量是多少? 外力只有重力和弹力做功,机械能守恒吗? 圆月怎么形容 一库仑的电荷量是多少电子的所带的电量 重力弹力均做功的条件下机械能守恒么 月亮圆的像什么,一个词语来形容.一个四字词语,要通顺. 一库仑为什么等于6.25×10 ^18=6250000000000000000个电子所带的电量? 机械能守恒为什么只有重力或弹力做功?弹力是只指弹簧的拉力吗?能讲一下为什么是重力或弹力这个条件而不是别的什么摩擦力啊什么的?讲的细致一点行吗?我的物理不是很好 形容月亮圆的成语 两个可导函数之商的求导公式是什么? 对数函数怎么求导 帮我构造一个函数嘛 要求f(x)大于等于0,f(x)一阶导数的绝对值大于等于1,定义域为R哦 数学函数求导基本公式 使水在水自然界日夜不停的循环的主要原因是什么是什么原因 一段金属导体(不闭合)垂直于匀强磁场作匀速运动时,导体中有没有电流?如果有,受不受安培力? 怎么形容九月 若函数在【-1,1】上连续,在(-1,1)上可导,且函数导数的绝对值小于等于M成立,y(0)=0.则必有,函数的绝对值小于等于M吗,为什么 导数是绝对值的原函数例如,导数为 |X| 原函数是什么? 求函数求导公式 设函数:f:R→R在R上二阶可导,并且满足f(x)的绝对值小于等于1,f(x)的二阶导数的绝对值小于等于1.求证,fx一阶导数必小于等于2 带绝对值导数如何求原函数 函数 求导法则函数商的求导法则 设函数:f:R→R在R上二阶可导,并且满足f(x)的绝对值小于等于1,f(x)的二阶导数的绝对值小于等于1.证 哪个函数的导数是(sinx)的绝对值 九月怎么形容 物理什么情况下重力等于安培力? 月亮升起的地方表达了什么 形容九月的词汇 【电磁炮】为什么安培力等于阻力时速度最大 怎么形容月亮. 形容九月的名词金秋十月,那么九月怎么形容? 为什么安培力做负功时等于产生的热量 小岛月亮升起的地方 表达什么感情 形容9月的句子有哪些啊 安培力什么时候不做功?怎么有的题明明有安培力却说:电阻R上产生的的热量等于金属棒重力势能的减少 【月亮升起的地方】诗歌表达了作者的什么感情 一个电子的电量是1.6×10-9 C,那多少个电子的电量为1库仑呢? 请问江河中的水日夜不停地流入海洋,海洋里的水却总也不会溢出来,江河里的水也一直流不完,这是什么原因? 焦耳怎样转换成公斤的 高数积分求导公式在哪章有 证明:如果函数f(x)在[a,b]上可导,且(f(x)导数的绝对值)小于等于M,则,[(f(b)-f(a))的绝对值 ...证明:如果函数f(x)在[a,b]上可导,且(f(x)导数的绝对值)小于等于M,则,[(f(b)-f(a))的绝对值 焦耳每平方毫米怎么转换成千焦耳每平方毫米 高数 关于求导法则
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn