说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

覆盖全领域:Google、Facebook、Twitter等大师的最佳推荐

HTML文档下载 WORD文档下载 PDF文档下载
每个公司都会针对自己使用场景做合适的设计,然而总有一些万变不离其宗的思想;比如:让应用程序保持简单、让所有事情自动化、重做你的解决方案、在适当的地方使用缓存、根据场景在数据的一致性和可用性之间做取舍。

Dodgy Coder发布了一篇关于高访问量公司扩展经验的总结文章,内容主要是High Scalability Blog上关于Google、YouTube、Twitter、Amazon、Ebay、Facebook和Instagram博文的摘取。

在具体看每个公司之前,先看一下这7个公司中的通用思想

  • 让应用程序保持简单——在扩展过程中、复杂性总会一直出现。
  • 让所有事情都自动化——包括灾难恢复。
  • 重做你的解决方案——在你准备好将其扩展到下一个等级时,你必须做好丢弃一个工作组件的准备。
  • 在适当的地方使用缓存。
  • 根据场景,在数据的一致性和可用性之间做取舍。

下面来分别看一下7个领域中大师级公司的优秀建议:

一、  Google

可靠的存储(Reliable Storage)

可靠、可扩展的存储基本上是任何应用程序的核心。GFS(Google File System)是Google的核心存储平台——它是一个大型分布式结构化的日志文件系统,Google在其中投放了大量的数据。然而为什么会自建系统,而不是使用其它已有的产品,其主要原因是Google需要对系统持有绝对的掌控力,同时这个平台也是Google与其它机构的区别之处。对GFS,他们的评价是:实现跨数据中心的高可靠性处理、具备扩展到上万个节点的能力、提供巨大的读写带宽、支持以G为单位的大数据块处理以及使用降低瓶颈发生的高效跨节点操作分发技术。

基础设施即竞争优势

Google可以释放出更快、更便宜,并且在规模上罕有匹敌的新互联网服务。许多公司与Google的想法并不相同,他们把基础设施的赡养看作是一笔负担。每个机构都使用完全不同的技术,并且缺少系统建设的计划和共识。

在平台的基础上构建应用程序

平台解决方案有一个经常被忽略的优势就是初级开发者就具备快速建立强健应用程序的能力。如果每个项目都需要建立分布式基础设施,那么你很快将会陷入困境,因为懂得这么去做的开发者非常少。协同效应并不总是空谈,从整个系统上着眼改善,可以帮助到建立在这个系统上的所有应用程序或项目。比如:改善了文件系统就可以让所有项目都立即和清晰地获益。如果每个项目都使用不同的文件系统,那么在整个堆栈上的改进将不会带来持续不断的增益。

自动化和恢复

建立订制的管理系统,让工作不需要停机进行。这样允许你更容易的进行以下操作:平衡服务器间的资源使用、动态的添加性能、将机器移除以及从容的处理更新。

建立一个Darwinian版的基础设施

并行地执行一个耗时(CPU绑定的)操作,并取优胜者。这尤其适合在CPU富余而IO不足的情况。

不要忽视学术

学术中有很多很棒的思想并没有产品化,你现在看到Google所做的事情只是在已完成技术上的部署,这些“顶尖”的技术在很早以前就已经被研发。

聚焦数据压缩

当由许多机器组成的大型集群受限于IO时,压缩不失为一良策。

二、  YouTube

越简单越好

寻找问题领域的最简解决方案。这里存在许多复杂的问题,但是选择解决方案的首要前提就是不能复杂。随着时间的发展,复杂性会一直存在,而最简单和最松散的解决方案是始终适用的。这样做的原因是保持解决问题的灵活性,反之你则会把自己逼入角落。你将会失去对程序的控制,同样当你试图解决时,问题将变的越来越复杂,你会变得无路可走。

欺骗:知晓如何在数据上作假

最快的函数调用就是根本上没有发生。当你需要做一个持续增加的计数器时,比如说一个浏览计数,你需要为每次的更改做数据库调用。或者你可以每隔一段的时间做一次调用,或者是一个随机数量做更改——但是人们可能就会认为它是实时显示的。你必须要知道如何在数据上作假。

抖动(Jitter)

如果你的系统不存在抖动,将会因为用户在同一时间对同一个资源进行请求产生Thundering Herd(“惊群效应”)。对于一个流行的视频,YouTube会尽可能的为其做缓冲。最流行的视频可能会缓冲24小时。如果所有缓存同时到期,将会造成上面所说的Thundering Herd。通过抖动,你可以设置随机的时间(18-30小时)。这将阻止事情在同一个时间发生,并且保证很长时间内请求的顺利完成。

近似的正确

用户所见就是你系统的状态。如果用户看不到你系统中存在的偏移和不一致,那么这些问题从本质上来说根本“不存在”。如果你正在一个页面上发布评论,而这时候某些用户刚好打开了这个页面,那么这些用户在半秒内可能根本看不到你的评论,然而那些阅读这个页面的用户根本不会在意这个事情。这种情况就允许你稍微的进行“作弊”,因为你的评论并没有达到全局一致性。如果真的去做这个全局上的一致性,那将会投入大量的开销,同样也是牛刀杀鸡——因为你并不是在做金融系统,所以你可以作弊。

三、 Twitter

实现一个API

Twitter的API Traffic是Twitter网站的10倍,API的使用是Twitter增长他们用例的最重要手段。保持服务的简单,允许用户在各自基础设施上建立服务,并且提出比Twitter能想到的更好应用程序思想。所谓众人拾柴火焰高,集思广益才能做更好的创新。所以开源你的应用程序,并且让其保持简单,这样就可以和其他人的应用程序进行整合。

使用你清楚的东西

Twitter使用了一堆消息传送。对用户发布的消息进行排队,然后分发给指定的用户。Twitter最主要的功能就是扮演消息传递的桥梁,架起不同格式(SMS、Web、IM等等)之间的消息传送。在后台同步发送消息去清除朋友的缓存,而不是单独的进行。Twitter开发者对Ruby最为熟悉,所以他们抛弃DRb转至Starling(一个Ruby编写的分布式队列系统)。分布式队列系统将队列写入磁盘,以防止系统崩溃。以Twitter的经验,大部分的性能提升不是语言的选择而是应用程序的设计。

知道何时进行缓存以及缓存什么

举个例子,获得你朋友的状态是很复杂的,包括了安全等多个隐患。所以,取代对数据库进行查询,朋友的状态将会被放入缓存。永远都不会接触到数据库。90%的请求都是API请求,所以他们在前端基本上不做任何页面缓存。因为Twitter的页面都对时间敏感,这样做(缓存页面)没有任何好处。

四、 Amazon

使用SOA

Amazon的架构都是松耦合的,并且围绕着服务建立。一个面向服务的体系结构(SOA),基于他们可以快速及独立的建立软件的多个组件,允许他们更快的向市场上投放。Amazon.com Web页就是一个类似的应用程序服务器。这样的话这个应用程序同时服务了网络服务接口、用户服务应用程序以及卖方接口。

使用API打造你的系统,你将围绕你的应用程序建立起一整套的生态系统。围绕着服务展开将给你更高的灵活性——你可以并行的进行操作,因为所有的输出都是一项服务。禁止客户端直接对数据库进行访问,因为不会涉及到客户端,所以你的服务将拥有更好的扩展性和可靠性。这点很像谷歌的改变某个组件让建立在整个系统或平台上的应用程序都获益。

根据场景在数据的一致性和数据的可用性之间做取舍

既然扩展你就必须做分片,所以你必须为特定的系统做高一致性或者高可用性的选择。你必须发现有效性和一致性上的重叠部分,根据服务的需求选择一个合适的方案。举个结账系统的用例:你总是希望将请求作为购物车的添加项,因为它产生了收入。在这个用例中,你就选择了高可用性。错误就隐藏在了客户方面,并且由其提出:当客户进行提交时,你必须对一致性进行重点对待,因为不同的服务(信用卡处理、运输、操作、报告)都将同时访问数据,并且每个都有各自数据一致性的需求。

拥抱失败

对失败抱平常心,它可能会经常出现,所以拥抱它。比如,使用一个快速重启和快速恢复方案。选用一个合适的数据传输,服务正常运行的几率将接近100%。建立一个自我修复、自我组织、无人值守类型的操作。

只用你需要的

让设计保持简单,确定设计中没有隐藏的需求及依赖性。将技术程度降到最低,你只需要一些解决问题的必须技术。确保这些技术不会带来更多的复杂性,慎重甚至是不选择一些特定的方法或者技术堆栈。有些地方他们使用jboss/java,但他们只选用Servlet,而不使用余下的几个J2EE框架。使用C++来处理请求,使用Perl/Mason来建立目录。

根据客户的反馈来指定决策

使用测量和客观的讨论去区分好坏。给客户一个切实的选择来测试哪个更好,并且通过这些测试制定决策。这点通常使用类似A/B测试和Web Analytics等技术实现。如果你产生决策上的问题,那么将其编码,让更多的人使用,从而清楚哪个选择才是你真正想要的。

扩展性即竞争优势

和Google一样,基础设施同样是Amazon竞争优势所在。他们可以简单的在原始服务上建立非常复杂的应用程序。他们可以独立的进行扩展操作,保持无与伦比的系统可用性,在不需要大规模的重配置下就可以快速的推出新服务。

五、 eBay

切分所有

如果你不能对其进行切分,那么你就不能对其进行扩展。通过功能和数据,将所有东西都切割成容易控制的组块。

异步所有

通过事件驱动队列和传输管道,连接起所有的组件。

拥抱失败

监视所有发生的事情,别间断服务——即使有些部分开始发生故障。最小化和控制依赖性,使用抽象的接口和虚拟化技术,组件中包含一个SLA,用户从SLA违规中恢复。自动化所有事情,组件需要自动的调整,而系统则需要自我调节和完善。

拥抱不一致

在需要使用CAP原理的地方挑选好每个特征,如果选择非分布式事务,不一致性可以通过操作顺序来最小化,通过异步恢复和调整实现最终一致性。

保存你所有的数据

数据驱动最佳的机遇、预测和推荐的发现,所以保存所有。清楚哪些数据是有权威的,哪些数据没有,进行不同的对待。

基础设施:给指定的工作分配合适的工具

需要最大化的使用每个资源:数据(内存)、处理(CPU)、时钟时间(延时)等。没有通吃的策略,区分规模对待。由商用、工业服务器共同组成。

六、 Facebook

扩展需要多次的迭代

解决方案通常是在工作的开始时提出,然而随着发展你必须对其进行修改——已经使用了一年的方案,以后可能不再适用。一个好的例子就是图片,Facebook现在(文章撰写时)每秒需要服务12亿张图片。第一代的思想就非常简单,没有考虑到扩展到如此规模,只注重功能上的实现。Uploader会将文件储存为NFS格式,而原数据将会保存在MySQL中。这个方案只用了3个月,但是这并不重要,在上市时间上他们赢得了巨大的竞争优势,同样功能上的特点比深思扩展方案来的更加重要。第二代则使用了不同的访问方式对其进行优化,鉴于较小的图片访问频度会比较高,所以对其使用了缓存,他们同样开始使用CDN(内容分发网络)。第三代则是一个overlay系统,让Facebook可以在原有的文件系统上使用BLOB存储。图片被存储到一个二进制的BLOB,因为你清楚BLOB中图片的字节偏移量,所以每张图片对磁盘只进行一次IO操作。

不要重复设计一个方案,让其保持简单

在你对系统进行横向扩展时,只使用你需要用到的。找到方案中需要重做的地方,进行优化,或者着手重新建立堆栈中需要修改的部分。Facebook花费了大把的时间去优化PHP,最终完成了HipHop的编写,完成了PHP到C++的转换,这为他们节省了大量的内存和CPU开销。然而你不需要从第一天就着手做这个事情,在完全重写一门语言之前你需要做的是聚焦产品的特性。

针对工作选用正确的工具,并且接受这个选择所带来的开销

如果你需要使用Python,并选择了它进行开发,但是必须要认识到这个选择是有开销的:通常是部署、监视、运营等方面。如果选择了一个面向服务的体系结构(SOA),你必须自己动手建立大部分所需的后端,这需要大把的时间。通过LAMP你可以省下许多开销,但是一旦你真的选择了LAMP堆栈,类似服务的配置以及监视将是随之要面对的问题。随着你对这个服务了解的加深,你必定会自费力气做重复的工作。

正确的公司文化

建立一个可以促进生产的内部环境,并根据需求不断的进行完善。在进行正确的编码和做出正确的产品之前,你首先需要定义正确的公司文化;没有一个正确的文化,公司将不会得到发展。

七、 Instagram

利用现有的云基础设施

不要去做重复的事情,你可以使用可靠并且得到证实的技术。Instagram在Amazon的EC2云计算基础设施上运行了100多个Ubuntu 11.04实例,他们同样还使用了Amazon ELB,其中包括3个NGINX实例以及自动的故障恢复(撰稿日期)。图片被储存在Amazon S3上,他们还使用了Amazon CloudFront作为他们的CDN,这么做可以有助于世界各地的图片加载时间。

异步的任务队列

当一个用户决定将Instagram上的图片分享到Twitter或者Facebook时,或者当他们需要给发布的图片发送一个实时的通告,他们把任务推送给开源的Gearman任务管理框架。使用异步队列意味着当“重载”在后台进行时,媒体上传可以快速完成。大约有200个工作者(Python编写)忙于任务队列的处理,处理服务中自己分割的份额。

推送通知

他们使用一个开源Apple Push Notification Service(APNS)提供者pyapns(基于Twisted),每天稳定的为Instagram解决10亿推送消息的任务。

实时的系统级监控

对于拥有100多个EC2实例的Instagram来说,对系统进行实时的全方位监控无疑是重中之重。他们使用Munin进行系统级监视,这个监视工具在系统任何操作超过正常范围时都会发出警报。他们开发了Munin的定制插件,基于Python-Munin之上,监视非系统级事件。他们使用Pingdom进行服务的外部监视,并且使用PagerDuty处理通知和事件。而Python的错误报告,他们使用Sentry,一个开源的Djngo应用。在任何给定的时间,他们可以实时的开始指令并得知系统中正在发生的错误。

选择性使用NoSQL技术(比如Redis)

Redis驱动了大部分的操作,活动、会话系统以及其它相关系统。Redis所有的数据都需要写入内存,所以他们在EC2上为Redis运行了几个Quadruple Extra-Large Memory实例,并且不定期给任何给定系统做跨Redis的分片。

原文链接: Scalability lessons from Google, YouTube, Twitter, Amazon, eBay, Facebook and Instagram  (编译/仲浩 审校/王旭东)

“  第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名!

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加!

来自Sony Morpheus的开发灵感: 如何打造逼真的VR游戏? 如何像巫师那样隔空操作——聊聊迷你雷达的原理和应用 等你来战——IBM Cloudant数据库开发大赛火热开启! 《近匠》360加固保,应用安全攻防的核心实现 DEFCON黑客大会抢鲜看:你所不知道的黑客大对决 MDCC2015中国移动开发者大会启动 七场专题技术论坛公布 【CTO讲堂】如何构建高性能网络服务平台及生态系统? mysql备份数据库批处理 《近匠》Remix周哲,让Android运行在“电脑”上! TIOBE 2015年8月编程语言排行榜:Java第一,Objective-C跌出前五 Oculus PC SDK 0.7版即将发布,含新Direct Driver Mode 【CTO讲堂】NoSQL对未来大数据发展的意义何在? 从Java转向Go——AeroFS的一段奇妙之旅 谷歌重组建母公司Alphabet,新来的CEO Sandar Pichai是什么来头? 《近匠》专访AllSeen联盟主席薛国栋:从通讯层为物联网去中心化 Android性能优化典范(三) 杭州兆合陈洋:微气象大民生,气象微信平台研发探索 【探秘ES6】系列专栏(十):更深入了解生成器 【探秘ES6】系列专栏(十一):类语法 《近匠》专访Depth VR:浅析VR交互技术选型中的瓶颈与机遇 【CTO讲堂】将“简单快速”渗透到移动开发测试每个环节,从fir.im团队说起 全球开发者报告:Windows Phone已死,Windows 10长存 苹果官方博客:从SDK详说Swift代码的改变 Espresso实战:快速的Android UI自动化测试 《Java并发编程的艺术》作者方腾飞:感谢Java,带我一路前行! Crystal:一个类似于Ruby语法的编程语言 谁将是传统密码的终结者 专访民生银行:CPOS平台如何从线下布局移动支付 MathWorks程邺:机器人时代未来已来 Swift编程规范:保持代码优美的10个方法 中国第二届CSS开发者大会视频&PPT全部免费观看 为什么我不能给分? 如何实现网络定时传输文件??? 完了,完了,我彻底完蛋了! 我从网上下载的*.bin文件的电影怎么播放? 考水平考试的朋友请过来看。 刚收到111222的信~~~难过~~~我会想念他的~~~你们是不是也会~~~ 我的硬盘为何这样!help!! 考水平考试的朋友过来看看 我要毕业啊 ===============想知道111222去向的朋友,看这(独家披漏)===================== 以下SQL语言如何写? 111222走了~~送分~~~心里不好受~~~ 111222真的走了~~~~~~~~~~~ JBuilder中用MYSQL数据库,用中文进行条件查询时,查不出任和数据? ASM 菜鸟问题,请大家帮忙!谢谢 解释一下好了吗? ============答对我的问题者,将可获得111222的签名照片!!!!!!!!=========== 关于图片的上传 ======== 绝对好消息,activereport2.0已经release 了,cracker们出动啊~~~~~加油 ============= 关于什么才是真正的系统分析和系统分析员的讨论!——欢迎大家参加,进行善意地讨论!^&^ 今晚的球赛什么时候开始啊? 哪里有关于水平考试(高程)的模拟题的啊??? 为什麽还是不能显示中文呢? 怎样获取WIN2000的密码 在父窗体怎样画jpg格式的背景图? 如何注册MSComm控件????????? 如何解决这个问题啊?重赏啊!!!! 公告: 从现在开始封shines 111222 :)流芳斑主,结贴的工作要开始了,会很累啊!我代表大家先谢谢你了! 怎样改变MSHflexgrid中每条记录的背景颜色。急急急急急急急 各位,能不能给我讲一下“句柄”是怎么一回事? 唉,心情不爽 关于C++语法的问题? 灌水-----大学时的恶作剧(转载) "setdibs()"是什么来着,请指教,谢谢! 写注释不宜过头 这段代码错在哪里? 请大家预测一下比分(参与者都有分)开赛后就不算了,还有半个小时,赶紧着 写网络电话程序的讨论 最后一帖,贴完睡觉----如何在电梯里捣乱 怎样定制一个在程序中重用的组件?只能通过包方式吗? 寻寻觅觅 汉英计算机科技文章 互译!!有劳各位朋友费心帮忙找找 我靠!真TMD不爽,这个时候准老婆的老妈进了医院! 怎样调用*.db格式文件 谁知道哪儿有英汉互译,急急急急!!!! ISO 9001认证 VS CMM2 谁知道哪儿有《神秘的人月》下载? 为111222求情 怎样可以修改浏览器的标题? 怎样可以修改浏览器的标题1? 哪位能给我一个source insight 3.0的sn号? 求方程如何解:x/14%+(5-x)/12%=40 求方程|x|+2|y|=0的解 解方程:75%x×2+3x打漏了一些东西:75%x×2+3x=90 20-x×12%=5这题解方程怎么做?请告诉方法还有过程 方程(x-1)2-(x+1)(x-1)+3(x+1)=0的解是 x+【X+1】+【X+2】+...【X+10-1】=75怎么解方程 解释一下线性回归方程 顺便求一下y关于x的线性回归方程 要过程x: 3 4 5 6y: 2.5 3 4 4.5 2个x的方程怎解解答 x—x÷10=7.74 解方程 (16+x)/(36+x)=9/19 (x+1)^2+x-2=1这道方程怎么解啊!其实原题目是:x+1 1----- + ----- =1x-2 x+1 75加10%x减15%x等于74 16+x=9/19(x+36) X*X=108+3*X怎么解呀X*X=108+3*X, 75+百分之十X-百分之十五X=74 16+x=5/9*(36+x)怎么解 X+10+X+8=108怎么解 75%X➖10=2 这个解方程怎么算啊75%X➖10=2这个解方程怎么算啊 x-0.36=16解方程一分钟 (108-x)/x=12.5% 怎么解 X减百分之15X等于68 解方程 X-0.36=16,用解方程做错了错了,是X-0.36X=16 9(X-3.8)=108怎么解? 1.已知关于x的方程4x+2=-6的解比关于x的方程4x-2a=10的解小3,求关于x的方程4ax+5=-1的解.2.一个两位数,十位数与个位数之和是14,如果把十位数与个位数数字对调,得到的两位数比原数大36,则这个两 100×(1-x)的2次方=81 求x的解 7.6x-3.2=4x-1.76 方程解 方程x(4x+6)=9 方程(1-x-3)(x+1)=-6 这类方程怎么解?有什么技巧?陈出来后又有x又有x²,实在是求不出!感激不尽 方程x÷4-x÷5=81怎么解 10(29/60-x)=18(25/60-x)这个方程怎么解? 50%*x=40%*(x+20)这个方程怎么解?过程. (2-3/4)x =4/5 (X-15)*2/3-(X-15)/3=10 怎么解这个方程? 1/3(x+50)=40%x,这个方程怎么解 用方程解答4(x+1)=3(x+2) 60%x+14=18 这个方程怎样解? 帮我解个方程:60×(X--1)=50×(X+0.2) (x+4)÷3=2.5 60-x+18=53的方程怎么解 50 ÷x =10 方程式 4×(10X+7)=700000+X 这个方程怎么解啊?一步也别省略! 18与X的15倍的和是63.用方程解. 3x+2.5(68-x)=180,3x+2(68-x)=180,2.5x+2.5(68-x)=180,这三道方程怎么解 X-0.8X+6=16这道方程怎样解 4.8x-x=0.76方程式怎么解? 已卖出10盆花,没盆15元,又卖出x盆同样的花,共收入270元(列方程并求出方程的解) 方程:x+0.8x=2.16怎么解 8x-108=28 解方程式 (100%-40%)X + 90 = 15% X 这个方程怎么解 方程8x+16=16的解是x=0 8x-108=208 解方程式 x+3=15怎么解?要方程! x平方-8x=16 这个方程怎么解? 方程x(x-2)+x-2=0的解是? 解方程:x/60 +2=x/45 (16+X)/(36+X)=6/11 求解方程的过程跪求解方程的过程 方程x^2-|x|-1=0的解是? (X-45)*60% =45 + (X-45)*40% 怎么解方程 求一道方程的解,(200+x)×36%=40+x 求方程x^2-2^x=0的解?谁会? 60%-40%x=45解方程
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn