说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

【企业开源系列】收发一条Twitter推文的背后

HTML文档下载 WORD文档下载 PDF文档下载
7年前的一个创意,成就了如今风靡全世界的社交网络和微博客服务——Twitter。如今Twitter的月活跃用户数达到了2亿多,每天有超过4亿条推文被发送。这一切的背后,是由大量的开源项目在支撑。

Twitter被称为“互联网的短信服务”,允许用户发布不超过140个字的微博客,该创意来自Twitter的联合创始人Jack Dorsey,这个在7年前被分析师称为“有史以来最愚蠢”的创意,不料如今已经成为了风靡全世界的社交网络和微博客服务,月活跃用户达到了2.183亿人,每天有超过4亿条推文(tweet)被发送。

2013年11月7日,Twitter正式在纽约证券交易所上市,发行价26美元,但开盘即大涨73%至45.1美元。

Twitter可以称之为构建于开源项目之上,该公司开源负责人Chris Aniszczyk表示,如果没有开源软件,Twitter将不会存在,用户在移动端和PC端发送和接收的每一条推文都会需要开源软件。

在Twitter公司,当计划开展一个新项目时,工程师会首先衡量需求以及开源项目的能力,并通过定制开源项目来更好地满足需求。正是如此,Twitter才发展如此迅速,并轻松解决了日益飞速扩增的流量和请求。

Twitter所使用的开源项目

Twitter每天需要处理用户发送的推文数超过4亿条,此外还要处理大量的时间线(来自用户关注的人的所有推文),这一工程是相当浩大和复杂的。Twitter使用了大量的开源项目,从各种工具到各种库。如果没有这些开源项目,日常工作将无法正常运作。

下面来看看推文传递的背后都用到了哪些开源项目。

1.  分析和搜索服务

Twitter的搜索服务每天支持超过10亿次的查询,其背后的开源项目包括:

  • Apache Cassandra:一套分布式NoSQL数据库系统,以Amazon专有的完全分布式的Dynamo为基础,结合了Google BigTable基于列族(Column Family)的数据模型,是一个网络社交云计算方面理想的数据库。该项目最初由Facebook开发,于2008开源并捐赠给Apache基金会。
  • Apache Hadoop:由Apache基金会所开发的分布式系统基础架构,可使应用程序充分利用集群的威力高速运算和存储,用户可以在不了解分布式底层细节的情况下,开发分布式程序。
  • Apache Lucene:一个全文检索引擎工具包,目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。
  • Apache Pig:一个基于Hadoop的大规模数据分析平台,它提供的类SQL语言称为Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。

2. 服务器和存储

Twitter需要将每天用户发送的推文存储到数据库,并推送给其他相关的用户。该过程用到的开源项目包括:

  • Linux:主要用于Twitter服务器。
  • Memcached:主要用于Twitter的缓存基础设施,作用是加速动态Web应用程序,减轻数据库负载。
  • Mysql:流行的开源关系型数据库,被Twitter大量用于存储Twitter消息。
  • Node.js:一套用来编写高性能网络服务器的JavaScript工具包,在Twitter中用于队列处理(接收推文并写入数据库),使服务器能处理每个连接而不会阻塞通道。

3.  Twitter工程师的工具箱

  • Apache Subversion:开源的版本控制系统
  • Git:一个分布式的版本控制系统
  • Eclipse:大名鼎鼎的Java IDE。
  • Gerrit:一个基于Web的代码评审和项目管理的工具,主要面向基于Git版本控制系统的项目
  • Jenkins:一个持续集成引擎,主要用于持续、自动地构建/测试软件项目,以及监控一些定时执行的任务
  • RSpec:一个BDD 测试工具

4.  Twitter背后的编程语言和框架

  • OpenJDK:Java的开源版本。Twitter陆续将一些项目从Rails迁移到了Java。
  • Python:一种高效的动态解释型Web编程语言。
  • Ruby和Ruby on Rails:Twitter最初主要由Ruby和Rails开发。
  • Scala:Twitter使用的主要应用编程语言之一,很多Twitter的基础架构都是用Scala编写。
  • Clojure:Clojure是一种运行在Java平台上的Lisp方言,在任何具备Java虚拟机的地方,都可以利用Lisp的强大功能。Twitter的大数据处理系统Storm就是基于Clojure。
  • Drupal:使用PHP语言编写的开源内容管理框架(CMF),由内容管理系统(CMS)和PHP开发框架共同构成。Twitter的开发者社区基于Drupal构建。
  • Sinatra:一个轻量、快速的Ruby开发框架。

5.  Twitter的前端解决方案

  • jQuery:全球使用最广泛的JavaScript框架。
  • Less:一个使用广泛的CSS预处理器,通过简单的语法和变量对CSS进行扩展,可减少很多CSS的代码量。
  • MooTools:一个简洁、模块化、面向对象的开源JavaScript框架,为开发者提供了一个跨浏览器的JS解决方案
  • Zepto.js:一个轻量级的Javascript框架,主要用于移动开发

6.  Twitter服务开发框架

  • TwistedMatrix:一个Python 框架,用来开发非阻塞异步的网络服务和应用程序。
  • Netty:一个异步的、事件驱动的Web应用框架和工具,用于快速开发高性能、高可靠性的网络服务器和客户端程序。Netty目前作为Twitter的核心队列Kestrel的通信模块。
  • Apache Thrift:一个由Facebook开源的远程服务调用框架,采用接口描述语言定义并创建服务,支持可扩展的跨语言服务开发,所包含的代码生成引擎可以在多种语言中创建高效的、无缝的服务。

Twitter公司所开源的项目

Twitter从开源社区中获得了大量的好处,而Twitter也在不断地回馈社区,开源了大量基础设施和工具,使得其他企业和开发者不必重新发明轮子,在这些开源项目的基础上更加快速地实现自己所需。

1.  大数据处理

  • scalding:一个用于Cascading的Scala API。Cascading是一个构建于Hadoop上的API,用来创建复杂和容错数据处理工作流,它抽象了集群拓扑结构和配置,允许开发者快速开发复杂分布式的应用,而不用考虑背后的MapReduce。
  • summingbird:允许开发者以类似于本地Scala或Java的方式编写MapReduce程序,并在大部分著名的分布式MapReduce平台(包括Storm和Scalding)中执行它们。

2.  前端项目

  • Bootstrap:一个用于前端开发的工具包,包含了基本的CSS、HTML组件,包括排版、表单、按钮、表格、网格、导航等。
  • TwUI:针对Mac平台的、支持硬件加速的UI框架,受到了UIKit的启发。
  • typeahead.js:一个快速、全功能的自动完成库
  • hogan.js:一个Mustache模板语言的编译器

3.  后端服务

  • TwitterMysql:Twitter的MySQL分支
  • Parquet:一种Twitter内部供Hadoop使用的列式存储格式,为Hadoop生态系统中的所有项目提供支持高效率压缩的列式数据表达,而且与数据处理框架、数据模型或编程语言无关。
  • Finagle:一个允许开发者使用Java、Scala或其他JVM语言来构建异步RPC服务器和客户端的库,主要用于Twitter的后端服务。
  • iago:一个负载生成器,用来在产品正式发布前做流量负载测试。
  • twemproxy:一个快速、轻量级的memcached和redis代理服务器
  • zipkin:一个分布式的跟踪系统。在Twitter中用于收集各个服务上的监控数据,并提供查询接口。

4.  Twitter基础设施通用库

  • commons:Twitter的Python、JVM公共库
  • util:Twitter的一些可重用的代码库
  • cassovary:一个基于JVM的简单的大图形处理库

5.  收购其他公司后开源的项目

Twitter还收购了一些公司,并将这些公司的软件以开源形式发布。

  • Storm:这是一个类似于Hadoop的实时数据处理框架,最初由BackType开发,后来BackType被Twitter收购,Twitter将Storm作为其实时数据分析系统。
  • Whisper Systems的所有项目:Whisper Systems是一家移动安全初创公司,主要为Android手机和平板用户提供企业级的安全和管理解决方案。Twitter于2011年12月收购该公司,随后宣布将逐步开放Whisper Systems所有软件源代码。

更多的开源项目:http://twitter.github.io/

Twitter内部的开源氛围

1.  比Google更自由

尽管Google也开源了大量的项目,但是其开源程度并没有Twitter彻底。比如在数据中心方面,Google做了大量的保密工作,而在Twitter公司,这些要开放得多,员工自由实验的空间更大。

在一些大型企业中,所使用的软件或系统是相当固定的,员工需要在该基础设施上开发东西。而据Twitter员工透露,Twitter允许员工尝试新的不同的东西,甚至允许使用不同的语言和开源项目来重构Twitter的一些服务。

之前Google“20%的自由时间”为人津津乐道,如今该福利已经取消了。而在Twitter,每季度公司会举办hackweeks,员工可以拿出一周的时间从事各式各样的项目,这些项目不需要和他们每天的职责相关。

2.  在公司内部培训开源技术

2013年8月,Twitter收购了致力于开源技术培训的Marakana公司,成立了Twitter大学(TwitterUniversity),其目的主要是为内部员工提供更丰富的培训资源,同时也希望吸引更好的工程技术人才加入公司。

Twitter大学将陆续向大众开放,Twitter也将部分教育资源放到了网上。比如scala_school(这是针对Scala编程语言的一系列教程)。

Twitter对开源基金会的支持

Twitter也通过资金和代码赞助了一些开源基金会和组织。

  • Ada Initiative:一个在技术和文化上支持妇女参与开源技术的组织。
  • Apache软件基金会:Twitter工程师也参与贡献了Apache软件基金会的部分项目。
  • Eclipse基金会
  • JCP:Java社区进程,主要负责制定Java规范和标准。
  • Linux基金会:负责协调和推动Linux系统的发展。
  • OIN:Open Invention Network(开放创新网络),一个旨在减轻Linux开发人员受到专利诉讼压力的机构。
  • OpenJDK:Java的开源实现。

总结

Twitter在2011年就专门成立了一个“开源办公室”,用来支持对Twitter至关重要的开源组织。这足以见得开源对于Twitter的重要性。

Twitter公司开源负责人Chris Aniszczyk称,如果在开源社区花费一些精力,将会意识到信息的开放对于整个世界所带来的积极影响,在Twitter,从内到外都保持着开放的心态和浓厚的开源氛围,而且每个员工都有机会参与其中。同时Twitter对开源社区所做出的伟大工作充满感恩,并将一直和开源社区保持健康的关系。

再来看国内,如今一些大型互联网公司也开始重视开源,在使用开源项目构建基础服务的同时,也不忘回馈开源社区。【企业开源系列】后面也将会聚焦国内开源企业,带领大家认识一个全新的国内开源生态。

data()-JQuery API disableTab(position)-JQuery API enableTab(position)-JQuery API tabs(initial, settings)-JQuery API triggerTab(position)-JQuery API triggerTab(position)-JQuery API Tooltip(settings)-JQuery API PHP简介-PHP初学入门教程1 选择PHP的理由 -PHP初学入门教程2 从一个简单的程序来了解PHP -PHP初学入门教程3 PHP语法基础 -PHP初学入门教程4 建设一个简单的交互网站(一) -PHP初学入门教程5 建设一个简单交互的网站(二) -PHP初学入门教程6 建设一个简单交互的网站(三)密码验证 -PHP初学入门教程7 PHP文件上传 -PHP初学入门教程8 为站点添加投票功能 -PHP初学入门教程9 广告条轮播-PHP初学入门教程10 操作MySQL数据库实现简单的留言板-PHP初学入门教程11 使用PHP来操作Oracle数据库 -PHP初学入门教程12 技术杂项PHP教程结束篇 -PHP初学入门教程13 .NET中DataSet和DataReader的区别与转换 CGI技术及其开发(二)-Delphi资料 CGI技术及其开发(一)-Delphi资料 COM/DCOM中如何传递数组-Delphi资料 COM与DCOM的区别与联系-Delphi资料 Cookie的建立使用-Delphi资料 Delphi 3中Cookie的建立使用 Delphi 中 串 行 通 信 的 实 现 Delphi4.0 开发WEBMAIL程序 Delphi4的Winsocket编程 Delphi4开发WEBMAIL程序 一个很奇怪的问题,高手请看, 马上给分 那里有更多的skinengine换肤文件? 奇怪的问题,高手请看,马上给分! 怎样给一个OLE控件其内置的事件编写脚本? 请问各位能否将一个VF的数据库方便的转为ACCESS数据库 如何关联一个扩展名到我的程序? 我有一个备注memo的字段,想更新?如何进行? www.ipowerweb.com 的主机怎么样? 高数、线性代数与程序员!!! Sworddx,补分给你 怎么做定时 这个listctrl问题怎么老没有人回答我?????? TQuery为什么没有这个属性? 哥哥们 ,谁能帮我? 高分,谁有奇域外挂? 急急!!winsock 在网速特别慢的时候,发送与发送之间有一个等待时间,这个时间是不一样的!!! 关于表单的先后顺序 万分火急,关于authorware的? 关于用ASP调用SQL 数据库存储过程的问题!高手帮忙 提议:共同作个小项目 急需解决字符串中的千位分割符去除的问题?在线等 修改客户端资料 AUTOCAD2002的授权号在哪里弄呀?? 网站首页跳出一个小广告或者通知的网页大小 初来乍到 怎么才能让DATA控件支持ACCESS2000? 可否推荐几个对考系分有帮助的网站?先谢了。 初学者的问题 项目开发:select,insert,等要不要直接写在程序事件里面,还是要用DW做操作?? 翻一次页需要80秒,有什么好办法提高效率? 将灵魂出卖给Microsoft?还是选择Sun One? 昨天在公车上目睹……(亲身经历) 用什么样的报表、表格控件好呢? 如何插入一个memo备注字段的纪录 ole字段相互负值,该怎样写呢? 关于delphi局部结构变量,初始化问题。这事儿说起来很惭愧。。。。 中软的叫我去作软件外包,请问给为老大我该去吗 为什么不能访问http://www.apache.org/了? [高难问题]如何让asp启动的程序,显示在服务器端,而不光是个进程 迫切需求Dundas Chart FOR ASP.NET 3.1企业破解版 收到了BORLAND寄来的奖品,送分庆祝,请斑竹不要介意! RichText关联的文件怎么保存? 誰能解決"Read failure"的問題﹖送500分。 求更好的文本编码方法 在delphi中如何实现多副jepg图片存储数据库???? SOS!请教一道变态题目 我是头感情上的猪,我不懂的控制我自己的感情。 那里下载 visual studio.net (在线等待) 帮忙看看这段简单的代码 请问VmSize,Vmlck等等这些项都是什么含义? 学习哪一门语言更好,希望ggjj们给以帮助 !! 史记中不可能记载的是A.大泽乡起义 B.春秋争霸 C.大禹治水 D.昭君出塞 某农业专业户建造一个形状是直角梯形的苗圃,其邻变借用夹角为135°的两面墙,另外两边用长喂30米的篱笆围起来,设苗圃的垂直于梯形两底的腰长为x,试用解析式将苗圃的面积表示为x的函数 热带地区有无四季之分?RT 有没有人知道“善终”的反义词可以用什么?同上,没有补充了. 要建一个直角梯形的苗圃,两临边用夹角为135的两面墙,另两边总长为30米,若垂直底边的腰长为x米,...要建一个直角梯形的苗圃,两临边用夹角为135的两面墙,另两边总长为30米,若垂直底边的腰长 秦始皇和汉武帝有什么共同点(例如:都是杰出的政治家 实行郡县制 ) 请问有没有人知道无处不在的反义词或者类似意思相反的四字词是什么呢 拉面拉第几次有32根面 什么是甲功三项 同源染色体怎么数啊 排词成句:吹着 春风 温暖 轻轻地 的 春天 请问甲功三项是指哪三项? 有丝后期同源染色体怎么数 拉面数学题要拉510根要拉多少次 甲功三项怎么查 分裂各期同源染色体数最好能讲的详细点,关于同源染色体的我一直都搞不清急!我指的是减1的间期、前期、中期、后期、末期、和减2的间期、前期、中期、后期、末期的详细说明 漏电保护器的额定动作电流和额定不动作电流分别为30毫安和15毫安那当漏电电流为20毫安时漏电保护器动作么 甲功七项包括些什么? 南丁格尔事迹(短文) 请问甲功八项检测有什么作用 甲功七项是什么 请问哪些书是在高中需要阅读并且要考得? 请帮看下甲功八项检测报告单,是什么病?甲状腺弥漫性病变肿大 伴单发0.5*0.5边界清晰结节项目代码 项目名称 结果 参考值FT3 游离三碘甲状腺原氨酸 2.28 1.45--3.71 pg/mLFT4 游离四碘甲状腺原氨酸 世界上什么蛇最小、 下列不能通过叶片上的气孔交换的气体是?A.氧气 B.水蒸气 C.二氧化碳 D.有机物 请帮我看一下我的甲功八项化验单病情描述(发病时间、主要症状等):T3——1.623(0.78-2.2) T4——90.819(42-135)TSH——3.054(0.3-5.0),FT3——3.961(3.19-9.15)FT4——14.482(9.11-25.47)TGAB——0.348( He was very hot _____ so ______ clothes. 谁给形象地解释一下什么是单向值传递方式地址传递方式又是什么意思呢 甲功八项是什么 ------- fine arts,do you have any interest in painting?A.Talking of B.Talk about C.To be talked of D.Talking on 如何用形象地语言来解释兴奋在神经元间的传递 次年是什么意思 六年级英语自我介绍 检查错误或提出修改意见文章如下:Hello!I'm Roger .I am 12 years old .I am in Class 1 Grade 6 .I am a active boy .I like programming .I will be a junior high school student,I feel very happy.一楼的:我 如图,已知:AB=CD,∠A=∠D,求证:∠B=∠C梯形 次年 是什么意思 一根长2米的圆木,截成两段后,表面积增加了24平方厘米,这根圆木原来的体积是多少? 一花农计划借助两面夹角为135°的残墙围出直角梯形的花圃,围花圃总材料长45米问如何取两直角边长,可使花圃面积达到最大,最大面积为多少 具有吸附性的多孔材料有哪些? 定神细视与神游其中的意思 已知:如图,AB与CD相交于点E.求证:∠A+∠C=∠B+∠D 为什么多孔的材料和多孔的结构有利于吸收噪声? 高原生长的柳树会遇到怎样的困难?阅读题, 四分之三x减百分之五等于17.5怎么解 如何快速解决行测中的计算题 如图,一块直角梯形苗圃的两条邻边是夹角为135°的围墙,另外两条边用总长为45米的篱笆围成.问;篱笆的两条边各是多少米时,苗圃的面积最大?最大面积是多少? 四分之三X除以百分之五X=17.5 寻求行测计算题解答甲、乙两人从400米的环形跑道的一点A,背向同时出发,8分钟后,两人第三次相遇.已知甲每秒钟比乙每秒钟多行0.1米,那么,两人第三次相遇的地点,与A点沿跑道上的最短距离是 有一道选择题的选项是这样说的.绿藻黑藻可吸收城市污水中的有机物,并用于自身的光合作用. 为什么有一道选择题的选项是这样说的.绿藻黑藻可吸收城市污水中的有机物,并用于自身的光合 y=-4x+5和y=4x+5的值域怎么求 生产队预计30天修完一条水渠,先用18个人修12天完成工程的1/3,如果要提前6天完工,还要增加多少人? 绿藻能吸收有机物吗 开账的意义是什么 含有雌和它的反义词的成语如题 甲功检查 1-x=四分之三,17分之15-x=17分之11,11分之10-x=11分之6偶妹滴题,我跟她讲她不信, 校园要建苗圃,其形状为直角梯形,其中有两边借用夹角为135度的两面墙,另外两边是总长为30米的铁栅栏求梯形的面积y与高x的关系式求x的取值范围请写出具体算式, 谁能帮帮看看我的甲功检查表,项目 结果 参考范围T4 8.7 4.5-10.9FRT4 1.25 0.89-1.76T3 2.65 0.6-1.81FT3 5.67 2.3-4.2THS 0.01 0.35-5.5以前是5项都不正常,现在这样表示好转的吗, 司马迁的《史记》中,不可能记载的历史事件是( )A.少康中兴B.成康之治C.昭宣中兴D.文景之治 校园要建苗圃,其形状为直角梯形,其中有两边借用夹角为45度的两面墙,另外两边是总长为30米的铁栅栏(1)求梯形的面积Y与高X的表达式; (2)求X的取值范围 什么是甲功七项检查 上海居民沈勇死亡 官方:正在组织调查黎巴嫩北部教派冲突伤亡人数升至50多联合国人权理事会工作组通过审查中国人意大利媒体称英美合作监控意通讯 政府白俄罗斯总统提议格鲁吉亚重返独联体遭马达加斯加总统选举平稳结束郝柏村:抗日战争的胜利属于整个中华民马尼拉市长拟为人质事件筹集2000万第九届两岸经贸文化论坛今举行 为交流明星进入考题屡见不鲜 “杨幂题”引争赵本山亮相春晚节目一审 冯小刚今答网伦敦股市《金融时报》100种股票平均土耳其与伊拉克外长表示将加强两国关系31省区市9月CPI涨幅出炉 物价“西共体轮值主席呼吁国际社会支持西共体德国法兰克福股市DAX指数25日上涨白俄罗斯总统提议格鲁吉亚重返独联体遭巴黎股市CAC40股指25日下跌德国政府:默克尔被窃听手机泄密可能性美国10月份消费者信心降至今年以来新女子参加富豪相亲会 反问记者你不爱钱上海浦东一男子酒后火烧自家民宅进班房珠海公交“暴脾气“乘客坚称携带炸弹引国台办:两岸经济合作没有“谁买下谁”俄媒:乌东南部民兵称政府军撤军前不会浙江发布暴雨黄色预警 将迎今年最大暴广西财政:理论武装凝聚改革发展“正能新疆和布克赛尔县那仁和布克牧场推动远新疆和布克赛尔县那仁和布克牧场提升党关于印发《财政部代理发行2014年地津南居民悉心照顾重病邻居:十年“植物英超升班马老板:愿投1.8亿英镑 希日本广岛一博物馆发现300年前古地图韩中文化友好协会会长曲欢荣获韩国世宗日本:校舍装修致教师患间皮瘤身亡 被法媒:法国政府欲出台政策打击非法下载老人把神秘信封送到羊晚 内有证件和银刺鼻胶水洒上身司机中毒险没命 “胶水荔湾和业广场海报女模疑似露点 路人侧6人团伙大白天结伙拖车 女事主爱车被广州数十万精神病患 仅五千人愿到工疗陕西大学生运动会开幕式
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘