说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

【企业开源系列】收发一条Twitter推文的背后

HTML文档下载 WORD文档下载 PDF文档下载
7年前的一个创意,成就了如今风靡全世界的社交网络和微博客服务——Twitter。如今Twitter的月活跃用户数达到了2亿多,每天有超过4亿条推文被发送。这一切的背后,是由大量的开源项目在支撑。

Twitter被称为“互联网的短信服务”,允许用户发布不超过140个字的微博客,该创意来自Twitter的联合创始人Jack Dorsey,这个在7年前被分析师称为“有史以来最愚蠢”的创意,不料如今已经成为了风靡全世界的社交网络和微博客服务,月活跃用户达到了2.183亿人,每天有超过4亿条推文(tweet)被发送。

2013年11月7日,Twitter正式在纽约证券交易所上市,发行价26美元,但开盘即大涨73%至45.1美元。

Twitter可以称之为构建于开源项目之上,该公司开源负责人Chris Aniszczyk表示,如果没有开源软件,Twitter将不会存在,用户在移动端和PC端发送和接收的每一条推文都会需要开源软件。

在Twitter公司,当计划开展一个新项目时,工程师会首先衡量需求以及开源项目的能力,并通过定制开源项目来更好地满足需求。正是如此,Twitter才发展如此迅速,并轻松解决了日益飞速扩增的流量和请求。

Twitter所使用的开源项目

Twitter每天需要处理用户发送的推文数超过4亿条,此外还要处理大量的时间线(来自用户关注的人的所有推文),这一工程是相当浩大和复杂的。Twitter使用了大量的开源项目,从各种工具到各种库。如果没有这些开源项目,日常工作将无法正常运作。

下面来看看推文传递的背后都用到了哪些开源项目。

1.  分析和搜索服务

Twitter的搜索服务每天支持超过10亿次的查询,其背后的开源项目包括:

  • Apache Cassandra:一套分布式NoSQL数据库系统,以Amazon专有的完全分布式的Dynamo为基础,结合了Google BigTable基于列族(Column Family)的数据模型,是一个网络社交云计算方面理想的数据库。该项目最初由Facebook开发,于2008开源并捐赠给Apache基金会。
  • Apache Hadoop:由Apache基金会所开发的分布式系统基础架构,可使应用程序充分利用集群的威力高速运算和存储,用户可以在不了解分布式底层细节的情况下,开发分布式程序。
  • Apache Lucene:一个全文检索引擎工具包,目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。
  • Apache Pig:一个基于Hadoop的大规模数据分析平台,它提供的类SQL语言称为Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。

2. 服务器和存储

Twitter需要将每天用户发送的推文存储到数据库,并推送给其他相关的用户。该过程用到的开源项目包括:

  • Linux:主要用于Twitter服务器。
  • Memcached:主要用于Twitter的缓存基础设施,作用是加速动态Web应用程序,减轻数据库负载。
  • Mysql:流行的开源关系型数据库,被Twitter大量用于存储Twitter消息。
  • Node.js:一套用来编写高性能网络服务器的JavaScript工具包,在Twitter中用于队列处理(接收推文并写入数据库),使服务器能处理每个连接而不会阻塞通道。

3.  Twitter工程师的工具箱

  • Apache Subversion:开源的版本控制系统
  • Git:一个分布式的版本控制系统
  • Eclipse:大名鼎鼎的Java IDE。
  • Gerrit:一个基于Web的代码评审和项目管理的工具,主要面向基于Git版本控制系统的项目
  • Jenkins:一个持续集成引擎,主要用于持续、自动地构建/测试软件项目,以及监控一些定时执行的任务
  • RSpec:一个BDD 测试工具

4.  Twitter背后的编程语言和框架

  • OpenJDK:Java的开源版本。Twitter陆续将一些项目从Rails迁移到了Java。
  • Python:一种高效的动态解释型Web编程语言。
  • Ruby和Ruby on Rails:Twitter最初主要由Ruby和Rails开发。
  • Scala:Twitter使用的主要应用编程语言之一,很多Twitter的基础架构都是用Scala编写。
  • Clojure:Clojure是一种运行在Java平台上的Lisp方言,在任何具备Java虚拟机的地方,都可以利用Lisp的强大功能。Twitter的大数据处理系统Storm就是基于Clojure。
  • Drupal:使用PHP语言编写的开源内容管理框架(CMF),由内容管理系统(CMS)和PHP开发框架共同构成。Twitter的开发者社区基于Drupal构建。
  • Sinatra:一个轻量、快速的Ruby开发框架。

5.  Twitter的前端解决方案

  • jQuery:全球使用最广泛的JavaScript框架。
  • Less:一个使用广泛的CSS预处理器,通过简单的语法和变量对CSS进行扩展,可减少很多CSS的代码量。
  • MooTools:一个简洁、模块化、面向对象的开源JavaScript框架,为开发者提供了一个跨浏览器的JS解决方案
  • Zepto.js:一个轻量级的Javascript框架,主要用于移动开发

6.  Twitter服务开发框架

  • TwistedMatrix:一个Python 框架,用来开发非阻塞异步的网络服务和应用程序。
  • Netty:一个异步的、事件驱动的Web应用框架和工具,用于快速开发高性能、高可靠性的网络服务器和客户端程序。Netty目前作为Twitter的核心队列Kestrel的通信模块。
  • Apache Thrift:一个由Facebook开源的远程服务调用框架,采用接口描述语言定义并创建服务,支持可扩展的跨语言服务开发,所包含的代码生成引擎可以在多种语言中创建高效的、无缝的服务。

Twitter公司所开源的项目

Twitter从开源社区中获得了大量的好处,而Twitter也在不断地回馈社区,开源了大量基础设施和工具,使得其他企业和开发者不必重新发明轮子,在这些开源项目的基础上更加快速地实现自己所需。

1.  大数据处理

  • scalding:一个用于Cascading的Scala API。Cascading是一个构建于Hadoop上的API,用来创建复杂和容错数据处理工作流,它抽象了集群拓扑结构和配置,允许开发者快速开发复杂分布式的应用,而不用考虑背后的MapReduce。
  • summingbird:允许开发者以类似于本地Scala或Java的方式编写MapReduce程序,并在大部分著名的分布式MapReduce平台(包括Storm和Scalding)中执行它们。

2.  前端项目

  • Bootstrap:一个用于前端开发的工具包,包含了基本的CSS、HTML组件,包括排版、表单、按钮、表格、网格、导航等。
  • TwUI:针对Mac平台的、支持硬件加速的UI框架,受到了UIKit的启发。
  • typeahead.js:一个快速、全功能的自动完成库
  • hogan.js:一个Mustache模板语言的编译器

3.  后端服务

  • TwitterMysql:Twitter的MySQL分支
  • Parquet:一种Twitter内部供Hadoop使用的列式存储格式,为Hadoop生态系统中的所有项目提供支持高效率压缩的列式数据表达,而且与数据处理框架、数据模型或编程语言无关。
  • Finagle:一个允许开发者使用Java、Scala或其他JVM语言来构建异步RPC服务器和客户端的库,主要用于Twitter的后端服务。
  • iago:一个负载生成器,用来在产品正式发布前做流量负载测试。
  • twemproxy:一个快速、轻量级的memcached和redis代理服务器
  • zipkin:一个分布式的跟踪系统。在Twitter中用于收集各个服务上的监控数据,并提供查询接口。

4.  Twitter基础设施通用库

  • commons:Twitter的Python、JVM公共库
  • util:Twitter的一些可重用的代码库
  • cassovary:一个基于JVM的简单的大图形处理库

5.  收购其他公司后开源的项目

Twitter还收购了一些公司,并将这些公司的软件以开源形式发布。

  • Storm:这是一个类似于Hadoop的实时数据处理框架,最初由BackType开发,后来BackType被Twitter收购,Twitter将Storm作为其实时数据分析系统。
  • Whisper Systems的所有项目:Whisper Systems是一家移动安全初创公司,主要为Android手机和平板用户提供企业级的安全和管理解决方案。Twitter于2011年12月收购该公司,随后宣布将逐步开放Whisper Systems所有软件源代码。

更多的开源项目:http://twitter.github.io/

Twitter内部的开源氛围

1.  比Google更自由

尽管Google也开源了大量的项目,但是其开源程度并没有Twitter彻底。比如在数据中心方面,Google做了大量的保密工作,而在Twitter公司,这些要开放得多,员工自由实验的空间更大。

在一些大型企业中,所使用的软件或系统是相当固定的,员工需要在该基础设施上开发东西。而据Twitter员工透露,Twitter允许员工尝试新的不同的东西,甚至允许使用不同的语言和开源项目来重构Twitter的一些服务。

之前Google“20%的自由时间”为人津津乐道,如今该福利已经取消了。而在Twitter,每季度公司会举办hackweeks,员工可以拿出一周的时间从事各式各样的项目,这些项目不需要和他们每天的职责相关。

2.  在公司内部培训开源技术

2013年8月,Twitter收购了致力于开源技术培训的Marakana公司,成立了Twitter大学(TwitterUniversity),其目的主要是为内部员工提供更丰富的培训资源,同时也希望吸引更好的工程技术人才加入公司。

Twitter大学将陆续向大众开放,Twitter也将部分教育资源放到了网上。比如scala_school(这是针对Scala编程语言的一系列教程)。

Twitter对开源基金会的支持

Twitter也通过资金和代码赞助了一些开源基金会和组织。

  • Ada Initiative:一个在技术和文化上支持妇女参与开源技术的组织。
  • Apache软件基金会:Twitter工程师也参与贡献了Apache软件基金会的部分项目。
  • Eclipse基金会
  • JCP:Java社区进程,主要负责制定Java规范和标准。
  • Linux基金会:负责协调和推动Linux系统的发展。
  • OIN:Open Invention Network(开放创新网络),一个旨在减轻Linux开发人员受到专利诉讼压力的机构。
  • OpenJDK:Java的开源实现。

总结

Twitter在2011年就专门成立了一个“开源办公室”,用来支持对Twitter至关重要的开源组织。这足以见得开源对于Twitter的重要性。

Twitter公司开源负责人Chris Aniszczyk称,如果在开源社区花费一些精力,将会意识到信息的开放对于整个世界所带来的积极影响,在Twitter,从内到外都保持着开放的心态和浓厚的开源氛围,而且每个员工都有机会参与其中。同时Twitter对开源社区所做出的伟大工作充满感恩,并将一直和开源社区保持健康的关系。

再来看国内,如今一些大型互联网公司也开始重视开源,在使用开源项目构建基础服务的同时,也不忘回馈开源社区。【企业开源系列】后面也将会聚焦国内开源企业,带领大家认识一个全新的国内开源生态。

大数据?别唬人了!我们真的需要盲目烧钱追求大数据吗? 日本社交手游公司GREE巨星陨落 中国区全员被裁 战歌:85后手游开发团队背后的故事 分秒钟做款App:细数国内外在线DIY应用网站 指点传媒CEO专访:紧握二三线市场用户命脉 专访Waygo创始人:白切鸡怎么翻译? 探究共享软件海外营销新策略(西安站) 讲师秀8:车音网沈康麒和他的智能驾车服务 数据可视化独领风骚:看这6家初创公司如何玩转大数据? 最新研究显示:IE10防恶意软件能力比Chrome等浏览器都要强 Windows Blue正式定名Windows 8.1 对Windows 8及RT用户免费 Testin云测试破1000万次 自动化测试成趋势 接手Android后首次接受媒体采访 Sundar Pichai谈Android未来 C语言实现二分法查找 让开发者高效编程的10个新框架 Google Analytics中显示访客停留时间为“0”的秘密 大数据之惑 麻省理工三位物理学家自建数据库服务Cloudant 融资1200万美元 网页浏览器进入再造新时代 AMD揭露HSA运算架构新技术hUMA细节 美团悄然上线云主机服务:与亚马逊殊途同归,还是另有谋划? 微软发布deep-tech团队招募令,期望获得下一代开发者的支持 2013谷歌I/O开发者大会:发布多个软件产品和服务 C语言实现二分法求解方程 开发测试云与虚拟化解决方案 学苹果?微软淘汰Points支付系统改用Gift cards 甲骨文改变Java版本号命名方式 [CTO俱乐部第97期]中科院、腾讯、深圳明源研发团队管理经验分享 Android Studio来了,它能取代Eclipse吗? Google Play Game不够开放,被OpenKit炮轰 Google Play Game Service详解 不仅提供API更提供后端支持 哪位大哥帮帮忙(跟贴有分),小问题,vb里怎样调用vc的动态库,还有为什么vc生成的Dll文件不好用regsvr32注册 急需解决的问题!一个向数据库写入时间数据的问题!多谢高手指教!100分! @@@谁有我郁闷???@@@ 应用cdo编程,怎样获得任意公用文件夹的FolderID 移动文件 DataSource的问题 cookie的问题 我学C语言有一段时间了但我发现没有什么成果?? 我想做一个象MSN类似的界面,请教各位应该怎么整啊? 简单的textbox控件问题,再次散分了! 有一个1024K*32位的存储器,由128K*8位的DRAM芯片构成,看下面对吗? colordialog的问题 win98窗口上的最大化最小化按钮变成了数字 请问,如何以编程的方式创建SQL server的实例的? 请问“[System.ComponentModel.DesignerCategory("Code")]的意义? table1.FieldbyName('Company').asstring:= ExpandFileName (filelistbox1.filename); 网卡使用的问题!在线等候 会c/s的高手请帮忙! 为什么我的winme关机后在开机总是要检查磁盘,可是我是正常关机呀,烦死我了。谁能解决给100分。 各位高高手,有没有MS SQLServer6.5的JDBC驱动?救人一命胜造十级**,忘了咋说的了. 大家给我解答我不会用,请再帮帮忙(前后贴200分一起结,谢谢) 在一个dataset中,对于不是主键的列中的值如何进行查询? 星球大战前传2:美国人全面攻击 有谁知道在哪有IIS6.0下载呢 请问在mysql中怎么建立自动增加的字段呢 , 好想在mysql中没有那么强大的工具。 请问哪里可以下载中文的windows Media Player SDK? 高分求助 数据备份 为什么Access中排序顺序不正确?<在线等待> 在菜单中增加CIMAGELIST中的位图,这样写对吗? 为什么受伤的总是我?只因为我是菜鸟??? 寻一个asp.net(codebehind)实现的数据库访问的demo sybase事务处理的问题 我的程序用的Access,,运行时出现“无法为更新引集定位:一些值可能已在最后读取后改变”什么原因? 怎样加大在sql server中存储图片字段的大小 这回真的是“高手请进”了!!!! 求救,javabean编译问题?? 如何获取Dispatch接口中的事件? 小小问题:如何清空用ADO连接的数据库表中的记录 大家由没有碰到这样的问题? 100分请高手给澄清关于数据库引擎的几个概念 请问 ucs2编码如何转化成gb格式的? 在Ado2.1中如果已经Addnew,如何撤消而不引起错误? 打开新窗口的问题 谁知道那里有电子版的《C语言编程思想》 如何获得输入得BSTR 字符串得值? 帮我想想! 为什么我运行 ms-project2000会出错!错误内容在里面,请大家指教!!! 哈工大附近有卖3号足球(最小的那种,可以在室内玩)的吗? 修改?? 关于CPU 100%使用率的问题 如何使用VB访问MySQL数据库? 1 2 二氯乙烷和二氯乙烷有什么区别 我爱杜鹃花阅读答案 改成打比方的句子海鸥起起落落飞翔着.要表达更生动、形象.给我写好的 我看了如果很好 在12月11日晚上9点给我答案! 请问1.1二氯乙烷和1.2二氯乙烷有什么区别?二氯乙烷的散水和原装有什么区别? 阅读题:映山红, 改成打比方的句子,急`~(1)果园里桃花开了,远远望去很美.(2)八路军把敌人的阵地完全包围了.(3)春雨很细,也很轻,柔柔的洒向大地. 1 ,2-二氯乙烷怎样生成1,1-二氯乙烷? 为什么以公元前475年做为春秋和战国时期的分界点? 一支粗细均匀的蜡烛长20cm.点燃5分钟后,蜡烛缩短2cm;点燃12分钟后,蜡烛还剩多少厘米?比例解 有两根蜡烛,一根长8厘米,另一根长6厘米吧两根蜡烛都燃烧掉同样的一部分后,短的一根剩下的长度是长的一根剩下长度的3/5.每根蜡烛燃烧掉多少厘米? 公元前七百年到公园前476年是春秋到战国经历的时间吗 太阳下山了.打个比方句子写下来,怎么写. 有两根蜡烛,一根长8厘米,另一根长6厘米,有两根蜡烛,一根长8厘米,另一根长6厘米,把两根蜡烛都燃掉同样长的一部分后,短的一根剩下的长度是长的一根剩下的5分之3,每根蜡烛燃掉多少厘米? 公元前476年发生了什么事,为什么以这一年为界分开春秋与战国? 为什么卡诺循环效率最高 有两根蜡烛,分别是8厘米和6厘米,两根蜡烛同时燃烧相同的一部分,短的一根剩下的长度是长的一根剩下的五分之三,每根蜡烛燃烧多少厘米? 电子 质子 离子 原子 区别和联系 线路板清洗剂里面含双氧水吗? 太阳下山了.(改成打比方的句子.) 关于电子质子分子原子离子的所有知识点 卡诺循环的效率不是负数吗n=1-T1/T2 已知T1是高温热源 T2是低温热源 则T1大于T2 则 T1/T2必定大于1啊,1-T1/T2 则肯定小于零啊 求解是怎么回事? 帮我改成打比方的句子 原子,电子,质子,中子,离子,核子,分子的区别与联系? 一支粗细均匀的蜡烛长20cm.点燃5分钟后,蜡灶缩短2cm,点燃12分钟后,蜡烛还剩多少厘米? 如何把中国汉字发生无穷无尽的变化改成打比方的句子 原子,分子,离子,质子, 一支蜡烛长20cm,点燃5分钟后,蜡烛说短2cm,点燃12分钟后,蜡烛还剩多少厘米?比例解 “太阳下山了”改成比喻句 为什么把公元前475年作为战国的开始?这种说法是何时出现的? 一支粗细均匀的蜡烛长20厘米,点燃5分钟后,蜡烛缩短了2cm,点燃12分钟后还剩多少cm? 京沪高速公路全长大约1200 千米.一辆大客车和一辆小客车分别同时从上海和北京出发,相向而行,经过6小时在途中相遇.如果大客车的速度是小客车的11分之9,两辆车的速度各是每小时多少千米? 硒原子在化学反应中容易得到2个电子,形成__离子 公元前475年到公元前221年为战国时期,是我国奴隶制向封建制转变时期duicuo. 塑料洗衣盆是不是有机化合物 油菜(白菜型/甘蓝型/芥菜型)是蔬菜吗?油菜(白菜型/甘蓝型/芥菜型)是蔬菜,还是油料作物? 初一一元一次方程应用题:京泸高速公路全长1262千米 京沪高速公路全长大约1200千米.一辆大客车和一辆小客车分别同时从上海和北京出发,相向而行,经过6小时在途中相遇.如果大客车的速度是小客车的11分之9,两辆车的速度各走每小时多少千米? 春秋和战国时期是公元前几世纪 电动车电池,用铅酸电池好,还是磷酸铁锂电池好呢 京沪高速公路全长大约1200米.一辆大客车和一辆小客车分别从上海和北京出发,相向而行,经过6小时在途中相遇.如果大客车的速度是小客车的十一分之九,两辆车的速度各是每小时多少千米? 春秋从公元前770--470年,是我国( )瓦解时期,战国从公元前475—221年,是我国( )的形成时期. 白菜-甘蓝可育吗?为什么? 求初三科学浙教版化学方程式,化合价,化合价口诀 .不要复制的 不要自己编的.要标准的那种 联合收割机能收割什么农作物包括专用的和多用 的 被染色的衣服怎样恢复原色? 科学化合价4题1.某二价金属,它的氧化物11.2g全部转化成氯化物是,质量变为22.2g,该金属元素的相对原子质量是___________.2.某不纯的硝酸铵样品经分析知含氮33.3%,这种样品里硝酸铵(NH4NO3)的质量 都有什么作物可用联合收割机收获?说得越多越好.还有,小麦、玉米、水稻、甘蔗这些作物,收割机处理后得到的都是什么东西? 战国公元前几年到公元前几? 一跟蜡烛燃烧8分钟后还剩下8厘米,燃烧18分钟后还剩下7厘米,这根蜡烛最初有多长? 哪位大虾知道棉花和谷物这两类农作物,从播种、生长、收割这一系列过程中所需全部机械设备都分别有哪些?请分别告知,棉花:谷物: 永不凋谢的杜鹃花阅读答案 哪里有胡萝卜,鸡蛋,咖啡豆的英语完型填空我要的是关于这篇文章的完型填空题,以前做过,但找不到了. 太阳下山了.把这句话改成打比方的句子.怎么写. 卢宁高速公路全长约275千米,量得这条高速公路的图上距离是5.5厘米,这幅地图的比例尺是多少 欲配制1mol/L的cacl2溶液怎么办? 杜鹃花的阅读答案 在比例尺是1:5000000的地图上,量得卢宁高速公路长5.5厘米一辆汽车以每小时125千米的速度行完全程需要几小时 原子的种类、原子的化学性质分别与下列离子数密切相关的是 A质子数、中子数B质子数、最外层电子数 C中子数、最外层电子数 D最外层电子数、质子数 杜鹃花阅读答案 泸泞高速公路全长约275千米,在一幅地图上量得这条高速公路长2.5厘米.这幅地图的比例尺是多少?在另一幅地图上量得这条高速公路长5厘米,这幅地图的比例尺是多少?拿衣服缩小的程度大一些?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘