说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

【企业开源系列】收发一条Twitter推文的背后

HTML文档下载 WORD文档下载 PDF文档下载
7年前的一个创意,成就了如今风靡全世界的社交网络和微博客服务——Twitter。如今Twitter的月活跃用户数达到了2亿多,每天有超过4亿条推文被发送。这一切的背后,是由大量的开源项目在支撑。

Twitter被称为“互联网的短信服务”,允许用户发布不超过140个字的微博客,该创意来自Twitter的联合创始人Jack Dorsey,这个在7年前被分析师称为“有史以来最愚蠢”的创意,不料如今已经成为了风靡全世界的社交网络和微博客服务,月活跃用户达到了2.183亿人,每天有超过4亿条推文(tweet)被发送。

2013年11月7日,Twitter正式在纽约证券交易所上市,发行价26美元,但开盘即大涨73%至45.1美元。

Twitter可以称之为构建于开源项目之上,该公司开源负责人Chris Aniszczyk表示,如果没有开源软件,Twitter将不会存在,用户在移动端和PC端发送和接收的每一条推文都会需要开源软件。

在Twitter公司,当计划开展一个新项目时,工程师会首先衡量需求以及开源项目的能力,并通过定制开源项目来更好地满足需求。正是如此,Twitter才发展如此迅速,并轻松解决了日益飞速扩增的流量和请求。

Twitter所使用的开源项目

Twitter每天需要处理用户发送的推文数超过4亿条,此外还要处理大量的时间线(来自用户关注的人的所有推文),这一工程是相当浩大和复杂的。Twitter使用了大量的开源项目,从各种工具到各种库。如果没有这些开源项目,日常工作将无法正常运作。

下面来看看推文传递的背后都用到了哪些开源项目。

1.  分析和搜索服务

Twitter的搜索服务每天支持超过10亿次的查询,其背后的开源项目包括:

  • Apache Cassandra:一套分布式NoSQL数据库系统,以Amazon专有的完全分布式的Dynamo为基础,结合了Google BigTable基于列族(Column Family)的数据模型,是一个网络社交云计算方面理想的数据库。该项目最初由Facebook开发,于2008开源并捐赠给Apache基金会。
  • Apache Hadoop:由Apache基金会所开发的分布式系统基础架构,可使应用程序充分利用集群的威力高速运算和存储,用户可以在不了解分布式底层细节的情况下,开发分布式程序。
  • Apache Lucene:一个全文检索引擎工具包,目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。
  • Apache Pig:一个基于Hadoop的大规模数据分析平台,它提供的类SQL语言称为Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。

2. 服务器和存储

Twitter需要将每天用户发送的推文存储到数据库,并推送给其他相关的用户。该过程用到的开源项目包括:

  • Linux:主要用于Twitter服务器。
  • Memcached:主要用于Twitter的缓存基础设施,作用是加速动态Web应用程序,减轻数据库负载。
  • Mysql:流行的开源关系型数据库,被Twitter大量用于存储Twitter消息。
  • Node.js:一套用来编写高性能网络服务器的JavaScript工具包,在Twitter中用于队列处理(接收推文并写入数据库),使服务器能处理每个连接而不会阻塞通道。

3.  Twitter工程师的工具箱

  • Apache Subversion:开源的版本控制系统
  • Git:一个分布式的版本控制系统
  • Eclipse:大名鼎鼎的Java IDE。
  • Gerrit:一个基于Web的代码评审和项目管理的工具,主要面向基于Git版本控制系统的项目
  • Jenkins:一个持续集成引擎,主要用于持续、自动地构建/测试软件项目,以及监控一些定时执行的任务
  • RSpec:一个BDD 测试工具

4.  Twitter背后的编程语言和框架

  • OpenJDK:Java的开源版本。Twitter陆续将一些项目从Rails迁移到了Java。
  • Python:一种高效的动态解释型Web编程语言。
  • Ruby和Ruby on Rails:Twitter最初主要由Ruby和Rails开发。
  • Scala:Twitter使用的主要应用编程语言之一,很多Twitter的基础架构都是用Scala编写。
  • Clojure:Clojure是一种运行在Java平台上的Lisp方言,在任何具备Java虚拟机的地方,都可以利用Lisp的强大功能。Twitter的大数据处理系统Storm就是基于Clojure。
  • Drupal:使用PHP语言编写的开源内容管理框架(CMF),由内容管理系统(CMS)和PHP开发框架共同构成。Twitter的开发者社区基于Drupal构建。
  • Sinatra:一个轻量、快速的Ruby开发框架。

5.  Twitter的前端解决方案

  • jQuery:全球使用最广泛的JavaScript框架。
  • Less:一个使用广泛的CSS预处理器,通过简单的语法和变量对CSS进行扩展,可减少很多CSS的代码量。
  • MooTools:一个简洁、模块化、面向对象的开源JavaScript框架,为开发者提供了一个跨浏览器的JS解决方案
  • Zepto.js:一个轻量级的Javascript框架,主要用于移动开发

6.  Twitter服务开发框架

  • TwistedMatrix:一个Python 框架,用来开发非阻塞异步的网络服务和应用程序。
  • Netty:一个异步的、事件驱动的Web应用框架和工具,用于快速开发高性能、高可靠性的网络服务器和客户端程序。Netty目前作为Twitter的核心队列Kestrel的通信模块。
  • Apache Thrift:一个由Facebook开源的远程服务调用框架,采用接口描述语言定义并创建服务,支持可扩展的跨语言服务开发,所包含的代码生成引擎可以在多种语言中创建高效的、无缝的服务。

Twitter公司所开源的项目

Twitter从开源社区中获得了大量的好处,而Twitter也在不断地回馈社区,开源了大量基础设施和工具,使得其他企业和开发者不必重新发明轮子,在这些开源项目的基础上更加快速地实现自己所需。

1.  大数据处理

  • scalding:一个用于Cascading的Scala API。Cascading是一个构建于Hadoop上的API,用来创建复杂和容错数据处理工作流,它抽象了集群拓扑结构和配置,允许开发者快速开发复杂分布式的应用,而不用考虑背后的MapReduce。
  • summingbird:允许开发者以类似于本地Scala或Java的方式编写MapReduce程序,并在大部分著名的分布式MapReduce平台(包括Storm和Scalding)中执行它们。

2.  前端项目

  • Bootstrap:一个用于前端开发的工具包,包含了基本的CSS、HTML组件,包括排版、表单、按钮、表格、网格、导航等。
  • TwUI:针对Mac平台的、支持硬件加速的UI框架,受到了UIKit的启发。
  • typeahead.js:一个快速、全功能的自动完成库
  • hogan.js:一个Mustache模板语言的编译器

3.  后端服务

  • TwitterMysql:Twitter的MySQL分支
  • Parquet:一种Twitter内部供Hadoop使用的列式存储格式,为Hadoop生态系统中的所有项目提供支持高效率压缩的列式数据表达,而且与数据处理框架、数据模型或编程语言无关。
  • Finagle:一个允许开发者使用Java、Scala或其他JVM语言来构建异步RPC服务器和客户端的库,主要用于Twitter的后端服务。
  • iago:一个负载生成器,用来在产品正式发布前做流量负载测试。
  • twemproxy:一个快速、轻量级的memcached和redis代理服务器
  • zipkin:一个分布式的跟踪系统。在Twitter中用于收集各个服务上的监控数据,并提供查询接口。

4.  Twitter基础设施通用库

  • commons:Twitter的Python、JVM公共库
  • util:Twitter的一些可重用的代码库
  • cassovary:一个基于JVM的简单的大图形处理库

5.  收购其他公司后开源的项目

Twitter还收购了一些公司,并将这些公司的软件以开源形式发布。

  • Storm:这是一个类似于Hadoop的实时数据处理框架,最初由BackType开发,后来BackType被Twitter收购,Twitter将Storm作为其实时数据分析系统。
  • Whisper Systems的所有项目:Whisper Systems是一家移动安全初创公司,主要为Android手机和平板用户提供企业级的安全和管理解决方案。Twitter于2011年12月收购该公司,随后宣布将逐步开放Whisper Systems所有软件源代码。

更多的开源项目:http://twitter.github.io/

Twitter内部的开源氛围

1.  比Google更自由

尽管Google也开源了大量的项目,但是其开源程度并没有Twitter彻底。比如在数据中心方面,Google做了大量的保密工作,而在Twitter公司,这些要开放得多,员工自由实验的空间更大。

在一些大型企业中,所使用的软件或系统是相当固定的,员工需要在该基础设施上开发东西。而据Twitter员工透露,Twitter允许员工尝试新的不同的东西,甚至允许使用不同的语言和开源项目来重构Twitter的一些服务。

之前Google“20%的自由时间”为人津津乐道,如今该福利已经取消了。而在Twitter,每季度公司会举办hackweeks,员工可以拿出一周的时间从事各式各样的项目,这些项目不需要和他们每天的职责相关。

2.  在公司内部培训开源技术

2013年8月,Twitter收购了致力于开源技术培训的Marakana公司,成立了Twitter大学(TwitterUniversity),其目的主要是为内部员工提供更丰富的培训资源,同时也希望吸引更好的工程技术人才加入公司。

Twitter大学将陆续向大众开放,Twitter也将部分教育资源放到了网上。比如scala_school(这是针对Scala编程语言的一系列教程)。

Twitter对开源基金会的支持

Twitter也通过资金和代码赞助了一些开源基金会和组织。

  • Ada Initiative:一个在技术和文化上支持妇女参与开源技术的组织。
  • Apache软件基金会:Twitter工程师也参与贡献了Apache软件基金会的部分项目。
  • Eclipse基金会
  • JCP:Java社区进程,主要负责制定Java规范和标准。
  • Linux基金会:负责协调和推动Linux系统的发展。
  • OIN:Open Invention Network(开放创新网络),一个旨在减轻Linux开发人员受到专利诉讼压力的机构。
  • OpenJDK:Java的开源实现。

总结

Twitter在2011年就专门成立了一个“开源办公室”,用来支持对Twitter至关重要的开源组织。这足以见得开源对于Twitter的重要性。

Twitter公司开源负责人Chris Aniszczyk称,如果在开源社区花费一些精力,将会意识到信息的开放对于整个世界所带来的积极影响,在Twitter,从内到外都保持着开放的心态和浓厚的开源氛围,而且每个员工都有机会参与其中。同时Twitter对开源社区所做出的伟大工作充满感恩,并将一直和开源社区保持健康的关系。

再来看国内,如今一些大型互联网公司也开始重视开源,在使用开源项目构建基础服务的同时,也不忘回馈开源社区。【企业开源系列】后面也将会聚焦国内开源企业,带领大家认识一个全新的国内开源生态。

TreeView在电信综合统计管理系统中的应用-Delphi资料 VB6.0动态加载ActiveX控件漫谈-Delphi资料 捕捉来自 Thread 的异常-Delphi资料 定制Speedbar-Delphi资料 动态产生构件并相应事件-Delphi资料 对Borland可视部件的一处改进-Delphi资料 控件使用技巧-Delphi资料 改变VCL的行为--一个使用可视化元件的实例-Delphi资料 具有不同字体的列表框-Delphi资料 快速大量地更改控件内容-Delphi资料 快速动态创建MenuItem-Delphi资料 利用Delphi 5中调用Excel 97 利用Delphi的Tbitmap控件抓取屏幕图象 利用delphi美化你的菜单 面向组件的系统开发方法-Delphi资料 强大的树型编程控件TeeTree1.01-Delphi资料 确定MEMO控件中的当前行和列-Delphi资料 让字体左、右对齐-Delphi资料 如何给TListBox加上水平的滚动条?-Delphi资料 如何快速选择一个组件的父亲-Delphi资料 如何用Delphi编写自己的可视化控件 如何用VB创建控件-Delphi资料 生成程序组和项-Delphi资料 实现超级链接-Delphi资料 实战Delphi数据网格色彩特效 使dbgrid的某几笔资料变色-Delphi资料 树形图(Treeview)的使用概述-Delphi资料 透明FORM-Delphi资料 为列表框添光彩-Delphi资料 限制FORM的大小-Delphi资料 用Delphi开发分隔线组件 打印问题,请各位提点建议。 DBA的缺省密码---【在线等】 错误:"参数类型不正确,或不在可以接受的范围之内,或与其他参数冲突。" 产生原因 免费100m asp 空间 求救,如何打开一个USB设备,CreateFile吗?请具体些 在线求救 谁是最可恨的人? 如何将本页设为只能是 target="_top" 谁有格斗游戏的源码,设计资料! 三人合作共同开发一网站,现需页面设计,有意者留下EMAIL 怎样用C#把窗口菜单和按钮做成象VS.NET中的平面菜单和工具栏上的平面按钮? 为什么在MMC中新建SQLSERVER注册总是出现超时已过期的错误? 這樣定義宏是什么意思:#define LIBCMD(givenfunction) \? ===这样的SQL在ORACLE 怎么执行不了 一个WIN2000与WINXP的共享问题 如何将一个CBitmap存为BMP文件? 在directshow中,如何实现像大部分播放器那样的“快进”功能? 较难问题--IE6不能启用cookie? 如何修改group里的数据排序方式? 如何写动态SQL语句??? 怎样让select元素不能修改? 谁用过微软的tts??? 郁闷......呀,偶MM说接吻觉得恶心!!!! 请教高手,本人想请教通过数值如:12.5转换成UNICODE的问题,急!!!在线等待 我现在的密码不好记,如何更改密码? 请教大侠;RMI问题 ASP+SQL server免 费空间哪里有100分送给你. 有没有人用过Virtual PC这个软件的啊???快救命啊!!!!!正等着用啊!!!! 有谁知道在上海周边有哪些电脑配件的厂家,如机箱.主板.显示器之类的? 关于“汇总数据”的问题 请尽快帮我解决病毒问题 菜鸟6000分依次提问ORACLE问题,第一个:大虾给我个函数里建虚表并插入数据的例子 EJB使用大数据量的问题 怎样用DirectShow写一个RenderFilter & SourceFilter linux下的应用程序,界面语言问题 VSS中的Pin和Unpin有什么用?在什么情况下使用? 一个WINXP与WIN2000的共享问题(急) 我想问一下,能不能用sql sever2000 开发桌面型的mis系统 我想监测某个端口的通信主要是 TCP 端口,不想写网卡过滤驱动,各位有什么高招? java的用户文档在那里下载? 急,大小写和建主键的问题 我学校在选拔人参加济南市一个五子棋编程大赛,请教各位高手! 请斑主Montaque进,请直接过来拿分! 关于wise installer的问题 sqlserver两个表中的求和问题,在线等待。。。 页面的设计请教 为什么老是出错,windows2000 请问getdocument写在函数里,和写在头文件里作为view类的成员,除了作用域被扩大了之外,在功能上有什么不同? 为了安全我只开了21,25,80,110,1723端口, 结果自已的IE上不了网? 不知还需要开哪个口子,才能上网.谢谢!!! 简单!!!谁能告诉我,这个定义是什么意思吗? VC不正常了,帮忙 What a hard work it is to remember all the words 改错 五步蛇是啥 通常对商品分类和编码是分别进行的,商品编码在先,分类在后.判断题对的还错的,给出理由 假如有一瓶室温下长期密封的氯化钠稀溶液,下面那个选项是正确的?A接近瓶口的溶液较稀B瓶底附近的溶液较浓C瓶内溶液各部分密度相同D瓶底会析出少量氯化钠固体理由最好清楚点 请问这个电阻多大啊 ”商品分类“与“商品分类体系”有什么作用?希望是书本上的内容! 有一瓶封闭保存长期放置的氯化钠溶液下列说法正确的是A.瓶底附近的溶液较浓B.瓶口附近的溶液较稀C.瓶底一定有固体食盐D.瓶内各部分密度相同 请问这个电阻是多大的 如何给商品分类 有一瓶长期密封放置的食盐溶液,下列说法中,正确的是( )A.瓶底附近的溶液较浓B.瓶口附近的溶液较稀C.瓶底一定有固体食盐D.瓶内各部分密度相同 求DNA,基因,染色体,细胞核各自之间的关系. 请问;沉淀法对沉淀形式的要求是什么? 求氯化苄热力学数据氯化苄的定比压热熔和汽化热?热容 和 气化热 数据 求基因,DNA,染色体,细胞核之间的关系.(那些什么是什么的载体,什么在什么上呈线性分布…). 有什么成语里能包含四和八这两个字呢?比如说是四面八方~ 碳在高温下,可还原CuO,发生了( )反应,( ) 反应夺取氧什么反应失去氧什么反应 宇宙有多大,是什么形状,球形,方形,椭圆体? 带有"四"的成语有哪些?(要三个,不包括:四面八方.四通八达) CUO与AL反应方程式? 火在太空和深海里是什么形状的呢? 生物体的结构是什么 泡生法蓝宝石晶体炉可以用石墨毡保温吗? 在宇宙火什么形状,我知道答案,考考你们 什么成语跟四通八达差不多,但不叫四通八达 把下列的拼音分类g、yu、y、j、a、i、si、wu、l声母:韵母: 四平八稳 哪四平?哪八稳? 生物体的结构 按要求给拼音分类.梗gěng 蜷quán 押yā 丞chéng 煎jiān 阅yuè 誉yù 昌chāng 驰chí 制zhì 役yì 铭míng 万wàn 迎yíng 阀fá 萍píng 蕴yùn 源yúan 批pī 沧cāng 1.三拼音节:_ 2.整体认读音节:_ 3.平舌音: ( )四平八的成语有哪些 四通八达打成语 成语四平八稳的意思和解释,用四平八稳造句及其故事典故 请问是( )四平八?(成语)请速回! 带有数字的成语,如:四面八方急 五步蛇有没有人买五步蛇!我的家乡有很多 带有四平的成语四平在前 珊瑚礁为什么会被称为“海洋绿洲”? 五步蛇能吃吗?能吃的话,要怎么做呀! 电解饱和食盐水方程式中的氧化剂 为什么珊瑚礁被誉为海洋的热带雨林?为什么?要简洁明了 红色石蕊试纸检验氨气的步骤 多晶硅生产过程中,有些氯硅烷无法处理,比如二氯二氢硅,金属杂质含量较高的三氯氢硅和四氯化硅,只能走尾气淋洗系统或是外卖;这样比较浪费.听说气相法白炭黑可以用氯硅烷做原料,不知 CMOS的读法和意思理解.还有所指芯片的作用.CMOS 和BIOS的意思与读法.例如BIOS 败奥斯.他们的详细意思.和所指芯片组的作用.还有他们在主板上起到的作用. 反比例相关联的两个量的乘积表示的意义是( ) 那成正比例的图和成反比例的图有什么特征? 五步蛇身上黑黑的叫什么? 沉淀法 白炭黑百度怎么控制 拼音的种类我要寻找一种怪怪的拼音,有个人给我写了封匿名信,用很怪很怪的符号写的,写信的人说是拼音,所以想寻最最最怪的拼音, 怎么养鸭 生物体系统是什么构成 氧化还原反应算不算氧化反应? 若养鸭专业户在自家池塘边改一个面积为150cm方的长方形鸭舍,如图,鸭舍的一边靠墙,墙长16m,并且与墙平行的一个边开一个1cm宽的门,现有能为成34m长的篱笆,求鸭舍的长与宽. 生物体是有什么组成的? 拼音分类 成语:四平八稳 指的是哪四平?哪八稳? 谁能告诉俺,这两个电阻是多大? 操作系统的构造和原理? 还原糖一定是单糖吗?貌似有些二糖也是的样子.我搞不清了. 商品分类有哪些? 婚礼寓意都有哪些 为什么要叫五步蛇呢? 电解饱和食盐水方程式 日本驻华大使:日中关系不是能够轻易被唐家璇:中日关系深层次原因在于彼此认意大利酒文化展为世博会热身唐家璇:松下35年前预言成现实 中日俄远东南库页岛发生6.2级地震李克强与三国总理会晤解析:中国外交布日本驻华大使:日中关系不是能够轻易被外媒:美国监听35国政要 重创美欧外唐家璇:松下35年前预言成现实 中日唐家璇:中日关系深层次原因在于彼此认第九届北京―东京论坛26日在北京开幕查尔斯不想当国王? 英媒爆王储担心被河南“猪蹄店要账横幅”事件:欠款已全英媒称斯诺登一机密文件披露美监听35中欧推动世贸组织在MC9上达成早期收福岛近海发生7.1级地震 最大观察到欧洲多国一致声讨美国监听事件 默克尔报效桑梓浙商情深 前三季浙商回归项目福岛近海发生7.1级地震 最大观察到马耳他总统阿贝拉会见杜青林我们与美国不得不重建信任武装分子控制伊拉克境内毗邻叙利亚边境北京警方利用大数据预测犯罪趋势欧洲空中运输指挥部在保加利亚举行联合韩国“岁月”号船员第二次受审德国居民楼地下室着火 26名老人受伤巴基斯坦军方清剿行动打死25名武装分荷兰赛-郑洁女双抢十险胜 单双打均顺7米长的丝绸之路“哥德堡”号船模将亮新华国际时评:识时务者为俊杰巴基斯坦东部城市拉合尔爆发冲突 7人巴基斯坦军方清剿行动打死25名武装分商洛:拉土车撞毁学校大门 驾驶室两人延长15岁女孩多次遭强奸 1人被刑拘“占道经营“用高压水枪驱赶 村委会做在银行办储蓄卡必须预存1000元? “最美连江人”系列沙龙活动启动日本西之岛发现第四个火山口 岛面积或河北高阳县政法委常务副书记因公车私用“海贝思”致福建长泰公路40多处滑坡韩国“岁月”号船员第二次受审华为寄望4G新手机创销售佳绩
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘