说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

【企业开源系列】收发一条Twitter推文的背后

HTML文档下载 WORD文档下载 PDF文档下载
7年前的一个创意,成就了如今风靡全世界的社交网络和微博客服务——Twitter。如今Twitter的月活跃用户数达到了2亿多,每天有超过4亿条推文被发送。这一切的背后,是由大量的开源项目在支撑。

Twitter被称为“互联网的短信服务”,允许用户发布不超过140个字的微博客,该创意来自Twitter的联合创始人Jack Dorsey,这个在7年前被分析师称为“有史以来最愚蠢”的创意,不料如今已经成为了风靡全世界的社交网络和微博客服务,月活跃用户达到了2.183亿人,每天有超过4亿条推文(tweet)被发送。

2013年11月7日,Twitter正式在纽约证券交易所上市,发行价26美元,但开盘即大涨73%至45.1美元。

Twitter可以称之为构建于开源项目之上,该公司开源负责人Chris Aniszczyk表示,如果没有开源软件,Twitter将不会存在,用户在移动端和PC端发送和接收的每一条推文都会需要开源软件。

在Twitter公司,当计划开展一个新项目时,工程师会首先衡量需求以及开源项目的能力,并通过定制开源项目来更好地满足需求。正是如此,Twitter才发展如此迅速,并轻松解决了日益飞速扩增的流量和请求。

Twitter所使用的开源项目

Twitter每天需要处理用户发送的推文数超过4亿条,此外还要处理大量的时间线(来自用户关注的人的所有推文),这一工程是相当浩大和复杂的。Twitter使用了大量的开源项目,从各种工具到各种库。如果没有这些开源项目,日常工作将无法正常运作。

下面来看看推文传递的背后都用到了哪些开源项目。

1.  分析和搜索服务

Twitter的搜索服务每天支持超过10亿次的查询,其背后的开源项目包括:

  • Apache Cassandra:一套分布式NoSQL数据库系统,以Amazon专有的完全分布式的Dynamo为基础,结合了Google BigTable基于列族(Column Family)的数据模型,是一个网络社交云计算方面理想的数据库。该项目最初由Facebook开发,于2008开源并捐赠给Apache基金会。
  • Apache Hadoop:由Apache基金会所开发的分布式系统基础架构,可使应用程序充分利用集群的威力高速运算和存储,用户可以在不了解分布式底层细节的情况下,开发分布式程序。
  • Apache Lucene:一个全文检索引擎工具包,目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。
  • Apache Pig:一个基于Hadoop的大规模数据分析平台,它提供的类SQL语言称为Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。

2. 服务器和存储

Twitter需要将每天用户发送的推文存储到数据库,并推送给其他相关的用户。该过程用到的开源项目包括:

  • Linux:主要用于Twitter服务器。
  • Memcached:主要用于Twitter的缓存基础设施,作用是加速动态Web应用程序,减轻数据库负载。
  • Mysql:流行的开源关系型数据库,被Twitter大量用于存储Twitter消息。
  • Node.js:一套用来编写高性能网络服务器的JavaScript工具包,在Twitter中用于队列处理(接收推文并写入数据库),使服务器能处理每个连接而不会阻塞通道。

3.  Twitter工程师的工具箱

  • Apache Subversion:开源的版本控制系统
  • Git:一个分布式的版本控制系统
  • Eclipse:大名鼎鼎的Java IDE。
  • Gerrit:一个基于Web的代码评审和项目管理的工具,主要面向基于Git版本控制系统的项目
  • Jenkins:一个持续集成引擎,主要用于持续、自动地构建/测试软件项目,以及监控一些定时执行的任务
  • RSpec:一个BDD 测试工具

4.  Twitter背后的编程语言和框架

  • OpenJDK:Java的开源版本。Twitter陆续将一些项目从Rails迁移到了Java。
  • Python:一种高效的动态解释型Web编程语言。
  • Ruby和Ruby on Rails:Twitter最初主要由Ruby和Rails开发。
  • Scala:Twitter使用的主要应用编程语言之一,很多Twitter的基础架构都是用Scala编写。
  • Clojure:Clojure是一种运行在Java平台上的Lisp方言,在任何具备Java虚拟机的地方,都可以利用Lisp的强大功能。Twitter的大数据处理系统Storm就是基于Clojure。
  • Drupal:使用PHP语言编写的开源内容管理框架(CMF),由内容管理系统(CMS)和PHP开发框架共同构成。Twitter的开发者社区基于Drupal构建。
  • Sinatra:一个轻量、快速的Ruby开发框架。

5.  Twitter的前端解决方案

  • jQuery:全球使用最广泛的JavaScript框架。
  • Less:一个使用广泛的CSS预处理器,通过简单的语法和变量对CSS进行扩展,可减少很多CSS的代码量。
  • MooTools:一个简洁、模块化、面向对象的开源JavaScript框架,为开发者提供了一个跨浏览器的JS解决方案
  • Zepto.js:一个轻量级的Javascript框架,主要用于移动开发

6.  Twitter服务开发框架

  • TwistedMatrix:一个Python 框架,用来开发非阻塞异步的网络服务和应用程序。
  • Netty:一个异步的、事件驱动的Web应用框架和工具,用于快速开发高性能、高可靠性的网络服务器和客户端程序。Netty目前作为Twitter的核心队列Kestrel的通信模块。
  • Apache Thrift:一个由Facebook开源的远程服务调用框架,采用接口描述语言定义并创建服务,支持可扩展的跨语言服务开发,所包含的代码生成引擎可以在多种语言中创建高效的、无缝的服务。

Twitter公司所开源的项目

Twitter从开源社区中获得了大量的好处,而Twitter也在不断地回馈社区,开源了大量基础设施和工具,使得其他企业和开发者不必重新发明轮子,在这些开源项目的基础上更加快速地实现自己所需。

1.  大数据处理

  • scalding:一个用于Cascading的Scala API。Cascading是一个构建于Hadoop上的API,用来创建复杂和容错数据处理工作流,它抽象了集群拓扑结构和配置,允许开发者快速开发复杂分布式的应用,而不用考虑背后的MapReduce。
  • summingbird:允许开发者以类似于本地Scala或Java的方式编写MapReduce程序,并在大部分著名的分布式MapReduce平台(包括Storm和Scalding)中执行它们。

2.  前端项目

  • Bootstrap:一个用于前端开发的工具包,包含了基本的CSS、HTML组件,包括排版、表单、按钮、表格、网格、导航等。
  • TwUI:针对Mac平台的、支持硬件加速的UI框架,受到了UIKit的启发。
  • typeahead.js:一个快速、全功能的自动完成库
  • hogan.js:一个Mustache模板语言的编译器

3.  后端服务

  • TwitterMysql:Twitter的MySQL分支
  • Parquet:一种Twitter内部供Hadoop使用的列式存储格式,为Hadoop生态系统中的所有项目提供支持高效率压缩的列式数据表达,而且与数据处理框架、数据模型或编程语言无关。
  • Finagle:一个允许开发者使用Java、Scala或其他JVM语言来构建异步RPC服务器和客户端的库,主要用于Twitter的后端服务。
  • iago:一个负载生成器,用来在产品正式发布前做流量负载测试。
  • twemproxy:一个快速、轻量级的memcached和redis代理服务器
  • zipkin:一个分布式的跟踪系统。在Twitter中用于收集各个服务上的监控数据,并提供查询接口。

4.  Twitter基础设施通用库

  • commons:Twitter的Python、JVM公共库
  • util:Twitter的一些可重用的代码库
  • cassovary:一个基于JVM的简单的大图形处理库

5.  收购其他公司后开源的项目

Twitter还收购了一些公司,并将这些公司的软件以开源形式发布。

  • Storm:这是一个类似于Hadoop的实时数据处理框架,最初由BackType开发,后来BackType被Twitter收购,Twitter将Storm作为其实时数据分析系统。
  • Whisper Systems的所有项目:Whisper Systems是一家移动安全初创公司,主要为Android手机和平板用户提供企业级的安全和管理解决方案。Twitter于2011年12月收购该公司,随后宣布将逐步开放Whisper Systems所有软件源代码。

更多的开源项目:http://twitter.github.io/

Twitter内部的开源氛围

1.  比Google更自由

尽管Google也开源了大量的项目,但是其开源程度并没有Twitter彻底。比如在数据中心方面,Google做了大量的保密工作,而在Twitter公司,这些要开放得多,员工自由实验的空间更大。

在一些大型企业中,所使用的软件或系统是相当固定的,员工需要在该基础设施上开发东西。而据Twitter员工透露,Twitter允许员工尝试新的不同的东西,甚至允许使用不同的语言和开源项目来重构Twitter的一些服务。

之前Google“20%的自由时间”为人津津乐道,如今该福利已经取消了。而在Twitter,每季度公司会举办hackweeks,员工可以拿出一周的时间从事各式各样的项目,这些项目不需要和他们每天的职责相关。

2.  在公司内部培训开源技术

2013年8月,Twitter收购了致力于开源技术培训的Marakana公司,成立了Twitter大学(TwitterUniversity),其目的主要是为内部员工提供更丰富的培训资源,同时也希望吸引更好的工程技术人才加入公司。

Twitter大学将陆续向大众开放,Twitter也将部分教育资源放到了网上。比如scala_school(这是针对Scala编程语言的一系列教程)。

Twitter对开源基金会的支持

Twitter也通过资金和代码赞助了一些开源基金会和组织。

  • Ada Initiative:一个在技术和文化上支持妇女参与开源技术的组织。
  • Apache软件基金会:Twitter工程师也参与贡献了Apache软件基金会的部分项目。
  • Eclipse基金会
  • JCP:Java社区进程,主要负责制定Java规范和标准。
  • Linux基金会:负责协调和推动Linux系统的发展。
  • OIN:Open Invention Network(开放创新网络),一个旨在减轻Linux开发人员受到专利诉讼压力的机构。
  • OpenJDK:Java的开源实现。

总结

Twitter在2011年就专门成立了一个“开源办公室”,用来支持对Twitter至关重要的开源组织。这足以见得开源对于Twitter的重要性。

Twitter公司开源负责人Chris Aniszczyk称,如果在开源社区花费一些精力,将会意识到信息的开放对于整个世界所带来的积极影响,在Twitter,从内到外都保持着开放的心态和浓厚的开源氛围,而且每个员工都有机会参与其中。同时Twitter对开源社区所做出的伟大工作充满感恩,并将一直和开源社区保持健康的关系。

再来看国内,如今一些大型互联网公司也开始重视开源,在使用开源项目构建基础服务的同时,也不忘回馈开源社区。【企业开源系列】后面也将会聚焦国内开源企业,带领大家认识一个全新的国内开源生态。

VB如何取得磁盘序列号? VB如何让Window不接受键盘输入及Mouse Click VB如何让程序拥有多个热键? VB如何让用户自行输入方程式,并计算其结果? VB如何使程序不在Ctrl+Alt+Del弹出的对话框内? VB如何使用 VB 编写自动反安装的程序? VB如何用VB建立快捷方式 VB如何用VB在桌面建立快捷方式 VB如何在 VB 中控制 Modem 行为? VB如何在VB中判断Windows9x的运行模式 VB如何在Visual Basic中实现异步执行程序 VB如何在开机时自动更换墙纸? 使回车具有 Tab 的功能-VB资料 输入时,自动转换成小写? -VB资料 显示多媒体信息 -VB资料 也谈Windows 下的自动存盘 -VB资料 一个小巧精致的CPU监视器 -VB资料 应用VB4.0实现工业控制的实时曲线和历史曲线 应用程序中实现关机功能-VB资料 萤幕抓取与萤幕保护程式 -VB资料 用VB5.0创建Windows快捷方式 用VB5.0收集键盘和鼠标信息 用VBA限制非注册软件使用时间 用VB编程检测当前电池使用情况 用VB编写定时关闭计算机的程序 用VB编写键盘拦截程序 用VB函数轻松访问系统注册表 用VB设计一个定时闹钟程序 用VB实现拖放功能 在VB中启动控制面板 在VB中异步执行程序 c++类的一个小问题 一个大家都很棘手的问题 关天构造函数的问题 学习《windows程序设计》中的问题? pb8里的autoscript怎么弹出那么慢 消息:c++与Visaul c是不是有一定的区别呢? 怎样通过程序获得当前可用的拨号网络列表?? 高手在哪里?-------> 如何在第一时间里获得屏幕的变化呢?及获得屏幕变化的那部分?各位大师,帮帮我。谢了。 请问想具备基本的网络和数据库管理方面的知识,看什么书好啊?请大家帮忙推荐一下,谢谢! 请教W2k下使用Access的问题 大家帮帮忙,sql菜鸟问题, 各位兄弟帮忙看一下 谁知道高程分数线?拜托告知一声! 如何判断是否做了超级连接? vc中怎样调用dos下的代参数的可执行文件???请教! 如何让TreeView控件的每一个子节点前有一个多选框! jbuilder4中的JGL的问题 如何构建一个数据仓库(高分求救) 怎么样在NT里看到我的电脑装了哪些硬件? 查找数据不连系变化 招聘WINDOWS界面程序员(可兼职) 哪里有介绍cricheditview的中文文章,最好是详细一点的,谢谢! 怎么样将NT里的Temp这个文件移到别的分区? 刚买的机器回来却出了问题(请教高手) 小问题70分,谁解决了就送给谁 Server对象中,由两个方法跳转到其它网页,一个是 Execut() 另一个是什么?? 输入日期有误时,系统出现提示信息?如何避免这一现象,并且出现自己的提示信息呢? 怎样才能既不允许改变combox的值,又能给它的text属性赋值。也就是怎么指定它显示哪一项? 如何使用windows media 软件 WebBrowser控件的更多帮助信息到哪里找? VC中有关CListView的问题,请各位大侠指点 哪位老师知道.gra(据说是FOXPRO下使用的图表文件)如何打开?谢谢! DirectShow----WM_GRAPHNOTIFY怪问题!!! 到哪里可以找到DAO的最新的引擎? 拨号网络的原理是什么?请各位大哥赐教 有关于SQl_DMO. 如何在servelt中调用javabeans及其属性?急!也就是说,在servlet中如何通过调用javabean来和jsp进行通信呢? xslt语句可不可以内嵌到javascript函数中作参数??? 请大家进来探讨一个问题:用VC++编写事件处理程序 Fastreport2.45的安装及其应用,请高手help(分不够可以再加!!!) 招聘:windows界面程序员(可兼职) 请帮忙指出以下语句的错误。 用r+打开一个只读文件会怎样? 数据库连接没有问题,怎样解决这个数据库备份出错问题? 诸位大虾,VBA里面有没有全局的宏 高手,谁能大概讲一下,引用是如何工作实现的呢? WIN_NT上的IIS问题:想将InetPub目录移动,可是怎么也不能将InetPub目录下的Catalog.wci,MailRoot目录移动,也不能删除,请教。 Tdatetimepicker 极限搜索:上海 高程 考分查询 如何在vc下调用dos下带参数的.exe文件????请指教。。。。 高分求救!哪位高手能否帮我解决一下2道C编程的题目,我讲感激不尽!!!谢谢 磷在氯气中燃烧现象及原因 1-3丁二烯发生1.4加成或1.2加成的反应原理是什么 高一化学:用单线桥连接方法表示氧化还原反应中化合价的升降、电子转移 老师好!如图所示A~G是初中化学常见物质.图中剪头代表转化,“—”表示能相互反应.A为Hcl,G为H2.B,C,D,E,F均为氧化物. 1,3-丁二烯与等物质的量的溴加成时,主要是1,2-加成还是1,4-加成? 高一化学.单线桥 有关电子转移1题 K2Cr2O7 + 14HCl = 2KCl + 2CrCl3 +3Cl2 + 7H2O若有1molHCl被氧化,则有多少mol电子转移生成Cl2的物质的量是多少2题 3Cl2 + 8NH3 = N2 +6NH4Cl若有106.5gCl2参加反应则被氧化的NH3在标况下的体积多 初中化学中的几种常见物质有下图所示的转化关系 单线桥表示电子转移 请说明详细的情况 一道电子转移的化学题~在一定条件下,分别以高锰酸钾,氯酸钾,过氧化氢为原料制取氧气,当制得同温,同压下相同体积的氧气时,三个反应中转移的电子数之比为6KMnO4===3K2MnO4+3MnO2+3O2 2KClO3=2KCl+3O2 (2009•重庆)(4分)初中化学中的几种常见物质有下图所示的转化关系(部分反应物和生成物已略去),其中反应②常用于工业生产,反应③常用于实验室制备F气体.请回答下列问题:(1 初中化学重要化学方程式以及化学符号知识? ……氯气和磷发生反应~ 甲、乙、丙、丁是初中化学常见的化合物,甲和乙中含有碳元素,丙能做干燥剂.它们之间有如下图所示的转化关系(部分物质和反应条件已略去).则乙的化学式为______;丙转化为丁的化学方程 稍微说详细点,怎么看电子转移多少 就是不理解,到底算哪的?给个系统的回答,思路。 高一化学氧化还原反应方程式 初中化学的重点知识有哪些? 氯气与磷的反应条件如上 写出下列反应的化学方程式,若为氧化还原反应,请标出电子转移的方向与数目⑴铜与稀硝酸反应 ⑵二氧化氮与水反应⑶加热氯化铵和氢氧化钠的混合液 ⑷碳与浓硝酸反应 实验室制取氯气的化学方程式 4NH3+5O2=4NO+6H2O 有多少电子转移?当有2MOL电子转移时,有多少MOL氨参加反应? P与干燥氯气反应,若0.25克磷消耗314ML氯气 (标准状况)则产物中PCI3PCL5的物质的量之比 写出实验室制取氯气的化学方程式 A、B、C、D、E是初中化学常见的五种化合物,C、D为同一类物质,他们之间的转化关系 一定条件下磷与干燥的氯气反应,若0.25g磷消耗314ML氯气(标准状况下)0 - 解决时间:2010-6-16 19:41 一定条件下磷与干燥的氯气反应,若0.25g磷消耗314ML氯气(标准状况下),则产物中PCL3与PCL5的物 怎么记住初中化学方程式 A、B、C、D、E五种物质均为初中化学中所涉及的常见物质,它们存在如右图的转化关系,“→”表示可以向箭头所指方向一步转化,弧线表示两种物质间可以发生反应,C是常见气体,D是常见单质,( 一定条件下磷与干燥氯气反应,若0.25克磷消耗314ML氯气 (标准状况)则产物中PCl3与PCl5的物质的量之比接近于多少? 化学方程式背的我头痛,应该怎样背? 红磷在氯气中燃烧,因鳞与氯气物质的量之比不同,可发生以下两个反应:2P+3Cl2==2PCl3PCl3+Cl2==PCl5现有6.2g红磷在0.36mol氯气中充分反应,求生成物中PCl3与PCl5各多少摩尔? 一定条件下磷与干燥氯气反应,若0.248克磷消耗336ML氯气 (标准状况)则产物中PCI3PCL5的物质的量各为多少 初中化学方程式该怎么记 红磷在氯气中燃烧的化学方程式红磷不是P2O5吗? 亚硫酸根离子与水和氯气反应的化学方程式 二氧化硫与氯气和水反应的化学方程式 24FeSO4+30HNO3=8Fe(NO3)3+8Fe2(SO4)3+3N2O+15H2O反应中1MOL氧化剂 (得 或 失 ) mol电子 红磷放在氯气中燃烧,若磷和氯气按物质的量之比为1∶1.8混合,充分反应后生成物中三氯化磷与五氯化红磷放在氯气中燃烧,若磷和氯气按物质的量之比为1∶1.8混合,待充分反应后生成物中三氯 二氧化硫和氯气两种气体按照物质的量为1比1在水溶液中发生反应的化学方程式 氧化还原反应是什么个意思.概念? 磷与不足的氯气反应及磷与足量的氯气反应的方程式 红磷在氯气中燃烧的现象是什么 氯气通入SO2溶液中反应的化学方程式和离子方程式是什么? A、B、C、D、E都是初中化学中常见的物质,其中A和D是常见的盐写出下列物质的化学式:;A:____B:_____C:_____D:______写出下列变化的化学方程式:A+B→C+DE→B—→CA溶液—— ||——|B溶液—— |—→ A.B.C.D.E均为初中化学所涉及到的物质,他们存在如图所示的转化关系,C是气体,D是常见单质“→”表示可以向箭头所指方向一步转化,弧线间的两种物质可一发生反应1.若A在常温下是液体,则C的 等物质的量的氯气和二氧化硫气体...等物质的量的氯气和二氧化硫气体和二氧化硫气体通入滴有品红溶液的氯化钡溶液中,以下叙述正确的是A.产生硫酸钡白色沉淀,溶液呈红色.B.产生白色沉淀 磷在氯气中燃烧的现象 等物质的量的氯气和碘化亚铁离子反应方程式怎么写的?急求.望各路好汉伸手相助 氯气的水溶液中通入过量二氧化硫的化学方程式 指出化学反应SO2+2H2S=3S↓+2H2O中氧化剂与还原剂的分子个数比之比为________,还原剂与氧化剂的质量之比为_____________谢 碘化亚铁里同氯气多少时恶化学方程式 A-G表示初中化学常见的物质,它们之间的转化关系如图所示(部分生成物已略去),其中A为金属氧化物,E、F为金属单质,且F为紫红色,化学反应②和③的基本反应类型相同.(已知CuO+H2SO4=CuSO4+H2O 如右图所示,A—E是初中化学常见的物质.图中“→ ”表示转化关系(部分物质和反应条件未标出).已知A是最轻的气体,C是人体胃液中含有的酸,D可以用于改良酸性土壤.①D的化学式_______;②C的 高一化学氧化还原电子数转移大家看个例子、3Cl2+8NH3====6NH4Cl+N2氧化剂是氯气、还原剂是氨气、这个都清楚、我的问题是当生成5.6L(标况)N2时、电子转移数是多少?被氧化的物质为多少克?这 实验室制取氯气反应的化学方程式. 如下图所示A—H是初中化学常见的物质.图中"→"表示转化关系,"-"表示互相能反应,(部分物质和反如下图所示A—H是初中化学常见的物质.图中"→"表示转化关系,"-"表示互相能反应,(部分物质和反 化合价的变化值*失去或得到电子的原子数=电子转移总数怎么样确定失去或得到电子的原子数?是看反应物还是看生成物? 实验室制取氯气的化学反应方程式. 如图所示,H是初中化学常见物质.图中“→ ”表示转化关系,“—”表示能相互反应(部分物质和反应条件未标出).已知A,B,C都是钙的化合物,B用于食品包装中干燥剂时可转化为C;D,E,F的组成中 1,3-丁二烯分子与一分子氯气的加成反应中是1,2-加成占优势还是1,4-加成占优势 用单线桥法表示下列反应(高一化学)!2H2+O2=2H2O4P+5O2=2P2O52KClO3=(等号上是MnO2,下是加热)2KCl+3O2↑2H2O=2Hg+O2↑WO3+3H2=W+3H2O
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn