说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Spanner vs. F1:谷歌两大数据管理利器的整体对比及关联

HTML文档下载 WORD文档下载 PDF文档下载
Spanner与F1是互联网巨头Google当下的两个数据处理利器,其中F1更支撑了AdWords这个庞大的生态系统;该系统拥有过百TB的数据,每秒处理数十万的请求,日扫描数据行更达百万亿。

自2012年9月搜索巨头Google发布Spanner论文已有一年之久,期间各种对比可以说是数不胜数。近日,ThoughtWorks India技术总监Srihari Srinivasan(曾供职于Philips Consumer Electronics、Ivega Corp等多家企业)总整体上对比了Google的两个数据库系统,并分析了两个系统之间的联系及配合机制。以下为译文:

F1设计的主旨

  • 系统可以添加资源进行纵向扩展
  • 无需改变应用程序就具备数据分片及均衡的能力
  • 对事务支持ACID特性
  • SQL的全支持,同时支持索引

Spanner目标

  • 最主要的目的就是跨数据中心的管理及复制数据
  • 数据的重分片及均衡能力
  • 主机间数据的自动迁移

从整体上看F1

1. F1建立于Spanner之上,Spanner的特性包括:分布事务间(2PC)提供强一致性、基于时间戳的整体排序、通过Paxos进行同步复制、容错、数据的自动均衡等。

2. 通过F1增加的特性:

  • 在整体数据上分配SQL查询,并提供join能力
  • 索引的事务一致性
  • 异步模式转变
  • 使用新的ORM库

F1的架构

1. 用户通过客户端库交互。

2. 任何服务器都可以接收SQL查询请求。

3. F1客户端需要通过一个本地负载均衡器,有助于降低延时。如果需要,它会负责把请求转发到本地/最近数据中心里的F1服务器。

4. F1与Spanner的服务器会位于同一个数据中心。

5. Span-server会从Colossus File System(GFS继任者)中获得数据。

  • 每个span-server都搭配了一个称为Tablet的存储抽象,通常负责100-1000个tablet实例。这些Tablet数据储存在类似B-Tree的一组文件及预写入日志上,这些文件都位于CFS之上。
  • 在tablet之上,每个span-server同样还实现了1个Paxos状态机。

6. F1服务器大部分都是无状态的,鉴于其不负责数据存储,因此添加及删除起来非常方便,不会涉及到数据转移。

7. F1进程通过主从方式组织,F1 master首先接收查询,然后再委托给slave处理。

8. Master同时还负责slave poll的维护。

9. 系统的吞吐量可以通过增加F1 master、F1 slave及span-server的数量完成。

10. 数据储存通过Spanner处理

  • Spanner将数据行分割成bucket抽象,称之为1个目录——共享1个通用前缀的连续key集合。血统关系通过目录实现。
  • 添加1个span-server将导致跨Spanner tablet的数据重新分配,但是却不会波及到其它的F1服务器,这个操作对F1服务器完全透明。
  • 鉴于数据在不同地理位置上的多个数据中心同步,提交的延时将非常高(50-150毫秒)。

11. 系统同样包含了只读副本,这些副本将不会计算到Paxos算法中。只读副本只用于读的快照,因此支持OLTP和OLAP的负载隔离。

数据模型——分层架构

  • 从逻辑层看F1,它的数据模型非常类似RDBMS;此外,F1中的表格可以用分层模式组织。
  • 分层中, root table对应的行被称为root row。
  • Root row的child table对应行被储存在单独的Spanner目录中。
  • 客户端应用程序通过调用INTERLEAVE IN声明数据库架构的层次。
  • 目录表格的每行都拥有一个键K,连同子表中所有行一起,从K开始按照字典顺序递增组成一个目录。
  • 每个子表格都与父表格中的行聚合并交叉。
  • 论文中还强调了读、写操作可以从分层架构中获得的好处,然而在实际上,分层架构并不是F1中唯一的模型。
  • F1中的索引具有事务性并且完全一致,在Spanner中使用单独的表进行存储,键则使用索引键与被索引表格主键的串连。
  • 使用两种类型的物理存储布局——Local及Global。

F1中的查询处理

F1中的查询管理类似于当下多数的SQL-on-Hadoop解决方案,比如Cloudera的Impala、Apache Drill及无共享并行数据库。

查询的生命周期

  • 每个查询都会配备一个协调节点,这个节点负责接收SQL查询请求。
  • 协调器会负责计划执行以及从结果的接收,并做结果的聚合、排序及过滤,最后会将结果返回给客户端。
  • 基于数据被不停的分割,计划器还负责分割长度的制定,以最小化查询的时间。
  • 基于被处理数据及分割范围,计划器/优化器甚至会对预处理数据进行再分配。

网络延时的处理

F1的主数据存储就是Spanner,可以看成是一个远端数据资源,因此F1 SQL同样可以访问远端低延时数据资源。

访问远端数据资源产生的延时通过查询不同阶段的批处理及流处理缓和,同时查询操作符经过特定的设计为处理管道后续阶段传输尽可能多的数据。

最后

自2012年起,F1系统就负责了AdWords广告活动的数据管理。AdWords是个庞大的生态系统,设计数百的应用程序及数千的用户。数据库里的资料超过100TB,每秒处理数十万请求,每天扫描上百万亿的数据行。可用性达到5个9,对比传统的MySQL系统,即使在计划外宕机时,延时都不会显著增加。

原文链接: F1 and Spanner Holistically Compared(编译/仲浩 审校/周小璐)


以“应用驱动的架构与技术”为主题的第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)将于2013年12月5日-6日在北京世纪金源大酒店举行。大会共设“大数据架构与系统”、“大数据技术”、“大数据应用”、“大数据的研发趋势”,“大数据基准测试(Benchmark)”,以及“智能交通与大数据” 六个分论坛,大牛坐而论道,专家实践分享。10月25日之前, 最低票价!从速!

Sphinx:首款全硬件加速HTML5游戏引擎发布 PayPal创始人Levchin又创办了一家移动支付公司Affirm Zuck、Bill Gates、Jack Dorsey上银幕激励孩子编程 十款最新开源的开发者工具/应用(组图) Django 1.5发布,Python 3开始进入主流? [爆料]英特尔:将Hadoop“固化”到Xeon中 姗姗来迟:微软终于发布Windows 7 IE10正式版 谷歌推Google+登录系统 与Facebook争夺用户信息 微软在CodePlex上开源C++ REST SDK 代号Casablanca 论OpenAPI的起源与历史 LinkedIn开源低延时变化数据捕获系统Databus 微软发布全新WP应用 随时查看App崩溃信息 做iOS开发,我为什么弃用Objective-C而选择RubyMotion? Stinger Initiative:让Hive提速100倍 2013年云计算的九大威胁 W3C小组发起新“汽车与Web平台业务组”项目 苹果CEO:请忘掉股价 未来依然有伟大产品 两周营收100万,GO桌面在Google Play做对了什么 “吸金王”Puzzle & Dragons是如何炼成的 初创公司Kickboard:让父母了解孩子的在校表现 Rackspace收购开源数据库公司ObjectRocket 投资人表示微软应推出iPad版Office 三星:谷歌养大的一匹狼 UC九游年度战略:2013计划分成超3亿元 X-Canvas:UC将发布高性能HTML5游戏引擎 淘宝:OceanBase分布式系统负载均衡案例分享 Cloud Foundry面临代码分支 策略为王股票软件VC源代码简介 StarCraft开发:用肮脏的技巧解决难题 忠于用户:美团1000亿的卫星与Groupon的窘境 360周鸿祎开放日回应质疑:都是做搜索惹的祸 能不能实现用NOTES databse打开一个website(公司内部的),同时这个database自动关闭?? 用pear的进来报个名,以后互相学习~ VB.NET的两个简单问题??? not enough free disk space on /tmp,这个问题如何解决,(100分) 急寻:中缀和后缀表达式互转的源代码。 请问这个页面如何实现的..... 简单问题,在线等待中... 百分求购事务处理!! 用ATL写了一个com组件,在客户端怎么调用它呢? 请问如何取得USB摄像头和普通麦克的数据,怎样将已得到的视频音频数据在终端上播放 如何让WAS和Tomcat一样,运行JSP/SERVLET的时候出现错误进行提示? 用JDBC连接SQL Server 2000数据库问题?在线等待... 弹出式菜单的问题 各位大侠,寻求帮助,急!急! c语言类中的私有和公有变量在汇编中怎么表示? 关于EJB测试的问题 谁能给个错误处理的例子 比如 SQLSERVER 数据库关闭时 返回 “数据库关闭“ 的信息 部分匹配的问题 英文版XP中文显示问题 oracle,用PreparedStatement更新数据库,date型字段精确到分,应该如何操作? 数据导入的问题 有正义感的高手进来帮忙,干掉我设计的网站吧!在此不盛感激,同时也代表天下IT民工谢谢。 开始学PHP的菜鸟说:我现在用一个支持PHP的空间。比如XXX.PHP就可以用。我想用数据库。怎么连接呢?我可以把数据库放到自己的目录下用数 送分 我用的是:无惧上传类 Version V1.2 ,但是,程序执行后无出错提示,担找不到上传的文件,什么原因,那位朋友邦忙解决一下. 使用“POPTEN新闻管理系统”为什么不能上传图片呀? 小弟想学习EJB,不知道那本书较好? 测试过程 请问: 如果将数据分页里的复选框全选,并将每个复选框得到的ID插入另一张表。?? 关于Adodb+DataGrid的配合使用问题,高手请进! ★ ★我想在资源管理器窗口上 再加上一个Toolbar,(我看到过有些软件做到了,而且添加的Toolbar中还有启动程序的按钮),请问怎样可以做到 请教:“纳入基线” vs.net的水晶报表连接oracle,但找不到表,什么问题?很急啊!!! 关于float,double类型的数据四舍五入的讨论! 有无软件或OS可实现一台强大的电脑带多套外设?(N多键盘、鼠标) 请问如何正确配置和使用第三方开发包阿? 触发一个已封装好的程序 根据textbox内容查询数据库怎么写? 内存访问错误,参与者有分! 如何在类中创建一个其它类对象的数组? 急!不用数据窗口的事务处理!150 excel导入sqlserver 请问层如何显示在控件之上(比如select)? 多CPU下的SQLSERVER问题 散分,只为了心中郁闷! 100分狂送:你了解 福建实达电脑设备公司应用软件部??? 特殊需求的数据库备份 如何将C#写好的程序用。NET打包可以安装? 有谁能给个客户端能自动探测10000端口上是否有信息,并提示! 暴奇怪的打印问题:同一程序,在右边机子上打印正常,左边不行了,而且问题奇怪!!!! 请问知道了一个ip在ping自己的机子,有什么办法可以知道他的计算机名的啊? we all believe __important to know how to get well along with others.中间为什么不能填THAT 要填IT? 荡胸生曾云的曾通什么,意思是什么 (x的2次方+y的2次方)(x的2次方+y的2次方-8)+16=0求x的2次方+y的次方的值 在△ABC中,若a^2sin2B+b^2sin2A=2absinC,则此三角形一定是A.等腰三角形 B.直角三角形 C.等边三角形 D.无法确定要过程 荡胸生成云,_____. 1.味道,滋味,舌头尝东西得到的感觉.2.气味,鼻子闻东西所得到的感觉.3.意味,情趣.4.指某类菜肴、食品.注意:选择选项!加一个 5.体会,研究。 恩格斯为《共产党宣言》写了几篇序言?不算马克思的 共产党宣言发表后40年,马克思恩格斯先后写过几次序言 在三角形ABC中,角A,B,C的对边分别是a,b,c,求证a^2sin2B+b^2sin2A=2absinC 在三角形ABC中,求证a^2sin2B+B^2sin2A=2absinC 在三角形ABC中求证a^2sin2B+b^2sin2A=2absinC 韩国议员呼吁韩朝积极合作解决开城问题印度长途巴士失火事故造成至少40人死刘延东会见美国英特尔公司首席执行官十八届三中全会将于11月9日至12日全国人大常委会五年立法规划公布 立法国际观察:监听丑闻凸显美国网络信息“美国国家情报总监暗示奥巴马绝对知道监美国情报总监称白宫早知晓监听 政府内李源潮会见欧洲客人李源潮会见欧洲客人全面深化改革 再创体制机制新优势最好的费德勒 还在呢今日电视钥匙扣里的藏趣中关村打造 全球股权众筹中心最好的费德勒 还在呢王冕画荷花:政治文化的联想曼萨诺不知签了张池明18部国产动画片 集体出击暑期档公安部揭开律师访民维权黑幕故宫昨天下午2点半停止售票人均年输液8瓶你“达标”了没有
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘