说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

【先锋】事务、高性能,王涛谈打造超越MongoDB的NoSQL

HTML文档下载 WORD文档下载 PDF文档下载
兼顾事务和性能,并通过连接器实现复杂的SQL,NoSQL数据库SequoiaDB有着很多让人眼前一亮的特性。同时,SequoiaDB还能替代HDFS,作为MapReduce任务的数据存储源。

多样性、大容量给数据的存储和处理带来了巨大的挑战,当传统关系型数据库无法应对应用程序的快速迭代时,天生具备弱数据结构模式、易扩展等特性的NoSQL数据库得以飞速发展,在众多网络及新型应用程序中得以部署。然而,基于其分布式的特性,事务成为了大部分NoSQL数据库系统的致命弱项,也造就了NoSQL与任务关键性场景绝缘的这个现状。时至今日,着眼NoSQL领域,如何才能在高性能下兼顾事务以及更多功能已成为当务之急。为此,笔者近日与SequoiaDB创始人兼CTO王涛取得联系,就NoSQL打造进行了简要采访。同时,值得高兴的是,通过王涛得知,SequoiaDB即将开源。

以下为采访实录:


SequoiaDB创始人兼CTO 王涛

CSDN:请介绍你个人和SequoiaDB。

王涛:大家好,我叫王涛,现在是SequoiaDB的创始人兼CTO。之前我一直在IBM的北美数据库实验室做DB2数据库引擎。我们SequoiaDB是2012年正式成立的,每一行代码都是我们从零打造,并没有基于其他的开源数据库引擎。还记得当初我回国之前,大概用了半年的时间和几个IBM出来的兄弟在北美那边一行行地扣代码,最后整个引擎跑通了并且感觉性能不错,才回国成立的公司。我们SequoiaDB的核心产品就是一款文档类NoSQL数据库,从体系结构与应用场景上看和 MongoDB有些类似,因此很多时候我们会被拿出来和MongoDB作比较。

CSDN:你经历多年RDBMS与NoSQL的开发,是否可以从你的角度谈谈NoSQL运动?

王涛:我认为,NoSQL运动是现在应用程序互联网化和移动化的一个产物。过去,关系型数据库做点什么东西都需要进行复杂的数据模型设计和调整,但是在互联网时代这种玩法已经跟不上节奏了。所以,以互联网的标准数据格式JSON进行对象型数据存储成为一种需求,而这种需求同时也弱化了应用程序对关系模型的依赖。

当然,这并不是说NoSQL会在近期完全取代关系型数据库,而是这两者会有一个长期的共存,分别适用于不同的应用领域。现在我们已经看到,很多传统的企业也都开始慢慢接受互联网的思想,包括其业务模式以及后台所采用的技术,包括NoSQL数据库。

CSDN: 能否谈一下SequoiaDB当下都有哪些重量级的用户?数据库的规模达到什么级别?

王涛:我们现在在企业和互联网领域都有不少的成功案例。传统企业中包括像民生银行、海南航空、电信移动企业等;而互联网行业里面也有像蓝汛、蓝港在线这类企业。我们部署在一些客户的系统还是挺大的,比如有一家客户的日志分析集群系统总量超过PB,每天会产生近10TB的数据,都要近实时入库并且做到同时批处理分析和实时检索。这类集群都是百台节点的规模。

CSDN:同为文档类型NoSQL,对比全球排名第五的MongoDB,SequoiaDB的优势/特点是什么?

王涛:从架构上来讲,MongoDB和我们都是使用分片Sharding机制,每个分片里面做数据的复制和同步。而在具体实现中我们则有很大差异。譬如说我们的日志使用的是日志序列号LSN机制,而MongoDB则是一个capped collection,所以我们可以做到很多MongoDB根本不可能做到的事情,例如事务这类操作。除了这些功能点以外呢,我们的性能可以说是一大亮点。过去人们通过MongoDB和CouchDB可能都认为文档类NoSQL的性能比较差,至少和Cassandra这类的宽表库比起来差。但是现在在我们的测评中,很多原本HBase和Cassandra最突出的导入操作都被我们甩在了后面。

CSDN:确实,一般人都认为文档类数据库由于结构复杂,相比起宽表和KV类型的NoSQL来说性能不佳。为什么SequoiaDB在能够提供丰富的数据库操作功能以外还达到这么高的性能呢?

王涛:这个问题就要深入到代码的实现中去了。我想这都要归功于我们代码的精细化设计,尤其是对并发性和锁的这一部分。

在一个并行处理的数据库里面,如果锁控制得不好,会造成很多线程都堵在一个地方。如果大家有兴趣看看mongodb的代码可能会发现,它做了很多非常好的模块化封装,但是相反地对于一些锁的处理则比较粗糙,所以在高并发高压力的情况下总体的吞吐量根本上不去。而我们在设计SequoiaDB的时候,很多代码尽量做到无锁。程序的设计永远秉承一个理念,就是在正常流程下尽可能无锁,异常流程可以使用额外的代码或锁机制保证逻辑正确。所以即使在一个16核、32核的这种大机器下起高压力并发我们也可以把CPU打满,不会在某些代码上造成性能瓶颈。

另一方面,MongoDB实际上很多设计并非最优。譬如说它的日志机制使用了capped collection。可能咋一听起来很新潮很酷,但是实际上会对整体性能有着重大的损害。而我们使用的虽然是比较经典的日志LSN机制,但是正因为这种机制被所有关系型数据库使用了几十年,才从性能和功能上都被完善到了极致。

剩下的还有很多优化细节,譬如说我们在性能敏感的代码里面完全不允许使用string这种STL库,就是避免这种封装得比较深的库会做额外的譬如分配释放内存的操作,造成不必要的损耗。

CSDN:我们知道,分布式数据库和传统的单点数据库相比有很大不同。从技术上能不能简单介绍一下,分布式数据库的难点在什么地方?你们是怎样解决的?

王涛:传统的关系型数据库主要都是单点架构,有数的几个像Greenplum和DB2这种MPP 数据库才能够做到分布式架构。当然,我们说Oracle的RAC算是假的分布式,在存储层还是大统一。所以,我们这里说的分布式是Share Nothing的MPP架构。

在分布式系统里面,有几点是需要注意的。第一,就是数据是否可以做到弹性扩张。这个可能算是所有MPP分布式关系型数据库最大的弱点之一。比如DB2,想要添加个节点,需要做redistribution,遇到一个几十TB的数据库估计要好几天才能搞完。而NoSQL明显不能这么玩,所以我们用的是一致性哈希技术,把数据散列后映射到哈希环上根据范围划分节点,可以做到在增减节点时移动最少的数据。

第二,节点的可用性。现在讲究的大集群基本都是围绕着PC服务器说的,PC服务器的特点众所周知,就是容易坏。那么如果我一个集群里面有1000个节点,三天两头都有可能有机器出故障。如果用关系型数据库那种MPP架构就完蛋了,一个节点坏了可能整个表都挂了。所以,我们要用多数据副本的方式保证即使机器挂了,数据也可以在其他的节点中找到。

第三,就是事务操作。我想事务操作是现在很多NoSQL都不具备的功能。并不是说NoSQL的架构和事务有冲突,而是想要实现事务机制需要太多模块的配合。譬如说日志机制,对于MongoDB的capped collection机制就很难实现事务的提交和回滚功能。我们用的是基于传统的事务日志的机制才能够做到这一点。当然,别忘了还有记录锁、表锁这些机制,还要考虑多副本之间数据根据日志的分发同步,节点失效重新选举后日志的同步等一系列机制。

CSDN:事务一直是分布式数据库实现的难点,就算很多其他世界知名的NoSQL也没有很好地实现。可否详细介绍一下其中存在的挑战,以及SequoiaDB事务的实现途径。

王涛:事务本身其实原理并不难,就是做任何操作都要先写日志,然后把每个会话的日志都有一个链能够往回一条条找到本事务起始的位置,能够对每一个操作做redo和undo就可以了。这个是单点传统数据库的玩法。当然,锁这些机制是另一个故事了,这里先不提。

但是在分布式环境中,这个简单的东西就开始变复杂了。第一,如何确保在可配置的强一致与最终一致性中,事务在复制过程中的完整性。譬如说,主节点A挂了,备节点还没有同步到这个主节点最后的日志,这个时候事务怎么处理?对于我们来说,当然在最终一致性的配置中只能牺牲数据的完整性了,不过在强一致性开启的情况下则是必须要保证这一点。

另外,多个分片之间数据完整性的问题也存在。我们利用很多MPP数据库使用的二段提交(2PC)来玩,可以满足大部分提交回滚的需求。但是如果在二段提交过程中的小窗口处发生问题同样还会造成indoubt transaction,这一块处理也是难点。

还有很多网络问题的检测也和事务息息相关。比如说如果协调节点挂掉了,需要让数据节点能够立刻感知到这个事件,并且确保这个协调节点所属的事务全部进行回滚操作。而如果某一个数据节点掉了,协调节点则必须感知然后通知其他数据节点回滚这个操作。

CSDN:我们看到SequoiaDB提供不少与第三方产品的连接器,能不能介绍一下这些连接器的作用?

王涛:做一个数据库不像搞一个游戏或者应用软件,自己和自己玩就行了。数据库是软件项目基础架构的一部分,需要对接很多第三方的应用和产品,要把生态圈建立起来嘛。所以我们在和其他产品对接这一块也花了不少力气。主要是两个大方向,一个是和Hadoop这块一起玩,一个是和使用关系型数据库的应用这块一起玩。和Hadoop对接相对比较简单,就是Java里串行化的几个函数嘛,对接了以后自然和Spark的对接也有了。另外对于Hadoop生态圈里面其他的Hive和Storm我们也都做了连接器,可以直接利用Hive和Storm从数据库读写数据。

而和使用关系型数据库的应用对接就有点麻烦了。我们想了个方法,先和PostgreSQL对接。PG不是提供一个FDW的机制么,我们就直接写了个库能够串到FDW上,让PG能够定义基于SequoiaDB的外部表,里面定义各个字段和类型。每次查询的时候相关的请求会通过FDW转换成我们认识的东西发送的数据库上,然后返回的记录在格式化成PG需要的格式,在PG里面进行关联啊聚集之类的。

总地来说,我们会不断增强连接器的种类和功能,争取今后和多数主流的产品与第三方应用都能够较轻易地对接。

CSDN:SequoiaDB曾宣布提供开源版本,是否取得了一定的进展,对比商业版,开源版本会弱化哪些方面?

王涛:开源现在是万事俱备,就差最后临门一脚了。我们已经在Github和CSDN CODE平台上都建立好了repository,所有的代码审查和协议注释也都已经完成了。我们将很快在近期就会正式对外开源。

商业版和社区版相比,主要是在企业级服务这块增加了一些内容。譬如说24x7的技术支持啦,定期巡检啦,安全机制啦,还有一些额外的监控机制和工具软件之类的。而从数据库内核的代码上来看企业版和社区版基本区别不大,也并不存在集群规模限制等问题。

CSDN:作为数据库打造的行家,有什么使用经验可以分享给读者的?

王涛:太多经验也谈不上,现在我看到不少程序员和DBA兄弟依然围绕着关系型数据库吃饭,我想大家可以开始适当关注大数据和NoSQL这个领域。因为我觉得今后关系型数据库会成为一个存量市场,就像几十年前的大型机一样不会消亡,但是也不会近期迎来大规模的增长。相反,非关系型数据库与大数据技术正在开始起步,虽然市场上还是一片混战局势未明,但这也正是切入这个领域开始学习的好机会。如果局势都明朗了,基本该占的坑都被占完了,晚来的弟兄们也没啥汤好喝。

CSDN:你有什么需要对读者补充的么?

王涛:作为咱们国内不多的基础数据库软件,我们有信心在开源后和国外的产品进行功能与性能方面的正面抗衡。也希望国内的技术人员圈子多多给我们鼓励,最好能试用一下提出各自的宝贵意见。

中国创新“先锋”企业系列报道
序号 公司名称 成立时间 CEO/CTO 官方微博 公司产品/方向
1. 云适配 2012年 陈本峰
网站适配
2. 友友 2010年 
姚宏宇
@友友微博 C、C++、Java产品研发 
3. 聚合数据
2010年
左磊 
@聚合数据 移动数据服务
4. Anchora 2009年 鲁为民       

MoPaaS和InPaaS 
5. 够快 2012年
蒋烁淼 @够快科技 
云存储
6. 文思海辉
2012年 吴凯
@文思海辉 OpenStack公有云       
7. 搜狐云 2011年 邱英波
SendCloud                  
8. 联想云存储 2009年 罗予晋
云存储
9. 南京讯之智 2012年 谢晚霞
大数据实时分析
10. 上海圣何赛 2012年 
金剑 

云管理、云存储                
11. 国云科技 
2010年
季统凯
@国云科技 云操作系统                
12. SSO365 2012年 赵健                

云安全、云身份认证 
13. ClouDil云方案 2001年
叶滨 @世纪鼎利 
通信运营商                
14. 多备份 
2013年 胡茂华            
@木浪 云备份                 
15. 上海越诚软件 2011年 王炜                  
基于云的建站软件超市 
16. 云智慧 2009年 殷晋 @监控宝 云监控、基于大数据APM
17. 深圳泽云 2012年 何巨彬
高性能存储系统
18. 深圳智冠 2004年 卢慧莉  
手静脉生物识别、虚拟化
19. 北京沃安科技 2009年 曹学武 @沃安科技 移动视频技术提供商
20. 星环信息科技 2013年 孙元浩 @星环科技 大数据分析平台
21. 杭州数云 2011年 宣晓华 @杭州数云 数据挖掘
22. 红象云腾
2012年 童小军 @RedHadoop
基于Hadoop的大数据平台
23. APICloud 2013年 邹达 @APICloud 云API和端API
24. SequoiaDB
2012年 王涛 @SequoiaDB
大数据、云计算、NoSQL
备注:2014年9月16日更新,持续更新中......


备注:云先锋系列文章是由CSDN云计算频道打造的,主要报道国内外在云计算、大数据方面具有独特竞争优势的企业,以传播技术为目的,推动中国云计算技术的发展,只有你有云计算或大数据方面独特的技术、产品和服务,你就可以投稿,欢迎投稿weiwei@csdn.net。

神器 VisuAlgo:通过动画学习算法和数据结构 【工具推荐】QWrap——开源的前端JavaScript框架 老外看中国:移动应用UI设计的十大精髓 HTML5正名记:两家机构的博弈与一种标准的诞生 电池技术为何停滞不前?革新技术尚未出现 如何设计优雅的移动游戏? 前方高能!盘点2014年最颠覆三观的智能硬件 俄罗斯当局封杀GitHub,理由是教唆自杀 裁员110人、关闭工作室,Rovio重组求出路! 全Swift开发、代码开源!有钳的Firefox for iOS 详解开源游戏开发框架HaxePunk的主要特性 《程序员》杂志休刊通知 2014 TOP50最具价值CTO获奖名单揭晓! TIOBE 2014年12月编程语言排行榜:R和Swift成为年度语言候选者 免费增值应用正在“杀死”游戏开发者? 直接Mark!开源的DevOps开发工具箱 Apache Mesos联合创始人Benjamin Hindman:谈分布式应用现状 直觉不靠谱!使用移动应用分析的七个巧妙方法 屏蔽、挖角与丑闻,Uber的“创收神器”泡沫 蚁视科技发布会:三大产品与四大概念技术 盘点VS2015 预览版的5个新特性 低能的“智能” 你就是明星,第一届IBM RockStar正式启动! Kubernetes:Google分布式容器技术初体验 方法可以复制 AngularJS资源集合 那些年,微信走过的开放之路 从YunOS话阿里移动互联网云生态布局 Mobile First!苹果联合IBM发布10款企业级App iOS8.1.1越狱又惹急苹果!扒一扒黑客与苹果的斗争史! Firefox.html:用HTML重现Firefox UI Qt 5.4正式发布!引入WP,支持HTML5混合开发 小夫妻吵架了(ZT)~~~~~~~~哪位结过婚有过孩子的来说说,你们是不是也这么个吵法? 送给wayfarer的500分(2) 怎么样在vb打包时显示想要的图标? 请问,如何某一列的数据不可见?急! 一道题目 关于SQL脚本的问题【在线等待结果,有正确的答案就结帖】 在线急等:文件打开的问题 首先祝大家中秋快乐!!!好人有好报,,然后请大家教我TreeView怎么用? 将access的数据库导入到mySQL中最简单的办法是什么? 有个SQL的语句的问题,是以前的问题的扩充,就是要再加上几个字段,可就是不会写!!帮忙!在线等! 急!!!数据过滤问题,请高手指教! php 中有类似asp里response.redriect功能的函数吗? 好久没来了,也散一贴,中秋快乐 用JSP或Javabean怎样取到IP地址啊???? 抛砖引玉--获得当前数据库中对象的依赖关系的算法 数据库问题,,,在线等 MBR中的一点问题 中秋节快乐,散分了 程序如何在运行时取得数据库的建表SQL ************* 中秋快乐,抗日光荣 ************* database profile不能创建? 采用JBuilder9+WebLogic8.1连接DB2的问题! 帮忙评评,客观一点。强烈给分。 问题还未解决,高手仍需帮忙!!!!!! 关于DDB与DIB概念的问题 深圳公司招聘DELPHI高手 在线等SQL SERVER中查询出数据导入到EXCEL 中 请问如何改变本页的浏览器中的地址栏的网名? 谁有Active Report for .Net 的破解版 关于串口通信2问 wince支不支持叫大容量物理内存的申请 中秋快乐,顶者有分。帮忙评评。 急! 求问用在BCB或DEPHI那种方法把标准文本文件导入数据库效率最高 一个初学.net的问题,望大家不要见笑!! 多个文件在光盘里面先后自动启动 C#中类型转换,请大家看看: 中秋节散分 关于.net下客户端与数据库字符集不同时的处理 大家中秋快乐!以前没散过分今天散点。 文档结构的问题 抢救,可以用vb.net写一个用户控件或动态库,在asp.net里调用吗? 请问大家一个问题 如何解压Linux下的.zip文件? 下接列表框的问题 来这里几天了,看大家都是很消极的,为什么? 可以动态增加<option>吗? datagird高手的问题! 数据库导入问题。在线等!急啊!!! 高手来帮忙 為何調用data module中的adoconnection會出錯。 急中生智中的智是什么意思? Provision of Oxford是什么啊?英国简史中的问题,They worked out the Provision of Oxford which attempted t limit the king's power by calling regular meetings of the Great Council. economic provision of construction 什么意思谢谢高人指点 射人先射马擒贼先擒王里有什么成语 一个会计问题 purchase a car属于cash inflow 还是outflow? shop carefully for any insurance you purchase课本中的一句话,shop 购物,购买shop for 购买某物purchase也是购买…………………… 把“你们将要决定我们生活在一个什么样的世界里”改为被动句 把“你们将要决定我们生活在一个什么样的世界里!”改成“把”字句改成“把”字句 “你们将要决定我们生活在一个什么样的世界里!”快点谢谢 把“你们将要决定我们生活在一个什么样的世界里!”改成被动句 且子独不闻夫寿陵余子之学行于邯郸与?未得国能,有失其故行矣,直葡匐而归耳的故事大意(要简洁,20字之内)还要有含义 老李的两孙子,大宝每隔3天去一次爷爷家,小宝每隔5天去一次,7月1日都在爷爷家.下一次几日两人都在爷爷家 悉尼科技大学危险化学物泄露 5000印尼日惹苏丹嫁女办3天豪华婚礼邀总统挪威销毁叙化武受美国热捧 坦言国内压日本进入胖女时代 专家称或因对瘦人审英国一大学网上“卖”学位 小狗付钱也日本最古老农村歌舞伎舞台将公演 祈祷德两大政党举行组阁谈判 默克尔称社民俄外交部:叙之友文件旨在煽动破坏叙问欧洲央行开始对欧元区124家银行进行澳洲国防部被指是林火“罪魁” 灾区官山东聊城:官员婚丧嫁娶必须报告 婚宴2014年河北民营企业专场招聘会 意美国小姐荣获第26届世界模特小姐大赛综述:中新人士共话“新常态”下的合作蔡依林否认上节目酬劳达8位数:没那么广西首次尝试以公司制促进华侨农场改革“梦笔生花·盛世大名” 中韩国际交流美国小姐荣获第26届世界模特小姐大赛台“六都”市长选举结果:国民党1席 黑贝头槌终破4轮进球荒 超强弹跳比肩广州举行“艾滋徒步”登广州塔活动海峡漆艺术大展在京开幕两岸艺术家共谈奇蛇异巴网游之大公会天降神童封神隋唐风彩一号特战队文明入侵源珠变无尽归途虫魔纪牧天途魁星楼旅游河滨公园旅游正阳步行街旅游叠彩山旅游伏波山旅游芦笛岩旅游阿嘉的家旅游西城楼大街旅游洛带旅游三星堆遗址旅游石路旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘