说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

NoSQL产品测评:Cassandra、MongoDB、Couchbase和Aerospike

HTML文档下载 WORD文档下载 PDF文档下载
Thumbtack就NoSQL的基准测试发布了两篇论文,分别覆盖超高性能NoSQL基准和NoSQL故障转移特征。新基准为YCSB的升级版,然而评估NoSQL数据库的性能并不是件容易的事,比如原YCSB在推出后就闹出了一些有意思的事情。

近日Thumbtack发布了两篇论文,分别为 超高性能NoSQL基准和 NoSQL故障转移特征;前者是分析持久性和性能的权衡,后者则是关于Aerospike、Cassandra、Couchbase和MongoDB几个NoSQL的故障转移特征。两个基准都尝试测试“有高吞吐量、低延时需求的面向用户应用程序,这些应用程序的数据都可以使用键值形式进行存储”。

Thumback使用的是YCSB(Yahoo! Cloud Serving Benchmark)的升级版,新的YCSB改变记录在第一篇论文的文档中。在着眼新的基准测试之前我们首先看一下原YCSB上的一件趣事

YCSB推出不久后(1年多以前),HyperDex使用这个基准对HyperDex、Redis和MongoDB几个高性能数据库进行测试,而得出的结果更是犀利无比 —— 吞吐量秒杀风头正劲的MongoDB与Cassandra,赶超Redis


为此有“热心”的网友在Redis社区中发表了帖子 HyperDex vs.Redis,并得到了Redis之父Salvatore Sanfilippo大神“强有力”的回复:

事实并没有听起来那么有趣,因为:

Redis和Memcached在单核心每秒查询上具有或多或少的上限,Memcached允许自动的使用多核技术(这一点Redis在将来可能会实现),而使用Redis你需要多实例,并且这只能在网络服务器中使用,当然这些系统使用的都是内存处理形式,并且通过合理的优化。

我想说的是,我也可以修改Redis让其返回的总是“foo”,从而达到单核心每秒15万ops。那么真实情况应该是这样的:

1. 基准E设计的非常粗糙,Redis并不支持,这样的对比一点“营养”都没有

2. 在所有其它的测试中,他们可能都是使用单核心Redis在对抗多核心HyperDex(或者是多节点HyperDex)。举个例子,Redis LPUSH每秒可以轻易的插入100万个选项进入列表,然而如果你同时使用4个实例,每个核心每秒你可能都会得到3、4百万写操作。然而这并不意味着我们需要在首页上写上“单核心每秒400万次操作”!

3. 基准测试用例的数据集可能一直都储存在内存中

4. 没有公布所有方法,这样这个测试结果无任何价值

最后我认为,使用错误的引导去塑造产品同样是不好的行为,前3个月可能会有所收获,那么之后会发生些什么?

“任何企图同时抓两只兔子的人,最终将毫无收获。”

而之后Salvatore Sanfilippo更是对YCSB基准做出了如下的评论:

这是我在HackerNews上对这个基准YCSB发起的讨论: 讨论地址

根本上说YCSB在构造思路上犯了经典的错误,取代使用合适的用例来获得不同数据库的最佳性能,它使用一个层来给不同数据库强制数据模型。对于大多数的数据库来说,使用的是本地数据模型,但是对于其它的(比如Redis)数据库来说,只是在模拟使用本地操作。

同样这个基准对比的是单核心Redis和多核心Hyperdex之间的性能。

言归正传,下面来着眼于改良后的基准测试。进行测试的NoSQL数据库包括:Aerospike、Cassandra、Couchbase(1.8和2.0)、MongoDB。第一个是收费产品,最后一个是文档存储而非键值存储,之所以包含MongoDB的原因是“从我们的经验上看,一般都会认为它适合此类应用程序”。所有数据库都使用提供商的建议进行优化,取代机械硬盘,测试系统使用SSD进行存储。论文中详细的陈述了使用的方法、客户端和负载配置、硬件配置等。

Thumbtack坦诚与Aerospike、Couchbase、10gen之间存在“战略/商业上的合作关系”,同时测试硬件是从Aerospike租借,下面列出了一些测试结果:

插入操作吞吐量

数据库使用原始的YCSB负载路由,将执行大量的插入操作。对于已存入内存的工作集,Couchbase表现的最好;但是从SSD上加载时,Couchbase出现了问题:Couchbase 1.8无法完成这个操作,而Couchbase 2.0只能使用小集合和异步模式。


点击查看大图(以下同上)

最大吞吐量

这个测试使用了“强连续性模式,使用一个备份时远大于服务器内存的数据集”,这样的目的是测试对交换数据有强连续性需求的用例。同样Couchbase没有出现在图中,因为其使用的同步复制机制不能完成这项操作。

当使用异步复制时,内存中的结果是:


延时和吞吐量

基准同样测试了不同等级传输量下的读可修改的延时,下一张图片包括了所有数据库的整体视图和单独视图:


故障转移

Thumbtack视图发现在一个节点发生故障时,各个数据库的表现,硬件故障模拟结果如下:


同样还测试了宕机时间等。在发生故障到恢复运行,所有数据库表现情况如下:


推荐阅读:

2012年的另一个NoSQL基准测试,其中包括Cassandra、HBase、MongoDB和Riak;同时这个测试还有一个拥有对比的关系型数据库MySQL。

原文链接: NoSQL Benchmark Compares Aerospike, Cassandra, Couchbase and MongoDB (编译/仲浩 审校/王旭东)

“  第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名! 

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “ 

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加! 

【快讯】SAP联合中国电信,又一外商公有云曲线入华 微软CloudOS云操作系统构建企业级三云合一 IE11支持JavaScript新型API,Web应用国际化更便捷 谷歌推订阅应用Play Newsstand:杂志+RSS阅读器 【信息图】到2020年开发者、设计师、测试员的数量将达到史无前例的高度 推广与盈利专题论坛:中国影响世界,世界定义中国 SlideIdea CEO李建忠:移动产品的技术面思考 BDTC→→百度林仕鼎、腾讯蒋杰、阿里唐洪论道大数据平台与技术 谷歌首席互联网布道师:隐私保护并不是一种正常行为 微软公开“挑衅”谷歌,出售反谷歌标语T恤 四大UX设计原则,打造网站最佳浏览体验 【BDTC讲师】黄晓庆:从小灵通到Hadoop与实时大数据分析 【BDTC讲师】杨强:从禽流感预测到图片语义解释 2013中国大数据技术大会讲师议题正式发布 “2013中国大数据周”即将开幕 正式发布中国大数据现状白皮书 搜狐畅游发布3D游戏引擎Genesis-3D 基于MIT协议开源 传闻微软将收购AOL旗下的Winamp和Shoutcast 【BDTC讲师】大数据时代“掘金机”:百度、360、一淘搜索技术分享 谷歌董事长:审查,将会在十年内消失 50万奖金+天使投资:创维天赐家庭互联网创新大赛开幕 专利案苹果获胜:获赔2.9亿美元 三星不服将继续上诉 Google正打造Spark:一个基于Chrome App的集成开发环境 研发周报:成为一名PHP专家其实并不难 将Vistual Studio打造成为Node.js IDE 度量Web性能的关键指标 路由器未火够!高通发布互联网处理器 Unite2014大会:移动开发者的饕餮盛宴 玩与学并存 Kano kit让你自制Raspberry Pi电脑 【BDTC讲师】Hortonworks Gunther&Ted:HBase、Stinger的发展与实践 人人网推出开放平台2.0 多项重大改进吸引开发者回流 红帽高管:将Linux价值理念和做法延伸到OpenStack 如何在BSD上安装jdk,resin,oracle8i 如何利用ADO建立一个与带有密码的ACCESS数据库联接? 在C#中,有一个MDI的父窗体,如何在其上创建几个悬浮的窗口? 请问如何得到鼠标所在的窗口句柄 問題很簡單,請幫我看一下:這個頁面為什麼一按刪除按鈕就會出錯呢? asp中具体怎么用其自带的TreeView控件?(多给分!!!) u 盘的使用问题 急 急 急!!!!! 谢谢大家 两块硬盘,装两个linux系统,如何设置启动? 图象横向和纵向的显示问题 问个基本问题? 问一个SQL查询语句 难题!怎么通过Proxy的NTLM验证? 分不是问题,望高手详解 允许DBGrid对记录进行编辑,在线等待,急急急~ ISO 1054 标准 请问如何使用PFC中数据窗口的resize服务? 页面设置问题!请教!! 哪里有 趣味程序导学 java2這本書的源代碼下載﹖ 关于win2000AD的一个问题?(急) 为什么找不到a.out文件 oracle 的SGA问题,性能优化 写功能模块报告含流程图的问题 请教关于DOM NodeFilter的相关用法! 关于BREW 买书落,便宜啊......(UP有分) 请问,通过java怎么访问其他机器的web services?提供思路就给分! 现在我面临着给50多台机装win2000的任务,怎么办 oracle 的SGA问题,性能优化 刚刚完成的改版公司主页。大家去支持一下小弟呀! ? 有谁知道上海的做J2EE薪水有多少(平均水平),谢谢大家! 几个算法问题,参与者都有分! .NET制作的安装程序安装好后如果删除了打包的一个文件,再次通过快截方式启动时会重新安装,怎么不让他安装? 哪位能给提供一套ISO文档的实例? 如果procedure中执行的是一条SQL语句,如何得到返回的数据集? 可不可以在单线乘里开2个SOCKET? 帮我看看这个c语言的程序! 怎样处理窗口标题? 高分求助 !!!怎样利用INTERNET实现异地多台机器互连? 很简单,如何得到当前的时间和日期?(在线等待) 请问哪里有用applet做的,能绘制数学曲线的动态演示系统?各位,请不吝赐教 今天大清早被人诅咒! Delete 多个表时一条语句怎样写?? 请教:如何获取文本框中SQL语句。50分 日期型的格式应该怎样写?? windows xp internet 浏览器的问题 大家帮我看看这段代码:它是如何得到name和phone的值,并写到文件中取得 100分求李维的delphi5.x分布式系统开发的源代码,电子书我已经有 奇怪。为何win2000的搜索选项中的日期控件是Delphi中的样式?欢迎来讨论,给分!!! 请教一个数据库查询的问题! 哥、姐帮帮小第,一生成并打印表格问题(有图片及字体适应),急急,十万火急。 怎样在ASP.NET的页面中,把DataGrid的表头改名??急急急!!! 我去年买了表 每个人都有烦恼吗,为是么世界上有烦恼 2014香港回归多少年 我去年买了个表什么意思 什么地方有火山,多长时间爆发一次? 新民主义革命的三大法宝是什么?毛泽东是怎样论述其相互关系的? 我去年买了个表!什么意思? 什么是实证法 香港回归至今已有多少年?我要去香港啦! 有句话是说斧头砍树 把斧头磨锋利点比一开始就去砍树的那把斧头砍的快 那句话怎么 通入过量SO2气体后为什么Na+、Ca2+、K+、Cl- 仍能大量共存不是会生成CaSO3沉淀吗?如果不能反应,原理是什么~ 请问今年7月1日是香港回归多少年纪念日?回答具体一点! 锋利的斧头砍倒了一棵棵树.改为拟人句 SO2气体通入含有大量NH4+,I-,Cl-,Ca2+的溶液答案上说不反应,NH4+,Ca2+不是反应了吗 K+ Ca2+ Cl- NO3- 在溶液中,通入CO2 能否共存?Ca2K+ Ca2+ Cl- NO3- 在溶液中,通入CO2 能否共存?Ca2+ 是不是会与CO2反应? 人们用锋利的斧头( )地砍倒一棵棵高大的树木 怎样提高英语分数(初三的)? 香港回归之前比如说 英国人和香港人平等吗 英国是否想奴化香港人 香港回归前的生活等等 “伐木人用斧子把他砍倒,拉到山谷里去了”换个表达方式,意思不变 三个句子 我初三了英语什么都看不懂不会,我还有希望吗?我怎么才能提高英语成绩, 无锡锡惠公园有一个九龙壁.在色彩鲜明的琉璃壁面上,九条体态矫健、龙爪雄劲的蛟龙,正发威逞强,腾飞在云雾之中,那活泼生动的姿态,吸引了络绎不绝的游客. 九龙壁,是较珍奇的景观.它 武林外传 锋利的斧头武林外传里的“锋利的斧头”怎么得 日本的火山是怎么形成的 作文:关于家乡的风景450字主要内容是什么? 显示器翻译成英文是什么 成因与非洲板块运动直接相关的地形单元? 关于香港回归从香港被谁占领到回归 英语翻译KUVAVARITARKENNUSASETUKSETKIRKKAUEKONTRASTIGAMMAESIASPUNAINPUNAINENVIHREASININENVAAKASUORAPYSTYSUORAKIELTSUOMIosd asentovaakasuorapystysuora 避雷针有什么构成? 7、法律具有国家性的基本含义是指A它是以国家的名誉创制的 B它是以国家强制力保证实施的C它保护国民的权利D法律适用范围以国家主权为界限 英语翻译请翻译“Warning!CPU has been changed or cpu ratio changed fail.Please re-enter cpu settings in the CMOS setup and remember to save before quit! 避雷针的构造包括全部技术 提供 行凶的法律释义是什么 有一幅图片表现的是一个男人砍掉了所有的树后,一只小鸟对他说:"请把我也带走吧.根据这些写作文400字. 避雷针的组成部分快,急 125G无泵纯水机RO膜是否能装到50G高压纯水机上用. 膈的运动与呼吸运动的关系请问、这个图是呼气还是吸气 为什么说中国革命是新民民主义革命 避雷针由哪几部分组成的? 避雷针的功能是什么 规范研究法和实证研究法的异同? 压力真的能给人带来动力么?这个社会,压力太大,做什么事都是的,真的能激发我的动力吗? 避雷针起什么重要的作用? 谈谈对新民民主义革命基本理论的理解 人是不是要有压力才有动力吗? 家是什么?请说说你对家的理解 恒定刺激法有哪些特点和操作方法? 这是个什么电路,上面各个元件都是神马? 形容伐木的象声词 请问上市公司财务风险预警实证研究可以只选取一种方法吗,比如logistic回归分析法. 少量SO2通入Ca(CIO)2溶液中的离子方程式 热学的一些概念 这里有一些选择概念,希望master们帮忙分析和判断,1.温度相同的物体,内能都相等.2.物体的温度越高,内能就越大.3.物体的运动速度越大,其内能就越大.4.物体被举的越高,其内能 头孢类和大环内脂类抗生素分别指的哪些抗生素,阿奇类抗生素是哪些?对于孩子来说,哪些副作用小一些? 7.2v电源的遥控车可以用9.6V的电池吗? 英语翻译中---->英十字槽盘头螺钉六角头全螺纹螺栓平垫圈环氧玻璃布板 小林和妈妈去超市购物,买日永平花去所带前的三分之一,买食品花去剩下钱的四分之一还剩150元,求她们所带的钱 不敢恭候什么意思 “给大师买表”这句话是什么意思? 人为什么要有那么多烦恼呢? 新民主义革命三大法宝是什么?毛泽东是怎样论述其相互关系的 罕见天文奇观“全环食”现身天宇(组图最贵钻石亮相纽约 估价超六千万美元世界关注中国改革决心 三中全会将勾画两名法国记者命丧马里 总统强烈谴责美报鼓吹钓鱼岛归日本 日本内顶外拉中美无人机干掉巴塔头目 巴怒斥其炸死和美妇人送儿子手机前“约法18章” 网古巴政府叫停私营影院 称“不是倒退”[实拍]中国新型“中华神盾舰”吊装导埃及前总统穆尔西出庭受审:从囚徒到总法两名记者在马里遇害 遗体遍布弹孔(美媒爆料日本系美监控对象 目的不仅限各国学校扎堆北京招生(图)俄罗斯严防“黑寡妇”袭击 确保冬奥会祭拜烈士墓 金正恩:“心疼得睡不着觉金正恩参谒牺牲烈士墓地 称心疼得睡不从奥巴马借助大数据成功连任说起美国一位妈妈送13岁儿子手机前“约法人民币升值,钱却为何越来越不值钱埃及审判穆尔西或将引发新的流血冲突俄罗斯:严防“黑寡妇”袭击 确保冬奥淮安市淮阴区纪委重视群众举报 为村民为客户清点11万枚硬币获点赞法17名女部长谴责性骚扰做好“三个系列”不断提升文化软实力大雾昨日锁南京丰县地税加强失信管理护航信用建设新版商业车险下月执行美九旬老人大学终毕业广州银行南京分行开业5周年感恩南京人灌南地税传家规扬税风正气吴中地税志愿者关爱残障学生小田并大田,打破耕地碎片化涟水地税“五个一”贯穿“两学一做”贼喊捉贼 美军力报告再炒“中国威胁”个性化服务助县域重点企业健康发展管廊建设纳入政府绩效考核西班牙美食美酒 开放日在宁举办最佳标识,如何两全其美?比赛or追星?他们花26小时来华 大中国3月份减持美国国债77亿美元巴萨游行皮克恶搞C罗庆祝动作 梅西苏
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘