说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

时间序列数据处理的角逐:MongoDB vs. Cassandra

HTML文档下载 WORD文档下载 PDF文档下载
MongoDB是最具人气的文档数据库,而Cassandra是最具人气的列存储数据库,然而这两个在适用场景上似乎有着明显区别的解决方案近日却擦出了火花。

MongoDB与Cassandra是两个最具人气的NoSQL数据库,MongoDB更是NoSQL领域当之无愧的人气王,而Cassandra则常年霸占着列存储领域的首席,相比之下备受关注的HBase却因众多原因一直屈居次席。近日MyDrive Soulutions运营和架构总监分享了这两个人气NoSQL数据库在其公司的实践,并给出了相关对比,以下为译文:

使用Cassandra替换MongoDB来管理时间序列后的飞跃

使用场景

MyDrive拥有一个基于AWS托管的数据处理平台,由Resque工作者负责。作为一个远程信息处理公司,我们需要处理非常多的时间序列数据,初始我们采用了MongoDB。作为初期方案,MongoDB最初定义就是临时性的选择。

MongoDB表现的也是相当不错,然而不同大小负载处理时间的不可预测性带来了很多困扰,同时也让数据处理管道的优化变得非常困难。基于MongoDB的设计(大部分的关系型数据库同样如此),返回30个文档与返回300个文档的作业将触发不同的I/O负载,而返回30个文档的作业肯定要比300个的快。当然不管是30还300,处理的速度都不是很快,即使使用了非常好的索引及非常合适的实例。

此后,我们不得不对MongoDB实例进行一定的纵向扩展;当然如果长期如此,将带来非常多的额外开销。

解决方案

从开始,目标就被锁定在Cassandra上,因为AboutUs 5.0之后的版本都使用了Cassandra。它已经向我们证明了强大的可靠性、可见性以及弹性。这些特色在整合了横向扩展之后,让Cassandra成为一个当之无愧的杀手级数据存储。

一般情况的数据流为写入数据>>读回>>修改>>写入>>再读取,这些操作被不同用户执行。虽然这不是Cassandra的设计理念,但是Cassandra却非常适合我们的查询方式。

Cassandra确实非常适合时间序列数据,因为可以周期性的将时间序列数据写入1列,然后通过部分字符串对比来查询一定时间范围内的数据。这样的话使用列就比使用行更加的高效,而加载单行可以让你获得巨大的I/O性能。然后Cassandra必须至少读取一个数据,而随着数据持久化到磁盘的进行,所有剩余的数据都将被读取。

我们使用时间戳作为ID的前半部分,这样的话就可以做任何时间段的范围查询——每行都体现出了一条数据,而列则体现了时间序列数据的一个周期。这样所有数据都可以通过键及起止时间查询。

鉴于我们工作负载的类型,使用MongoDB时,写操作的数量会严重影响到读的性能,而使用Cassandra就不会有这种情况发生。

前后对比

上面的突变显示大半年的性能,蓝线表示的是受数据存储性能影响的部分。很明显在做MongoDB优化及横向扩展硬件时性能的落差很大,然而这些对Cassandra毫无影响。

我们阶段化的关闭了MongoDB,开始是停止了对其写入,最后停止了在MongoDB上的读操作(在图片上使用了红色箭头标注),不过图片上没有显示的是在过渡到Cassandra后加入了大量的批处理作业。

原文链接: Cassandra vs MongoDB For Time Series Data(编译/仲浩 审校/周小璐)

更多内容请关注CSDN云计算频道 及@CSDN云计算微博

苹果应用审查团队叫停Cookie追踪技术 时势造英雄:中国早期O2O创业故事 iOS开发与Android开发的四大不同 “消极抵抗”AWS OpsWork?RightScale首次宣布转售并支持GCE 2012年VC都把钱投给了哪些大数据初创公司? 耐用性将成苹果iWatch最大挑战 Sphinx:首款全硬件加速HTML5游戏引擎发布 PayPal创始人Levchin又创办了一家移动支付公司Affirm Zuck、Bill Gates、Jack Dorsey上银幕激励孩子编程 十款最新开源的开发者工具/应用(组图) Django 1.5发布,Python 3开始进入主流? [爆料]英特尔:将Hadoop“固化”到Xeon中 姗姗来迟:微软终于发布Windows 7 IE10正式版 谷歌推Google+登录系统 与Facebook争夺用户信息 微软在CodePlex上开源C++ REST SDK 代号Casablanca 论OpenAPI的起源与历史 LinkedIn开源低延时变化数据捕获系统Databus 微软发布全新WP应用 随时查看App崩溃信息 做iOS开发,我为什么弃用Objective-C而选择RubyMotion? Stinger Initiative:让Hive提速100倍 2013年云计算的九大威胁 W3C小组发起新“汽车与Web平台业务组”项目 苹果CEO:请忘掉股价 未来依然有伟大产品 两周营收100万,GO桌面在Google Play做对了什么 “吸金王”Puzzle & Dragons是如何炼成的 初创公司Kickboard:让父母了解孩子的在校表现 Rackspace收购开源数据库公司ObjectRocket 投资人表示微软应推出iPad版Office 三星:谷歌养大的一匹狼 UC九游年度战略:2013计划分成超3亿元 X-Canvas:UC将发布高性能HTML5游戏引擎 在win2000系统下,构建asp+sql的web站点,但在web页中无法显示出小数点前的零? 如何配置sybase的clinet端? 关于webbrowser。 TO:riolee(随风) 关于directshow的 开始菜单中的运行找不到 请问各位谁能提供 CString 里有一个operator LPCTSTR,难道这个LPCTSTR也可以被重载,它不是操作符啊,也不在可被重载的范围中啊? 请问到何处用蚂蚁下载photoshop6.01软件 在UPDATE的时候,如何返回受影响的记录个数?[Oracle8i] 请问各位谁能提供jpeg文件格式的中文说明??????????????????? [question]tmd的,有人惹我,怎么办 Windows CE, Windows NT Embedded等嵌入式操作系统和相关开发工具在上海如何购买??? mobile web application 里的softkey到底是怎么回事呀 [心情不好]砂粉阿 告他[我好伤心] 将2进制(16位)转为16进制(4位),怎么做? 请教!( VC.NET 里面怎么使用 MSFlexGrid ? JAVA的版本问题 哪儿有C#单独的编译器下载啊 ASP新手提问! 有谁知道在DELPHI中得到包括硬盘、多媒体、主板等信息? 请问小新,以及其它delphi高手一个简单问题,我从网上下载了一个报表控件,请问该如何使用? 一个关于TWinSocketStream的问题 scjp考题一道!!!!!!!! 小弟初学,如何从CString 转化到 int .thanks a lot. 我要学习数据结构,算法,离散数学..... [不爽阿]今天圣诞,有人惹我 关于临时表的共享问题? 是不是我的问题太难了,没有人回答? 请举例说明:接口是怎样实现多重继承的? 听说最近由于IT行业不景气,程序员的工资缩水了?是真的么? 这样写有什么不对?? delphi的dll库返回后调用程序出错!加了一行无关代码却正常!求教各位大狭! 塔尼包姆出了不1本计算机结构的书,还有1本MICROSOFT的 Microsoft Windows 用户界面开发 请问是否很好 Access初学者问一 再次请教一个sql排序问题,一定给分。 请问:程序中对WM_PAINT,WM_CTLCOLOR,WM_ERASEBKGND三个消息处理的顺序是怎样的? 这个月生意只有上个月的1/5,怎么回事? 我女朋友说最爱她的人不是我,这意味着什么? 工资里导入上月数据怎么实现 谁有复读王(fyfdw2001)的注册码? 经过一段时间的努力,我做出一套电话语音邮件系统,可以用电话和手机来收发EMAIL,有意者请与我联系 xuyaoliang@263.net 请救救我吧!有谁能告诉我中程的分数怎么查! 如何解决数据窗口显示照片(此照片在数据库的一个字段里)的问题? 请问如何获取硬盘和光驱的型号信息 谁有复读王(fyfdw2001)的注册码??????? n_up的问题。如何在另一列插入计算字段? 有没有深圳的mm,一起过圣诞好吗? far怎么用啊? 关于临时表的共享问题?? 请大家介绍一些学习C/C++的好网站,只要进者就给分。 在括号内填上恰当的成语或合适的诗句夏日炎炎,( ),我们到玄武湖风景区游玩,那里的荷花开了,真是( ),( ).泛舟湖上,让人( ).“六月的天,孩子的脸.”忽然间,“( ),( .)”大雨倾盆 371,429,516反别除以A后所得余数相同,则A=? 皇帝的新装故事简介50字左右 在括号里填上恰当的成语,古诗名我很喜欢旅游,每到一处总是免不了感慨一番.登上长城我( )的想起了( ),( ),( )等成语;乘舟漾起西湖,我不禁想起了( )的诗句;来到海边,我( )地想 用一个字概括《皇帝的新装》中心事件 皇帝的新装简介(30字内) 在括号里填上恰当的成语或古诗句⒉我很喜欢旅游,每到一处总免不了感慨一番.登上长城我__地想起了____、____、____等成语;乘舟荡漾西湖,我不禁想起____、___ 皇帝的新装 以_____为中心,以_____为线索,以_____为顺序? 怎么用一句话概括《皇帝的新装》的全文? 纬度和经度都为0度的是什么洋 皇帝的新装的中心意思 皇帝的新装的故事梗概 本初子午线以东的经线为 ,以西的经线为 .东西经度最大值为 .迟到的纬度是 .南.北纬度的最大值为 ,分别位于 和 . 皇帝的新装的中心句是? 皇帝的新装的主要内容 最好是一句话概括 生活中有没有类似《皇帝的新装》的闹剧呢? 皇帝的新装的中心思想是什么? 请用一句话概括初一上学期皇帝的新装 皇帝的新装感悟,要联系生活实际 56.96.148被某数除,余数相同,且不为零,求284被这个自然数的余数 用简要的语言概括《皇帝的新装》急用啊啊! 皇帝的新装让我们联想到什么“真实的生活”现象?说说你的看法安徒生说:“最奇妙的童话都是从真实的生活中产生的.” 57,59,148被某自然数除,余数相同,且除数比余数大14,求除数和余数 橙色+什么色=黄色 请问《皇帝的新装》中反映生活的主要方式是什么?麻烦大家快一点 英语翻译我校举行科技节,有一项发明很吸引外来参观者的眼球,而我就是这位发明者,下面就让我来介绍一下我的发明——护理机器人.只支持人工翻译哦!用机器译的就不要复制上来了!因为这 黄色和橙色在一起是什么颜色 皇帝的新装 这个故事在现实生活中有类似的情况吗简要分析急 英语翻译不要用翻译器,请纯人工翻译翻译句子时,能把句子主要想表达的意思说清楚就可以了,如果可以的话,最好能运用多组词组,一些高级句型,新年快乐!1.当今中国社会诚信问题凸显:虚假 皇帝的新装概括300字概括 0°经线以西为——,越向西经度越,以东为 ,越向东经度越 .经线又称 ,经线... 皇帝的新装续集一百字左右…… 皇帝的新装续写----300字左右急 皇帝的新装告诉我们: 皇帝的新装续 皇帝的新装续写300字左右 皇帝的新装 皇帝的新装续写作文 用一个字概况《皇帝的新装》,并阐述理由,理由不少于300字2013年12月26日网上8:00 在经纬网的地图上经线指什么方向,纬线指什么方向 续集有没有更经典的?大哥大姐们,帮帮忙啊! 皇帝的新装续写300字, 填成语,猜谜语1.焉不详 能自已 弓之鸟 心向背不旋踵 一而足 戚与共2.少离多 眉焦急 泻千里 水思源缄其口 步穿杨 盘狼籍3.起彼伏 径通幽 争朝夕 接不暇作之合 行下效 征无战 请问在有经纬网的地图上,根据经纬网辨方向,经线指示什么方向?纬线指示什么方向?黄土高原的生态环境十分脆弱,制约其农业发展的最关键因素请问是什么和什么 皇帝的新装(续) 填成语 猜谜语 1、填成语 猜谜语先把成语填完整,再把所填的字按顺序连起来作谜面,打一动物.( )针引线 ( )上添花 ( )冠禽兽( )月坡星 ( )颜薄命 ( )言巧语( )苦连天 ( ) 皇帝的新装(人物的性格特点)大臣(官员):皇帝:小孩:骗子:要简洁明了! excel 取余数想知道在EXCEL哈函数中求商加余数的函数,单独求余数也可以 猜谜填成语1不考虑中间( ) 2总共五句话( ) 3火车上演戏( )4骑兵踩地雷( ) 5单口说相声( ) 6一个巴掌打不响( )7走遍千家串万户( )8邮筒堵塞了( ) 9孩子玩跷跷板( )10桃花 皇帝的新装人物特点 整除余数问题3的161次方=5(mod 7)怎么证 猜谜语,填成语八分之七 皇帝的新装中 各个人物的性格特点具体一点 excel 中整除的公式是什么比如812除以100商8余12,请问商8怎么用函数表达出来 英语翻译他已下定决心去外国求学 (pursue) 皇帝的新装 各个人物的性格特点 英语翻译纯人工翻译下列3句话,机器、软件的就免了,PS:请使用词组、从句翻译上述句子(最好不要翻译成“主谓宾”的简单句式)1.根据调查,目前中小学生中常出现身体多病、近视、晕倒等 智猜谜语.根据前面的古诗,在括号里填上恰当的成语:谁知盘中餐,粒粒皆辛苦 皇帝的新装里人物的性格特点 皇帝:两个骗子:老大臣:百姓: 皇帝的新装 主要内容 要短30字
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn