说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

时间序列数据处理的角逐:MongoDB vs. Cassandra

HTML文档下载 WORD文档下载 PDF文档下载
MongoDB是最具人气的文档数据库,而Cassandra是最具人气的列存储数据库,然而这两个在适用场景上似乎有着明显区别的解决方案近日却擦出了火花。

MongoDB与Cassandra是两个最具人气的NoSQL数据库,MongoDB更是NoSQL领域当之无愧的人气王,而Cassandra则常年霸占着列存储领域的首席,相比之下备受关注的HBase却因众多原因一直屈居次席。近日MyDrive Soulutions运营和架构总监分享了这两个人气NoSQL数据库在其公司的实践,并给出了相关对比,以下为译文:

使用Cassandra替换MongoDB来管理时间序列后的飞跃

使用场景

MyDrive拥有一个基于AWS托管的数据处理平台,由Resque工作者负责。作为一个远程信息处理公司,我们需要处理非常多的时间序列数据,初始我们采用了MongoDB。作为初期方案,MongoDB最初定义就是临时性的选择。

MongoDB表现的也是相当不错,然而不同大小负载处理时间的不可预测性带来了很多困扰,同时也让数据处理管道的优化变得非常困难。基于MongoDB的设计(大部分的关系型数据库同样如此),返回30个文档与返回300个文档的作业将触发不同的I/O负载,而返回30个文档的作业肯定要比300个的快。当然不管是30还300,处理的速度都不是很快,即使使用了非常好的索引及非常合适的实例。

此后,我们不得不对MongoDB实例进行一定的纵向扩展;当然如果长期如此,将带来非常多的额外开销。

解决方案

从开始,目标就被锁定在Cassandra上,因为AboutUs 5.0之后的版本都使用了Cassandra。它已经向我们证明了强大的可靠性、可见性以及弹性。这些特色在整合了横向扩展之后,让Cassandra成为一个当之无愧的杀手级数据存储。

一般情况的数据流为写入数据>>读回>>修改>>写入>>再读取,这些操作被不同用户执行。虽然这不是Cassandra的设计理念,但是Cassandra却非常适合我们的查询方式。

Cassandra确实非常适合时间序列数据,因为可以周期性的将时间序列数据写入1列,然后通过部分字符串对比来查询一定时间范围内的数据。这样的话使用列就比使用行更加的高效,而加载单行可以让你获得巨大的I/O性能。然后Cassandra必须至少读取一个数据,而随着数据持久化到磁盘的进行,所有剩余的数据都将被读取。

我们使用时间戳作为ID的前半部分,这样的话就可以做任何时间段的范围查询——每行都体现出了一条数据,而列则体现了时间序列数据的一个周期。这样所有数据都可以通过键及起止时间查询。

鉴于我们工作负载的类型,使用MongoDB时,写操作的数量会严重影响到读的性能,而使用Cassandra就不会有这种情况发生。

前后对比

上面的突变显示大半年的性能,蓝线表示的是受数据存储性能影响的部分。很明显在做MongoDB优化及横向扩展硬件时性能的落差很大,然而这些对Cassandra毫无影响。

我们阶段化的关闭了MongoDB,开始是停止了对其写入,最后停止了在MongoDB上的读操作(在图片上使用了红色箭头标注),不过图片上没有显示的是在过渡到Cassandra后加入了大量的批处理作业。

原文链接: Cassandra vs MongoDB For Time Series Data(编译/仲浩 审校/周小璐)

更多内容请关注CSDN云计算频道 及@CSDN云计算微博

Mark走起!iOS开发最常用的第三方库 【CTO俱乐部读书会】《人件》译者肖然:软件工程是社会学 错过就要等一年 深圳微信开发者大会不容错过的十大理由 【干货】国外程序员整理的 C++ 资源大全 一周消息树:被投资人“送”入看守所,创业人汪洁有罪还是无罪? 聚焦五大主题 Atlassian Summit 2014精华PPT下载 2014中国移动开发者大调查第四期获奖名单曝光 【问底】许鹏:使用Spark+Cassandra打造高性能数据分析平台(一) 【特惠倒计时两天】参加深圳微信开发者大会赠书及全套讲师讲义 《英雄联盟》支撑最高750万同时在线用户的聊天服务打造 深圳云软技术副总黄榕振:招行信用卡微信公众号开发高级篇 来自未来的你,MDCC 2014新奇智能硬件揭秘 Twitter开源云环境时间序列数据断层检测工具BreakoutDetection 浅析Facebook软件架构:Tao和BLOB的实现原理 【图文实录】CTO俱乐部:走近Keen Team,走近智能设备Hack 2014聚合开发者大会(JDDC)在京召开 专访腾讯反病毒实验室:揭秘TAV引擎,哈勃分析系统两大利器 Cocos Studio v2.0 Beta0正式发布!多维升级,合三为一 环信即时通讯云获3000万融资 用于研发运维 苹果谷歌都无力?前员工开发跨设备无缝同步应用 带你看会带你飞!MDCC 2014移动开发者大会参会指南 Meteor 1.0发布 构建更好的Web应用 【专访】敏捷专家吴穹:敏捷测试的行业应用与实战解析 英特尔中国研究院最新成果亮相 展示智能衣服瓷杯机器人等创新作品 Node.js 打造实时多人游戏框架 深圳微信开发者大会购票企业特征分析 上门汽车服务“e保养”完成A轮500万美元融资 Docker之父Solomon Hykes谈项目开发的初衷和挑战 浪潮是如何实现单日5000台x86服务器交付互联网的? Bootstrap 3.3.0发布 版本4不再支持IE8 漏洞预警:FTP曝严重远程执行漏洞 影响多个版本Unix 有什么方法.在asp文件中加入翻页功能的.(求助) 用QUICKREP打印详细内容时怎么能动态设置打印行数!急!!!!!!!!!!!!!! 新手问题:西门子的汇编语言与Intel的汇编有什么不同? pb的发展空间还有多少,我们老总宣布pb即将下岗 关于界面的刷新的问题,大侠帮忙 如何取得程序当前运行的目录? 同一个局域网内为什么有的能上网有的不能上? 我编了一个mousemove的过程为什么在onmousemove里看不到 jsp参数传递的乱马问题 校园网查看ip的问题 tuxedo分组很有学问,分不好会死,还有内存泄露,请赐教 有关页面调度的课程设计 新手问题,在线等! 内存大小是否会影响到网络速度? 谁来救我 ,SOS,求用C语言写的编译器 修改数据出错,不知为何? 等级考试的问题 请问能不能在不同用户登陆的情况来决定服务A是否启动。 关于还原精灵转储后win98不能启动的问题,请指教!~ 今天,我终于听到项目经理的一句内心话,让我们作为程序员感到一阵阵的寒心 请教一下 dll调试问题 怎样得到OnLButtonDown的point在整个屏幕上的坐标啊?谢谢 递归调用FindFirstFile、FindNextFile、FindClose的问题 页面调度有关的课程设计 关于client端与server端的连接问题 请问能不能在不同用户登陆的情况来决定服务A是否启动。 Textbox如何禁止它记忆以前曾经输入过的值? 我的XP的CPU经常占用90%以上,高手指点. 安装完win2000,又安装了天网防火墙,再安装SQL server 2000,快完成时启动服务警告“无法定位程序输入点” 急招深圳周边(含深圳).Net程序员 ??qustion Laney(6吨大肥猫) 快来啊^@^ 有关struts的<html:text>标签的问题!!!!!!!!!!!!!!!!!!!!!!! 为了考试挑灯夜读,遇到一个菜问题请大家帮忙! 哪位高手帮帮我!时间紧急! 关于还原精灵转储后win98不能启动的问题,请指教!~ 有几张漂亮图片,看看你的计算机是怎么累死的 求C++算法代码。 怎么实现在IE中将查找到的关键字用红色标记指示出来? 求C++算法代码。 请问哪里可以下载Numega DevPartenr Studio 测试工具 ㊣㊣ 什么也不多说了,帮忙给解决这个问题吧, 先多谢了!! ㊣㊣ 有个小小问题 寻找监测某端口的数据流量软件 都市幽灵·里面一定有宝藏 非常奇怪:为什么超链接无效? 显示异常 下个星期开始到新公司了,请大家给点经验,好吗 急!jsp+mysql,急寻blob输出方法!!! 修改记录问题 2战时德国比其他国家的装备先进了多少年个人认为比中国先进至少35年 比日本先进至少15年 比欧洲各国先进至少20年 最好有装备分析的回答 急求高数同济第六版下册练习册答案,望哪位大侠成全 前不见古人,后不见来者,念天地之悠悠,下一句是什么? “统治自己的内心就是统治全世界” 就是老师让推荐一句名言警句,我推荐这句推荐理由!要推荐语 公元1010年谁当皇帝? 带文口的成语 帮我赏析一下这句名言 天杀的语文老师活中没有什么可怕的东西,只有需要理解的东西. 极度压抑是什么意思? 时钟从9时45分到10时05分,分针旋转了【 】度. 我们语文老师叫明天写一句名人名言,还要说这句话的含义?你为什么喜欢这句话?写作中可以运用在哪些地方学习是劳动,是充满思想的劳动.——乌申斯基 这句话的含义?你为什么喜欢这句话? 英语翻译先后于XX和XX月,分别以X和X为主题在xx举办会议.带领团队各邀请不同领域的5位嘉宾到场为听众传播思想,其中包括XX等;统筹会议前期准备工作,现场控制,后期善后工作,在XX各界反响强 try this one on white哪里错了 慈禧太后垂帘听政带给中国社会的危害 现在在自学同济六版高数,感觉习题太少,请大家推荐一些习题集,练习册 try this one on white哪里错了 怎样判断全等三角形SSA 可不可以 自学高数(同济版)有什么好的教辅书,请推荐一些!1 文在最后时能组什么成语 公元24年属西汉还是东汉,皇帝是谁? 无限感慨 是什么意思 甲、乙两车分别从A、B两地同时相对开出,甲车每小时行45千米,乙车从B地到A地要12小时,相遇时甲车所行的路程是乙车的4/5,求相遇时甲车行了多少千米? 慈禧做过了哪些好事、坏事? 《春》野花,眼睛,星星共同特征的词是? 前不见古人后不见来者念天地之悠悠独怆然而涕下是谁写的? 怎样才能让自己对语文感兴趣? 像眼睛,像星星,还眨呀眨的.“眨呀眨的”写出了野花什么样的情态? It's small Try this pair on哪里错了 注册Quora时所填的full 惆怅啥意思 为什么现在的小学课本都那么深. 如果傻瓜才能坚持梦想,那就叫我大傻瓜吧 用英语怎么说 急 马哲里的时间的“一维性”和“客观性”怎么区分? 两个向量相等的条件是 我是个大傻瓜.英文怎么翻?顺便在帮忙翻下“我们是2个世界的人不可能在一起.” 为什么在《算法导论》中,lg变成了以2为底?在算法导论第二版第33页说lg以2为底,lg不是以10为底么? 前不见古人 后不见来者念天地之悠悠独怆然而涕下谁写的啊在什么时候写的啊? 你真是个大傻瓜啊!英语怎么写? 小学五年级课本 写篇英语作文should student be required to do writeen honework写篇作文 在线等 你懂得 我的大傻瓜,我真的很爱你,帮忙翻译成英文, 小学五年级课本在那? 请问刘老师,行阶梯形矩阵是不是只能由行变换得到? 世界人种在分布上有既很大范围的什么,又有小范围的什么? 算法导论什么时候有翻译的第三版? 求问矩阵的初等行变换是否影响其对称性?并给出证明. 文非的疯狂成语猜 心急怎么找,三国演义中的三绝是谁,谢 已知矩阵B,求变换矩阵T使得(T的转置)*B*T成为对角矩阵,老师我想问一下先变行再变相应的列行不行? 翻译成英语:小雪是个傻瓜,大傻瓜... L That's an English book怎么拼写 几维的时空宇宙共有几维时空? 马哲学:意识创造物质与意识转化物质的区别不同的选项,区别他们 坐等,三国演义中的三绝是谁,请快回答 时间和空间的讨论,这是个几维的空间?假设题:地球发射宇宙飞船去A星探索星际环境,地球距离A星的空间直线距离假定为一光年.在飞船起飞的时候就与地面进行实时传播,地面开始录制整个飞 英语周报2014-2015高一外研第四期book1module2答案 栗可以组成神马词语 一道初中语法题!麻烦详解.The teacher ,together with his students ,____ a trip to Nanjing.A have taken B are talkingC are going to take D is taking答案选的是D is taking C错在哪里?B呢? 长沙理工大学高数(同济第六版)下册练习册的详细答案~ 前不见古人,后不见来者,念天地之悠悠,独沧然而涕下是什么意思 3点多少分时,时针和分针离2的距离相等,并且在2的两边 民调:无财务安全感 37%美国民众自泰国一旅游车刹车失灵掉下悬崖 致17贝卢斯科尼涉嫌行贿议员 要求其改变政调查称美国超6成手机用户每次醒来都会美媒称美巴首脑会谈显示两国“离婚”情叙武装分子公布被绑架俄公民视频 真伪雷神公司获30亿美元SM-3 Blo英国大型超市取消大包生菜买一送一以减民调:无财务安全感 37%美国民众自美国男孩携玩具枪街头把玩不肯放下 被挪威称曾试图阻止一名肯尼亚恐袭男子加哈里王子女友获邀参加乔治洗礼式 二人美国少女携枪照顾男童 致其玩枪走火把叙武装分子发表在叙被劫持的俄罗斯工程今日言论:\"梅德韦杰夫亲切实在幽默美13岁男孩手持仿真枪向警察展示 被潘基文敦促莫桑比克冲突双方通过对话解评论:沙特不收联合国“大礼”有人欢喜男子劳动合同被“单方解约” 半年三上台“立法院”空转一个月 民进党扯了谁报告称朝鲜核试验场挖新坑道 短期内不四中全会公报治理国家的几种探索想起那组印石“涌动的太平洋”云居仿生素宴晚书架一年长流水问题 几小时就解决了讲座义诊拍“南水北调”像打硬仗我们生活在“暗淡蓝点”经调解双方和平分手法治建设成效纳入政绩考核入轨准准的要扩至40家被掩护上岗欧盟峰会澳当局称失踪马航MH370残骸或被冲逛十三陵吃康陵春饼十万斤柿子急等买家全职妈妈的三年一个眼神刑诉法完善
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘