说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Instagram:从Redis到Cassandra 成本节省1/4

HTML文档下载 WORD文档下载 PDF文档下载
提起Instagram的架构设计,大多数人都知道他们在使用Redis。DataStax联合创始人Matt Pfeil对Instagram基础架构软件工程师Rick Branson进行采访时得知,他们已不再使用Redis,而正在大量使用Cassandra。

Rick Branson是Instagram基础架构软件工程师,他在接受DataStax联合创始人MattPfeil采访时表示:随着数据量的快速增长,Redis已不再是他们的最佳使用对象,他们正在大量使用Cassandra。


下面是Matt Pfeil对Rick Branson的采访,笔者摘取了与Cassandra有关的核心内容进行编译:

Matt:Rick,听说你和伙伴们都在使用Cassandra,那能否跟我们分享你们的使用情况呢?

Rick:当然可以,我们已使用7、8个月了。最初,我们使用它主要是来存储涉及安全和网站诚信等方面的审计信息。这样,我们就会涉及到拦截垃圾邮件、滥用用户等其他相关东西。最初,这些任务都是在Redis中进行,但随着数据量快速增长,仅把它保存在内存中已不是高效之举,这是典型的高写入、低读取。而面对这种问题情景,Cassandra则是最拿手的,它可以毫不费劲地解决这方面问题。

我们一开始设置3个节点群,但随着用户量的增长,节点群也随之增长到了12个,这基本上就是我们后端主应用程序。

最近,我们决定移植另外一个项目,显然,该项目要比先前的要困难很多。团队里的每个人都开始投入到Cassandra上,大家花时间阅读文档、学习如何更高效地运作Cassandra。我们使用Cassandra来调用“收件箱(inboxes)”或应用中的新闻推送。基本上,这都是与用户的所有活动相绑定的,如果有人喜欢你的照片,赞或者评论照片,那么你的Instagram好友会看到相应的信息。我们之所以决定把数据迁到Cassandra上,主要是因为之前在Redis上,我们正遭遇内存限制。

Cassandra在可靠性和可用性上,我们都有着非常好的体验。我们只用了几天的功夫就成功地把项目迁移过来了。

关于集群上的一些细节:12个节点群的EC2 hi1.4xlarge 实例;在该集群上存储1.2TB数据;在高峰期,以20000次/秒的速度写到特定的集群、15000次/秒的速度读取。从这次实现,我们也学到了很多,并且会把学到的运用到其它实现上。

Matt:听起来真令人兴奋。刚刚你和我们分享了用户项目上一些非常有趣的事情,正如你提到的,从Redis迁移到Cassandra,是一个基于内存的发行。那这样做的背后动机是什么?

Rick:如上面提到的后端主应用程序,我们先移开一个Redis主/从复制设置,但成本太昂贵了。我们从内存中取出,遇到大实例,就放在硬盘上,当不经常读取的时候,它会运行的很好。而使用Cassandra可以削减近1/4的成本。不仅如此,它还可以很好地释放我们扔在集群上的数据,由于它更具扩展性,还会根据需要自动添加节点。尤其是当从一个unsharded设置转到sharded设置时,Cassandra可以很好地解决,而且在进行shard数据时,你无需经历任何痛苦。

其它用户项目我们称为“收件箱”,拥有32个节点群集。我们注意到,我们运行在这些机器上的空间,实际上并没有消耗多少CPU(Redis恰恰相反)。

在这些项目上使用Cassandra操作集群不仅具有成本效益,而且更易操作。耐用性则是Redis不能高效的主要原因,关于这一点,在CassandraSummit 2013峰会上我会继续介绍。

关于Cassandra

Apache Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集GoogleBigTable的数据模型与AmazonDynamo的完全分布式的架构于一身。Facebook于2008将 Cassandra 开源,此后,由于Cassandra良好的可扩展性,被Digg、Twitter等知名Web 2.0网站所采纳,成为了一种流行的分布式结构化数据存储方案。(来自维基百科)

Cassandra官网:http://cassandra.apache.org/

原文:PlanetCassandra.org

设置ScrollView滚动条的颜色 WakeLock使用方法示例代码 Concurrent并发库常见问题总结 Android数据库SQLite性能优化技巧 Android开发之Java设计模式基础篇 Android开发之Java设计模式入门篇 Android开发之Java设计模式 Android开发之Java并发包集合类性能分析 Android开发之Java集合类性能分析 Android开发之Java虚拟机原理和内存分配 Android开发之Java基础系列教程目录 Android Theme主题样式开发注意点 Android 3.0开发用的平板推荐 android.resource://这个Uri你知道吗 ADT插件的10.0.1必须要Eclipse 3.5才能升级 Android线程优先级设置方法 Android Zip文件解压缩代码 Android开发之设置断点单步调试 Android裁剪图片最简单方法 Android平台待开发软件列表 Android开发知识-3月13日总结 Android平板开发注意点 Android 3.0自带的天气预报例子代码 Loader和Fragment使用示例代码 LoaderManager - Android 3.0新特性 帮助ADT改进DDMS中的Logcat中文乱码问题 Fragment API将兼容Android 1.6到3.0 通过Linux Shell实现Android横竖屏切换 Android高手应该精通哪些内容? Android 2.2开始resources.arsc有改变 分析你的Android ANR错误 OleContainer1对象如何使打开的文件嵌在OLE里面,而不是在外部打开DOC文档. 寻兼职程序员,开发一个的屏幕取词工具软件 那里有interdev下载?在线等 小弟初学vb.net,现有一题急需帮忙. oracle9客户端连接oracle816:tns 出错: 写文件换行,再按行读出 ASP开发工具的讨论!大家都用什么开发工具!DreamWeaverMX有没人用啊?看起来功能挺强的! 哪位大哥用过toplink连接oracle数据库的,请进 如何获得给定的文件的路径,比如文件"a.txt"发路径? (((SOS)))在WebForm中怎么样用程序隐藏dataGrid由属性生成器生成的按钮列(删除。。。) 高分求帮助 请问一般在VB中,该如何维护ACCESS数据库 asp的Response.Write的问题? 你们难道没遇到过这个问题? 大虾们救命!!!在线等待.................. 在次提醒!女孩不要看! ADODB.Stream 错误 '800a0bbc' 用sql的朋友们进来看看,问题不是很难,帮帮我。谢谢。 寻兼职程序员,开发一个的屏幕取词工具软件 怎么在sdk编程中设置editbox的初始值 大虾们救命!!!在线等待................. 如何能够屏蔽WM_SIZEING的消息. 关于DataGrid的问题 找房子的问题?有办法的帮个忙! sql server 与oracle的数据类型 充分发挥网络优势和自由精神,共同开发维护我们自己的网站 遍历表单中的文本框,为何只出现第一个值 请教如何在VB中调用我在SQL中建好的带参数存储过程? 天天泡程序人生,无心向学,欲罢不能,咋办? 怎样向一个数组里面写入数据,使这些数据满足下面的条件? 请各位看看这个网站www.green-net.com.cn,一家不错的深圳通信公司,现在急缺研发人员(包括软件,测试,用服,市场人员),待遇从优。有 updete数据窗口时新insert的数据出现重复问题?紧急! 关于textbox和回车的问题 高分求一个VB源码分析工具CodeReview? 如何得到注册表的网上学习资料?拜托各位大虾指点。 我想买一个bbs论坛! 寻兼职程序员,开发一个屏幕取词工具软件 XP的IIS怪事特别多,怎么就连不上.mdb呢? cshadow(影子)大侠能不能给我 重发一次上次的没收到 用SOFTICE破解软件时怎么知道按几下F12就到了要破解程序的领空?而且对于F11的作用我也不是很理解,请明白的朋友讲一下。 请问属性和内容怎么写在这个里面,谢谢!很简单的,请看看!! fstream的标志位 侯捷译的《java编程思想》99元,太狠了吧,人家原版可是免费下载的!!! 充分发挥网络优势和自由精神,共同开发维护我们自己的网站 求救:如何在vc中设计报表 有关MAP的设置问题 java打印报表的问题!!在线等待中!!! 寻兼职程序员,开发一个屏幕取词工具软件 不规则数据在数据库中的存储问题,请大家给点意见 pb7.0不支持image类型的字段? 关于计算机专业考研的问题? 用伏安法测电阻时电源电压为15伏,电压表有0~3伏和0~15伏两个量程,电流表有0~0,6安和0~3安.待测电阻阻值为10欧,则电流表和电压表应选怎样的量程,理由 摩尔定律对集成电路意义? 山重水复疑无路,柳暗花明又一村的重和复是什么意思? 在用伏安法测电阻的实验中,电压表的示数为4.8伏,电流表的示数为0.5安.如果改变电源电压后,电?在用伏安法测电阻的实验中,电压表的示数为4.8伏,电流表的示数为0.5安.如果改变电源电压 珠光粉在液体中不沉淀有什么好办法?整体粘度500,要求24小时不沉淀 到底是山重水尽疑无路柳暗花明又一村还是山重水复疑无路柳暗花明又一村还是山穷水尽疑无路柳暗花明又一村(求求大家帮帮忙) 用伏安法测量电阻时,若电源电压为3伏,被测电阻为20欧,测电压表,电流表的量程应选?A.0_3伏,0-3安 B.0-15伏,0-3安 C.0-3伏,0-0.6安D.0-15伏 润滑油常用指标有哪些?东莞润滑油 在显微镜下看物像,如果将‘b’放在显微镜下观察,会看到什么?为什么 反射阳光能力差的物体,在阳光的照射下,温度升高得()A慢 B快 C不能判断 树脂做的瓷砖配件如腰线能被太阳晒吗? 显微镜的观察发现1.生物体都是由( )组成的,( )是生物体最基本的结构单位,也是生物体最基本的功能单位.洋葱的表皮就是由一个个( )组成的.2.通过显微镜观察发现,宝石花耐旱的原因 反射阳光能力差的物体,在阳光的照射下,温度升高的快还是慢? 什么样的瓷砖太阳晒不裂楼顶装修,我准备贴瓷砖,请问是贴全瓷的玻化砖还是贴几块钱的土陶瓷砖.哪种抗晒? 双氧水漱口会中毒么 反光能力差的物体在阳光下温度升高的快么? 暖手宝排气孔盖子一打开好多黄色水流出来要紧吗 双氧水能漱口吗 运放集成芯片OPA2340晶体管数和门数为多少,门数不知道的话给我晶体管数也行,请给出正确的数值, 磁砖在太阳下晒可以吗拜托了各位 谢谢 双氧水漱口好吗 帮我做几道计算题,我还有很多作业 为什么有的暖手宝没有排气孔? 山重水复疑无路,柳暗花明又一村的感受是什么 怎么做好心人帮我一下 中国和美国,哪个的自然资源更丰富? 关于“山重水复疑无路柳暗花明又一村”的例子不要刘翔的 只要例子啊~不用作文~贴近生活 最好很多人都知道的 哪个好心人帮我做一下 美国为什么自然资源这么丰富?如题,美国为什么有如此多的矿石,石油,天然气等资源?记得以前看过一篇文章,好像是和远古时期板块运动什么有关的,具体不记得了…… 日本自然资源贫乏,工业原料需全部从国外进口的有哪些 已知U1=10V、U2=30V、I3=2A、R1、R2、R3均为10Ω,求I1、I2、I3电流值及R抱歉题目错了,是求I1、I2、I3及R1、R3上的电压,上面题目漏了几个字 中国的西部有什么自然资源? 日本、韩国等国家自然资源都很贫乏,它们为什么经济发展都好于许多资源富足的国家? 西南大旱带来的思考 作文 我国的自然资源有哪些 日本的国土面积是中国的二十八分之一,人口是中国的十分之一,而且自然资源贫乏,为什么国力强于中国不要去问百度,说一下自己的观点 暖手宝多久排一次气不会爆炸,怎么安全的排气?班里好几个同学的都爆炸了,我心里挺担心的. 美国自然资源分布 用了过氧化氢溶液漱口后能用清水漱口吗?清水在唰那 还有效果吗.不漱在嘴里有难受. 反射阳光能力差的物体,在阳光的照射下,物体影子的变化规律是快还是慢A.慢 B.快 C.不能判断 一段导体两端加3V电压时,通过它的电流为0.2A,如果这段导体两端电压为9V时,求此时电阻和电流. 过氧化氢漱口药超售的过氧化氢溶液不是就怕过氧化氢加水吗?还含有什么离子阿?刚才用两勺3%的过氧化氢兑了一杯水漱口,(80ml水) 为什么现在感觉喉咙有点苦阿?难道是还有钠离子吗?还是浓 暖手宝排气孔怎么弄开啊暖手的袋子排气孔弄不开啊 怎么弄啊 很紧的 表达对已故的人有了交代的内心的感情的词语 3%过氧化氢漱口有危险吗? 集成电路的分类,以及其应用范围 表示人的胸怀,感情词语是什么? 并联电路中,开关闭和后,电阻R1消耗功率P1,电阻R2消耗功率P2证明P1除P2等于R2除R1 珠光粉在涂料行业的应用中应该注意哪些问题和细节? 润滑油知识想了解一下润滑油的基础知识.还有比如说“SAE15W/40”怎么理解其中的含义?请讲述得详细通俗点,不要复制粘贴啊,怎么着也给我整整再贴上来啊!希望能有通俗的解释. 用3.3v的电压通过mos管控制一个24V/3A的负载电路的通断问题请问该怎么选择MOS管的型号,最好能给出几个MOS管的具体型号 常用数控机床使用的润滑油有哪几种? 汽车机油知识 如何把24V电压转换成3V电压?说出几个可以买到的产品? 什么机械最常用到润滑油,哪些制造企业最经常要用到润滑油? 问两个问题哈,1、简要比较日本与俄罗斯在自然资源和海上航运条件的不同:2、以上差异对日本和俄罗斯...问两个问题哈,1、简要比较日本与俄罗斯在自然资源和海上航运条件的不同:2、以 怎么用光电耦合器将3.3V的输入电压转换成24V的电压这里3.3V的信号是DSP IO口输出的高电平,24V是控制PLC所需要的开关信号电压值 导体的电阻跟哪些因素有关 摩尔定律主要是说集成电路的集成度每________翻一番. 俄罗斯自然资源丰富,主要矿产资源有什么?A、石油、天然气、森林B、石油、铁、水能C、金、金刚石、铝土D、煤、铁、石油
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘