说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Instagram:从Redis到Cassandra 成本节省1/4

HTML文档下载 WORD文档下载 PDF文档下载
提起Instagram的架构设计,大多数人都知道他们在使用Redis。DataStax联合创始人Matt Pfeil对Instagram基础架构软件工程师Rick Branson进行采访时得知,他们已不再使用Redis,而正在大量使用Cassandra。

Rick Branson是Instagram基础架构软件工程师,他在接受DataStax联合创始人MattPfeil采访时表示:随着数据量的快速增长,Redis已不再是他们的最佳使用对象,他们正在大量使用Cassandra。


下面是Matt Pfeil对Rick Branson的采访,笔者摘取了与Cassandra有关的核心内容进行编译:

Matt:Rick,听说你和伙伴们都在使用Cassandra,那能否跟我们分享你们的使用情况呢?

Rick:当然可以,我们已使用7、8个月了。最初,我们使用它主要是来存储涉及安全和网站诚信等方面的审计信息。这样,我们就会涉及到拦截垃圾邮件、滥用用户等其他相关东西。最初,这些任务都是在Redis中进行,但随着数据量快速增长,仅把它保存在内存中已不是高效之举,这是典型的高写入、低读取。而面对这种问题情景,Cassandra则是最拿手的,它可以毫不费劲地解决这方面问题。

我们一开始设置3个节点群,但随着用户量的增长,节点群也随之增长到了12个,这基本上就是我们后端主应用程序。

最近,我们决定移植另外一个项目,显然,该项目要比先前的要困难很多。团队里的每个人都开始投入到Cassandra上,大家花时间阅读文档、学习如何更高效地运作Cassandra。我们使用Cassandra来调用“收件箱(inboxes)”或应用中的新闻推送。基本上,这都是与用户的所有活动相绑定的,如果有人喜欢你的照片,赞或者评论照片,那么你的Instagram好友会看到相应的信息。我们之所以决定把数据迁到Cassandra上,主要是因为之前在Redis上,我们正遭遇内存限制。

Cassandra在可靠性和可用性上,我们都有着非常好的体验。我们只用了几天的功夫就成功地把项目迁移过来了。

关于集群上的一些细节:12个节点群的EC2 hi1.4xlarge 实例;在该集群上存储1.2TB数据;在高峰期,以20000次/秒的速度写到特定的集群、15000次/秒的速度读取。从这次实现,我们也学到了很多,并且会把学到的运用到其它实现上。

Matt:听起来真令人兴奋。刚刚你和我们分享了用户项目上一些非常有趣的事情,正如你提到的,从Redis迁移到Cassandra,是一个基于内存的发行。那这样做的背后动机是什么?

Rick:如上面提到的后端主应用程序,我们先移开一个Redis主/从复制设置,但成本太昂贵了。我们从内存中取出,遇到大实例,就放在硬盘上,当不经常读取的时候,它会运行的很好。而使用Cassandra可以削减近1/4的成本。不仅如此,它还可以很好地释放我们扔在集群上的数据,由于它更具扩展性,还会根据需要自动添加节点。尤其是当从一个unsharded设置转到sharded设置时,Cassandra可以很好地解决,而且在进行shard数据时,你无需经历任何痛苦。

其它用户项目我们称为“收件箱”,拥有32个节点群集。我们注意到,我们运行在这些机器上的空间,实际上并没有消耗多少CPU(Redis恰恰相反)。

在这些项目上使用Cassandra操作集群不仅具有成本效益,而且更易操作。耐用性则是Redis不能高效的主要原因,关于这一点,在CassandraSummit 2013峰会上我会继续介绍。

关于Cassandra

Apache Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集GoogleBigTable的数据模型与AmazonDynamo的完全分布式的架构于一身。Facebook于2008将 Cassandra 开源,此后,由于Cassandra良好的可扩展性,被Digg、Twitter等知名Web 2.0网站所采纳,成为了一种流行的分布式结构化数据存储方案。(来自维基百科)

Cassandra官网:http://cassandra.apache.org/

原文:PlanetCassandra.org

用Word做Delphi报表输出工具 在DELPHI 文 本 和 图 形 的 打 印 在Delphi中运用QuickReport实现多栏列印 在打印或打印预览前如何获取报表页数-Delphi资料 自定义快速报表的打印预览窗口-Delphi资料 Delphi 3 图形VCL中Bug修改方案 Delphi hint的字体和色彩如何改变 Delphi3.0中复活节彩蛋及实现 Delphi数据库应用程序开发中图像数据的存取技巧 DELPHI图形编辑技巧二则 DELPHI显示JPEG图像文件 Delphi中CANVAS使用三例 Delphi中的图形显示技巧 DELPHI中画布应用技巧 Delphi中控件深度投影及阴影效果的实现 DELPHI中利用对象的常用属性制作动画 Form生成时的事件次序-Delphi资料 LED数码管仿真显示程序-Delphi资料 TPaintBox与TImage的比较-Delphi资料 WINDOWS基于调色板的图像消隐-Delphi资料 改变图片效果-Delphi资料 改造HINT的输出方式-Delphi资料 基于Delphi的图像漫游 将BMP放入Paradox的BLOB的字段中-Delphi资料 界面色彩渐变效果的实现-Delphi资料 如何查阅可视窗口标题-Delphi资料 如何得到Timage控件的DC-Delphi资料 如何关闭一个MDI子窗口-Delphi资料 如何检测鼠标击了哪一个对象-Delphi资料 如何将鼠标锁定在固定范围内-Delphi资料 如何使你的窗口Stay on Top-Delphi资料 怎样列出客户生日来临前的一个星期所有客户名单? 我想做监控的软件,用udp 如何使用?着急! 急需求助!! 怎么样判断一个目录、文件是否存在??? 请教如何在给定的几个数中随机选出3个数? 想参加一个jsp开发组织。那里有? 为什么下面的头文件没有 .h后缀 如何在SAS软件中导入SQL SERVER 2000的数据?谢谢 请教有经验的学长:动态网页在我自己的机器上运行没有问题,但是(急) 一个奇怪的输出问题?各位C高手看过来 如何让Edit1->Text 等于float类型的变量? 菜鸟问题,在线等 Win98下的SOAP. 哪位大侠有installshield 7.0 以上版本的,发我一个,谢谢!!! 在word中用鼠标滚动的时候,左下角的 行 页变化是怎么的出来的,有没有程序呢 请大家看过来,apache配置文件是否有错,超紧急求救! 如何让Edit1->Text 等于float类型的变量? 为何提示不能创建对象?急死我了 在对话框类中怎样向视图类发送刷新视图的消息?谢谢 急,在线等!同样的打印程序(套打),为什么在不同的操作系统下面打印的位置有差别,怎么才能做到同一打印程序在不同的打印机和不同的系 DELPHI+SQL 想要怎么学习才能快速成长 哪个前辈指点指点 请你们指教好吗 串口通信问题 一个排序的问题! JBuilder下的编辑问题 急呀!vba高手帮帮忙? 动态类型转换 关于软件测试,测试结论 大家进来说说 如何在当前目录下调出一个CHM格式的文档? 为什么动态增加的WebBrowser1.Align不能为alClient啊? 怎样通过代码实现CTRL+C和CTRL+V的功能? 有两个问题要问,很难的哟,谁来挑战一下!! 在dll中能不能声明一些类,供外部程序调用?能给个例子最好; 各位,请帮我看看! weblogic6.1中配置好了oracle9i的连接池,名为oracle9,但是编程工程中如何使用这个连接池,希望答复!! MSXML2.XMLHTTP 是什么组件? 颜色填充 我要用到GPRS的知识,了解者请赐教! 请问在程序运行期间执行label1.text="***"怎么不变啊! 大家帮我看看,为什么不能选择divx压缩? 打开excel文件时提示“重载open方法未获得1参数” 帮忙写报表查询,我搞不定,请求帮忙!!!比较复杂!!!! 自定义标志的问题 着急! 今天在CSDN上终于变成三个绿色的小三角了,高兴……散分(前十位每人10分)! 如何把一个文件中text的值传到另一个文件中去? 路由器如何设置?? apache2配置文件问题,请大家指点迷 PPS文件用什么软件打开,谢谢! 填充颜色 svhost.exe程序错误 求HOOK例子 只有书才能让人保持精神和物质的平衡 这句话的意思是什么 求理由 谢 理由 谢 理由理由, 贝乐英语是骗人的吗? 贝_乐英语是骗人的吗? 既然f(x)+f(2a-x)=2b画出的图像不关于(a,b)对称,为什么函数f(x)关于点(a,b)对称,能得出f(x)+f(2a-x)=2b? 家用电器中的保险丝上一边写着F16AL 250V,另一边写着50F,这50F指的是什么意思? 2nd的基数词是什么 分电器正时,如何判断?活塞在压缩行程上止点怎么判断分电器在正时啊?原理是? 能帮我解析一下吗. 一个师傅那了一跟铁插入火花塞内,转动曲抽听说是判断分电器正时,我不明白,那位高人 我做的题中有一词“销售额”的意思是售价的钱数还是利润的钱数? 新快报记者承认受人指使收人钱财发表失李娜横扫前世界第一 职业生涯首进总决美国被曝监听30余国领导人 德法牵头世界拳王克里钦科宣布参选2015年乌法国羊群上街\"游行\" 抗议植入芯南非俩女童惨遭绑架奸杀 年龄仅两三岁德国近三成婴儿生于剖腹产 或与当地经好莱坞大道变性人受攻击案第二名嫌犯落英王室公布四世同堂照 被赞“轻松欢乐马尼拉市长拟为人质事件筹2000万港伦敦市长访华住酒店曾砍价 感谢中国提去哪儿携百度 “六一”推1元门票去年网店零售额316.85亿 激增94.5万!高明开出佛山最高环保罚单最大罚单显决心 政民互动需加强光伏逆变器市场升温陌生叔叔“问路找人” 竟将好心男孩绑牵手 走世界端午粽 小细节展现大不同区委书记任河长 打造民生生态河大路边镇聘40名 村级食品药品协管外经贸发展困局求解死神之双缘名帅养成记哪吒异世游记驭兽神牌极度风流船长阁下新扎太子爷猎艳至尊异界之逍遥王者幽冥魔道混迹在女校的杀手马头岩旅游天心永乐禅寺旅游冠豸山旅游石门湖旅游培田古民居旅游金海湾森林公园旅游世纪公园旅游汇龙潭旅游嘉定孔庙旅游法华塔旅游州桥老街旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘