说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Instagram:从Redis到Cassandra 成本节省1/4

HTML文档下载 WORD文档下载 PDF文档下载
提起Instagram的架构设计,大多数人都知道他们在使用Redis。DataStax联合创始人Matt Pfeil对Instagram基础架构软件工程师Rick Branson进行采访时得知,他们已不再使用Redis,而正在大量使用Cassandra。

Rick Branson是Instagram基础架构软件工程师,他在接受DataStax联合创始人MattPfeil采访时表示:随着数据量的快速增长,Redis已不再是他们的最佳使用对象,他们正在大量使用Cassandra。


下面是Matt Pfeil对Rick Branson的采访,笔者摘取了与Cassandra有关的核心内容进行编译:

Matt:Rick,听说你和伙伴们都在使用Cassandra,那能否跟我们分享你们的使用情况呢?

Rick:当然可以,我们已使用7、8个月了。最初,我们使用它主要是来存储涉及安全和网站诚信等方面的审计信息。这样,我们就会涉及到拦截垃圾邮件、滥用用户等其他相关东西。最初,这些任务都是在Redis中进行,但随着数据量快速增长,仅把它保存在内存中已不是高效之举,这是典型的高写入、低读取。而面对这种问题情景,Cassandra则是最拿手的,它可以毫不费劲地解决这方面问题。

我们一开始设置3个节点群,但随着用户量的增长,节点群也随之增长到了12个,这基本上就是我们后端主应用程序。

最近,我们决定移植另外一个项目,显然,该项目要比先前的要困难很多。团队里的每个人都开始投入到Cassandra上,大家花时间阅读文档、学习如何更高效地运作Cassandra。我们使用Cassandra来调用“收件箱(inboxes)”或应用中的新闻推送。基本上,这都是与用户的所有活动相绑定的,如果有人喜欢你的照片,赞或者评论照片,那么你的Instagram好友会看到相应的信息。我们之所以决定把数据迁到Cassandra上,主要是因为之前在Redis上,我们正遭遇内存限制。

Cassandra在可靠性和可用性上,我们都有着非常好的体验。我们只用了几天的功夫就成功地把项目迁移过来了。

关于集群上的一些细节:12个节点群的EC2 hi1.4xlarge 实例;在该集群上存储1.2TB数据;在高峰期,以20000次/秒的速度写到特定的集群、15000次/秒的速度读取。从这次实现,我们也学到了很多,并且会把学到的运用到其它实现上。

Matt:听起来真令人兴奋。刚刚你和我们分享了用户项目上一些非常有趣的事情,正如你提到的,从Redis迁移到Cassandra,是一个基于内存的发行。那这样做的背后动机是什么?

Rick:如上面提到的后端主应用程序,我们先移开一个Redis主/从复制设置,但成本太昂贵了。我们从内存中取出,遇到大实例,就放在硬盘上,当不经常读取的时候,它会运行的很好。而使用Cassandra可以削减近1/4的成本。不仅如此,它还可以很好地释放我们扔在集群上的数据,由于它更具扩展性,还会根据需要自动添加节点。尤其是当从一个unsharded设置转到sharded设置时,Cassandra可以很好地解决,而且在进行shard数据时,你无需经历任何痛苦。

其它用户项目我们称为“收件箱”,拥有32个节点群集。我们注意到,我们运行在这些机器上的空间,实际上并没有消耗多少CPU(Redis恰恰相反)。

在这些项目上使用Cassandra操作集群不仅具有成本效益,而且更易操作。耐用性则是Redis不能高效的主要原因,关于这一点,在CassandraSummit 2013峰会上我会继续介绍。

关于Cassandra

Apache Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集GoogleBigTable的数据模型与AmazonDynamo的完全分布式的架构于一身。Facebook于2008将 Cassandra 开源,此后,由于Cassandra良好的可扩展性,被Digg、Twitter等知名Web 2.0网站所采纳,成为了一种流行的分布式结构化数据存储方案。(来自维基百科)

Cassandra官网:http://cassandra.apache.org/

原文:PlanetCassandra.org

创业者谈:畏惧失败,但也要拥抱失败 谷歌赢得一场战斗 苹果能否赢得战争? 走进大学校园:是什么让学生成为独立开发者? 移动周报:为什么说独立开发者才是光明康途? MapFan eye:看日本地图导航应用的新玩法 数据会被清空:部分三星、魅族手机存安全漏洞 IE10简化文件访问 支持FileReader API 从MySQL迁移到MariaSQL Wikipedia力求开放 奥巴马筹款网站的制作过程 国内芯片厂商发力4G 新岸线2013年将推LTE方案 CMDN Club 23期:开放平台和O2O移动产品开发 花旗调低Apple股票评级 不信iPhone5会卖得好 2012年Linux Journal读者选择奖结果公布 百度云SiteApp:三步轻松创建移动网站 Twitter跨数据中心图片存储系统Blobstore解析 摩托罗拉携手中国移动发布Intel Inside智能机新锋丽i MT788 第五届“英特尔杯”全国大学生软件创新大赛圆满落幕 Appro推出液冷超级计算机 Dell:曾敦促微软WinRT放弃Windows品牌 IE10十大优点:渲染页面比Chrome快8% 法国电信:开放平台下的O2O移动产品怎么玩? 客如云创始人彭雷:寻找O2O“失落的半圆” 中国电信宋鹏飞:天翼开放平台的服务及架构解析 W3C小组宣布:HTML5标准制定完成 还记得DUQU吗?起因可能是Windows中存在了20多年的漏洞! API管理的五大规则 Google也节能:挖角美能源部Arun Majumdar博士 预测:云计算领域的5大变革 CTO俱乐部:移动信息化的创新实践及互联网创业 核心组图曝光:BlackBerry 10明年1月30日发布 “蛐蛐儿”创始人朱连兴:音频二维码的技术实现和应用场景 关于与后台连接的问题 请问黑龙江中程成绩怎么查? 如何用sql语句统计满足条件的记录数? 用ASP作下拉式菜单怎么坐呀?蛮着急的呀!! 一个看似简单实则绕脑的小问题 pb8是否内嵌easerver服务器? help 请教高手:一个写输出的问题,再线等待 我在一个组件中定义了一个Text2的属性,可如何让它显示在VS。NET的属性框中呢。 用了XTREME后,它自己生成的SDI框架中,菜单.状态栏的字体太小,我想改成9号宋体,怎么办? 怎样在数据库里保存文件! 急急。。得到树的导航?在线等待!! 刚才忘记说了,如何在sql里给中文排序? 请问有什么函数可以将BigdDecimal类型转换成为String类型??(很着急!) 来者有分 今天天气很好,出来晒晒太阳!你说哪? J2EE 和J2SE 的区别? 双网卡的机器上安装Oracle的listener的配置 查了有关目录,文件的函数没找到,问一下各位,怎样判断一个目录是否为空目录? 怎么搞的,又看不了帖? 请问有什么函数可以将BigdDecimal类型转换成为String类型??(很着急!) 如何用TUXEDO同步调用存储过程? 两个SQL Server通过拔号互连为何连不通呢?ICU!!! 心情不错,散分 想写一个自定义控件,里面包含一个button控件,一个text控件,和一个JS文件。如果做到button事件调用js文件后,能传到text控件? 怎么样让DBedit1.text的值在修改后需要点击button1后才由程序去修改,不是由它自己修改,但是readonly不能真和不用普通组件怎么样做? BUILD出现以下错误怎么办?? 关于stringgrid组件的太多使用问题急急急!!!50份相送倾我一半分给你 如何在BehindCode....... 如何在UNIX下配置 Tomcat4.0 + Apache1.3 + JDK1.3? 在线等待! ★中程过了,明年是不是可以直接考系分?? 如何制作vc插件? 请朋友们来报个名,大家好相互认识一下! 那里有easerver服务器下载 求教JAVA是什么? 高分求助-怎样利用汇编语言创建DBF文件,DBF文件在内存中存储格式如何??? 请问为什麽我用strconv时转的全角字符变成了一个“?”? Crystal Report Designer怎么凋出来啊? 在Win2000/NT中如何用VB建立快捷方式 各位大侠请看一下我的代理程序! 高程过了,今年考系统分析员. 关于const于集合的问题 ★中程过了,证书什么时候能够拿到?(江苏) 郁闷,问的问题总得不到回答! 散分 请给个向已有Xml文件写入新的节点方法,大家帮帮忙! 如何在command对象中实现命名参数,而不是通通以?代替 急,如何不把textarea的流动条显示出来??????? 我想建一个综合查询的程序,可是总是不行,请大家帮我呀!急用。。在线等。 如何通过内部网访问internet上的有一个固定IP的机器? 密码 帮忙看一下我的程序! 小区停车位紧张 法拉利车主用报废面包小伙开车突高速冲向人行道 撞断石柱掉松狮犬医院洗澡后暴亡 主人打官司索赔杭州一名女教师被骗102万元 骗子称男子包养弟弟前女友 欲与妻子三人同床男子因女儿遭邻居诅咒将其一家四口杀害男子用自家房门钥匙偷开警车 被行政拘爱犬洗澡后死亡 杭州狗主为起诉宠物医嘉兴3名90后游客钱塘江观潮遭潮水卷女子老公被警察带走 骗子称有门路骗钱宁波一名劫匪路遇强悍姑娘 抢劫不成被宁波老板投机买被拍卖房子 违约承担差男子深夜摸进情侣家摸女子大腿 慌乱中月薪两千的年轻厨师装成高富帅专偷奢侈妙龄女以色谋财 为向同事借巨款多次献女子如厕时尖叫 过路男子疑发生状况闯慈溪工人排污井下险遇难 一人报警及时奉化一辆货车撞倒电瓶车 20多人抬起杭州一名大伯无意开错一把锁 结果好像小伙背着吉他装学生 碰瓷计划被识破骗子骗完大一女生想骗其爸爸 连环骗术土耳其中南部发生汽车炸弹袭击致多人死这位联合国荣誉大使,为啥上任不到两月中国生态文明论坛年会在海口举办国家海洋局副局长:“十三五”将有效修记者暗访被打,警方岂能护犊子陈耀烨胜柯洁加冕“大侄子”超越老马或成票王北控爆冷击败“领头羊”南宁市“举城杯”举重锦标赛开赛苏亚雷斯与巴萨续约至2021年2016中国改革年度案例发布:成都长甘肃拓宽困难老年人补贴群体范围 每人湖南株洲40多万元国有资产被以1万元全国首个医疗公安局在辽宁成立 专为破华政成立中外法律文献中心,四百多万纸男子戴头盔持玩具枪劫金店遭店员猛打 专家学者聚河北保定 把脉新农村现代化美国、日本免疫学家获得首届“复旦 中广西:女子为防狼 带电击器和防狼喷雾孙杨出席代言品牌活动 西装革履下车间罗一笑病情仍不乐观 罗尔:不想再做“
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘