说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Instagram:从Redis到Cassandra 成本节省1/4

HTML文档下载 WORD文档下载 PDF文档下载
提起Instagram的架构设计,大多数人都知道他们在使用Redis。DataStax联合创始人Matt Pfeil对Instagram基础架构软件工程师Rick Branson进行采访时得知,他们已不再使用Redis,而正在大量使用Cassandra。

Rick Branson是Instagram基础架构软件工程师,他在接受DataStax联合创始人MattPfeil采访时表示:随着数据量的快速增长,Redis已不再是他们的最佳使用对象,他们正在大量使用Cassandra。


下面是Matt Pfeil对Rick Branson的采访,笔者摘取了与Cassandra有关的核心内容进行编译:

Matt:Rick,听说你和伙伴们都在使用Cassandra,那能否跟我们分享你们的使用情况呢?

Rick:当然可以,我们已使用7、8个月了。最初,我们使用它主要是来存储涉及安全和网站诚信等方面的审计信息。这样,我们就会涉及到拦截垃圾邮件、滥用用户等其他相关东西。最初,这些任务都是在Redis中进行,但随着数据量快速增长,仅把它保存在内存中已不是高效之举,这是典型的高写入、低读取。而面对这种问题情景,Cassandra则是最拿手的,它可以毫不费劲地解决这方面问题。

我们一开始设置3个节点群,但随着用户量的增长,节点群也随之增长到了12个,这基本上就是我们后端主应用程序。

最近,我们决定移植另外一个项目,显然,该项目要比先前的要困难很多。团队里的每个人都开始投入到Cassandra上,大家花时间阅读文档、学习如何更高效地运作Cassandra。我们使用Cassandra来调用“收件箱(inboxes)”或应用中的新闻推送。基本上,这都是与用户的所有活动相绑定的,如果有人喜欢你的照片,赞或者评论照片,那么你的Instagram好友会看到相应的信息。我们之所以决定把数据迁到Cassandra上,主要是因为之前在Redis上,我们正遭遇内存限制。

Cassandra在可靠性和可用性上,我们都有着非常好的体验。我们只用了几天的功夫就成功地把项目迁移过来了。

关于集群上的一些细节:12个节点群的EC2 hi1.4xlarge 实例;在该集群上存储1.2TB数据;在高峰期,以20000次/秒的速度写到特定的集群、15000次/秒的速度读取。从这次实现,我们也学到了很多,并且会把学到的运用到其它实现上。

Matt:听起来真令人兴奋。刚刚你和我们分享了用户项目上一些非常有趣的事情,正如你提到的,从Redis迁移到Cassandra,是一个基于内存的发行。那这样做的背后动机是什么?

Rick:如上面提到的后端主应用程序,我们先移开一个Redis主/从复制设置,但成本太昂贵了。我们从内存中取出,遇到大实例,就放在硬盘上,当不经常读取的时候,它会运行的很好。而使用Cassandra可以削减近1/4的成本。不仅如此,它还可以很好地释放我们扔在集群上的数据,由于它更具扩展性,还会根据需要自动添加节点。尤其是当从一个unsharded设置转到sharded设置时,Cassandra可以很好地解决,而且在进行shard数据时,你无需经历任何痛苦。

其它用户项目我们称为“收件箱”,拥有32个节点群集。我们注意到,我们运行在这些机器上的空间,实际上并没有消耗多少CPU(Redis恰恰相反)。

在这些项目上使用Cassandra操作集群不仅具有成本效益,而且更易操作。耐用性则是Redis不能高效的主要原因,关于这一点,在CassandraSummit 2013峰会上我会继续介绍。

关于Cassandra

Apache Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集GoogleBigTable的数据模型与AmazonDynamo的完全分布式的架构于一身。Facebook于2008将 Cassandra 开源,此后,由于Cassandra良好的可扩展性,被Digg、Twitter等知名Web 2.0网站所采纳,成为了一种流行的分布式结构化数据存储方案。(来自维基百科)

Cassandra官网:http://cassandra.apache.org/

原文:PlanetCassandra.org

中文版Evernote百宝箱上线:开发者海外推广新渠道 360产品被爆收集用户隐私 桌面安全路在何方 销售额达一万亿元 阿里巴巴成世界最大电商 共享软件海外营销策略与实战分析(武汉站)成功落幕 你未必知道的CSS故事:揭开leading的面纱 2013年 影响Web发展的5类API 《Warcraft是怎样炼成的》:多人对战、战争迷雾以及AI HBTC精彩回顾 Hadoop专家分享大数据技术工具与最佳实践 苹果iTV规格泄露:iOS应用开发的新蓝海 Facebook觊觎微信鼻祖WhatsApp,但谈不上收购 首款社交API应用 Facebook Messenger for Firefox正式上线! 共享软件海外营销策略与实战分析(沈阳站)成功落幕 移动之伤:为什么山寨游戏比原创更火? IBM在京发布PureData 主打数据交易处理、操作分析 Intel发布Hadoop免费版 全力拓展生态圈 突出图片搜索:微软向测试人员开放Socl社交搜索 豌豆荚创始人:和巨头竞争,我们拼产品和技术 “互联网女皇”报告解读:智能电视大趋势 苹果扩大其北卡罗莱纳州燃料电池发电场规模 Oracle回收站使用全攻略 微软这次很诚实:IE真的糟透了 Facebook进军短信业务,挑战微信鼻祖WhatsApp 从菜鸟到专家的五步编程语言学习法 亚马逊企业文化:从书贩到云服务巨头的催化剂 明年Google I/O大会日程敲定 或发Android“酸橙派”? 绝境求生,WebOS寄望Android Facebook在移动路上走过的那些弯路 曙光聂华:推动数据融合 CloudStack Committer李学辉:2013年社区将爆发 继续霸权:美众院否决联合国掌控互联网 墨迹天气创始人金犁:巧用细分市场的力量 我想做一个象MSN类似的界面,请教各位应该怎么整啊? 简单的textbox控件问题,再次散分了! 有一个1024K*32位的存储器,由128K*8位的DRAM芯片构成,看下面对吗? colordialog的问题 win98窗口上的最大化最小化按钮变成了数字 请问,如何以编程的方式创建SQL server的实例的? 请问“[System.ComponentModel.DesignerCategory("Code")]的意义? table1.FieldbyName('Company').asstring:= ExpandFileName (filelistbox1.filename); 网卡使用的问题!在线等候 会c/s的高手请帮忙! 为什么我的winme关机后在开机总是要检查磁盘,可是我是正常关机呀,烦死我了。谁能解决给100分。 各位高高手,有没有MS SQLServer6.5的JDBC驱动?救人一命胜造十级**,忘了咋说的了. 大家给我解答我不会用,请再帮帮忙(前后贴200分一起结,谢谢) 在一个dataset中,对于不是主键的列中的值如何进行查询? 星球大战前传2:美国人全面攻击 有谁知道在哪有IIS6.0下载呢 请问在mysql中怎么建立自动增加的字段呢 , 好想在mysql中没有那么强大的工具。 请问哪里可以下载中文的windows Media Player SDK? 高分求助 数据备份 为什么Access中排序顺序不正确?<在线等待> 在菜单中增加CIMAGELIST中的位图,这样写对吗? 为什么受伤的总是我?只因为我是菜鸟??? 寻一个asp.net(codebehind)实现的数据库访问的demo sybase事务处理的问题 我的程序用的Access,,运行时出现“无法为更新引集定位:一些值可能已在最后读取后改变”什么原因? 怎样加大在sql server中存储图片字段的大小 这回真的是“高手请进”了!!!! 求救,javabean编译问题?? 如何获取Dispatch接口中的事件? 小小问题:如何清空用ADO连接的数据库表中的记录 大家由没有碰到这样的问题? 100分请高手给澄清关于数据库引擎的几个概念 请问 ucs2编码如何转化成gb格式的? 在Ado2.1中如果已经Addnew,如何撤消而不引起错误? 打开新窗口的问题 谁知道那里有电子版的《C语言编程思想》 如何获得输入得BSTR 字符串得值? 帮我想想! 为什么我运行 ms-project2000会出错!错误内容在里面,请大家指教!!! 哈工大附近有卖3号足球(最小的那种,可以在室内玩)的吗? 修改?? 关于CPU 100%使用率的问题 如何使用VB访问MySQL数据库? 视图窗口的windows句柄和视图窗口的指针有什么区别? SQLServer出现问题,急!! 如何像Windows Form一样,弹出 .aspx的Web文件。 请教一个问题。急 请问如何才能链接到中文文件?谢谢。 初学者的一个很低级的问题! 未老先衰吗? 用什么方法可以把DBGrid查询的内容打印处理,查询是用sql语句的,有什么好控件? 汽车发动机原理是什么? 液态氯化氢为什么不是电解质?不是说酸、碱、盐都是由离子组成,都是电解质吗 帮我弄初中需要的化学式,别乱放,帮我排好 如何区分强、弱电解质?如何区分强弱电解质?怎样能知道某物质是否完全电离呢?必须所有的都背吗?没有什么规律吗?都有哪些盐是属于弱电解质的?问题多了点……我是高一的…… 撑杆跳高运动员由起跳到越过横杆的过程,人的机械能守恒吗?为什么?不计空气阻力,A撑杆的弹性势能先增大后减小 B人的机械能守恒 选哪一个?说明原因 高一化学必修一 学探诊答案 怎样判断哪些是碱性氧化物,哪些是酸性氧化物?怎么判断强弱酸、强弱碱以及强弱电解质?有什么窍门 请问:易挥发成无味气体的试剂有哪些?( 学探诊化学必修1配套测试卷答案要全部~不用了 游泳和跑步哪个氧气消耗大跑马拉松和游泳哪个耗氧大 撑杆跳高运动员由起跳到越过横杆的过程.此过程的能量变化瓶尖?镶漫漫冬夜里,我一直做着一个梦:一条豁它成为名副其实的“三楚胜境康天”、闻“三国雄风拉?撑杆跳高运动员由起跳到越 高一化学必修一学探诊答案.速求邮箱yizihao@sohu.com 24题BCD分别解释一下? 撑杆跳时,运动员越过横杆后,运动员将什么能转换为什么能?撑杆跳时,运动员越过横杆后,运动员将什么能转换为什么能?注意是越过横杆后! 北京市西城区学探诊高一化学必修一的答案! “胡萝卜,鸡蛋和咖啡”这篇文章中富有哲理的一个句子摘录下来,并把自己的感受写下来 初三科学 如图所示是撑杆跳高运动员由起跳到越过横杆的频闪照片,此过程中有关能量的说法,正确的是宾棍?邢缩着,与那散发着青春气息的溪水极不岔孙的丰碑.荆楚大地的人们就身就位于荆 九上化学学探诊答案 请你提出两种不同方案,证明HA酸是弱电解质 撑杆跳时重心一定要高于横杆?运动员要想成功越过横杆,重心必须高于横杆怎么是错的? 外界空气中氧气进入人体细胞中被利用,至少要穿过的生物膜层数是多少层 下列事实能说明HA酸是弱电解质的是( )下列事实能说明HA酸是弱电解质的是( )A 浓度相同时HA溶液的导电性比强酸弱,B 10mL 1mol/L的HA溶液与10mL 1mol/L的NaOH溶液恰好完全反应,C NaA溶液的PH>7,D 京沪高速公路全长大约1200千米.一辆大卡车和一辆小客车分别同时从上海和北京出发;相向而行,经过6小时在途中相遇.如果大客车的速度是小客车的十一分之九,两辆车的速度各是每小时多少 分析撑竿跳高过程的能量转化? 证明次氯酸是弱电解质那个选项   A.次氯酸在光照下分解   B.次氯酸钙溶液中通入适量二氧化碳气体产生白色沉淀   C.次氯酸与氢氧化钠中和   D.次氯酸和亚硫酸作用 为什么难溶碱与盐也是电解质?如题,难溶碱与盐不是难以电离--不能导电吗?怎么也算电解质? 撑杆跳的能量是怎么转换的?助跑:撑杆起跳:翻越横杆: 怎么证明hclo是弱电解质? 参考书上举例:Na2O等溶于水的产物是强电解质但NaOH原本就是强电解质,为什么会说"强弱电解质的概念不适合所有电解质" 人体细胞中利用氧的结构是 在一根长1.5L的不能伸长的轻绳上,穿过一个质量为m的光滑小圆环c,然后把绳的两端固定在竖直轴上,绳的A、B端在竖直轴上的距离为L/2,转动竖直轴带动c环在水平面内做匀速圆周运动,当绳的B端 什么东西无色无味每个人都须要! 生活中,用电器咋一定时间内消耗的电能,可通过电能表计量出来,一个电能表表盘上标有“3000r/kW、h”1.如果这个电能表的铝盘转了1500r,与之相连的用电器消耗了多少电能?2.如果绿盘转了4500r, 不饱和烃消去反应生成卤代烃的化学方程式卤代烃加成反应生成不饱和烃的化学方程式不饱和烃发生加成反应生成醇的化学方程式醇发生消去反应生成不饱和烃的化学方程式 竖直平面上的圆周运动,绳模型和杆模型求详细讲解,包括各种临界点分析.好的要追加分数的. 什么东西燃烧起来无色无味 怎么辨别人的体质是酸性还是碱性?汪涵和何炅为什么合不来? 摄制电影时,为了拍摄下落物体的特写镜头,做了一个线速度味事物的1/49的模型.放电影时,走片的速度为每秒24张,为了使画面逼真,拍摄时走片速度应为多大?模型的云广东速度应为实物的多少倍 什么石油是无色无味的? 为什么人体会有酸性和碱性的区分?是酸性好呢?还是碱性好? 质点在连续相等的时间t内所通过的位移之比为(下标为罗马数字1.2.3.4)S1:S2:S3:……:SN=1:3:5:……:(2n-1)质点在连续相等的位移段内,连续各段所用的时间之比为(下标为数字)t1: 什么东西无色无味,对人体却有害? 人的人身体是否有酸性或碱性之说? 我还没有学到机器能守恒,请用圆周运动的知识讲解一下,小球质量为m,用长为L的轻质细线悬挂在O点,在O点的正下方L/2处有一钉子P,把细线沿水平方向拉直,如图所示.无初速度地释放小球,当细线 蜡烛每分钟燃烧的长度一定,点燃8分钟后12cm,点燃18分钟后7cm,最初长度是多少.比例解 一根蜡烛长20厘米,点燃后每小时燃烧5厘米,燃烧时剩下的高度h(厘米)与时间t(小时)之间的关系图( ) 《胡萝卜.鸡蛋和咖啡》 哪一句话是富有哲理的句子.是最后一段 父亲说的话吗 奥运会中,撑杆跳高运动员可以自带撑杆吗? 必修二生物.为什么答案是d而不是b. 请问:易挥发成无味气体的试剂有哪些?(1)易挥发成无味气体的多为液体试剂,请问这类试剂有哪些?(2)也可两种试剂合成为无味气体的,如有请告知.(3)有些固体试剂也易挥发,但挥发较 跳高运动员的撑杆是什么材料制成的 为什么不选A而选 刚刚那个《胡萝卜.鸡蛋和咖啡》哲理的句子,.简而言之后面要不要写 氧气进入组织细胞的方式 必修一生物,为什么答案是A 为什么同为电解质 盐和碱在熔融状态下可以导电,酸不可以?我刚上高一,老师没和我们解释什么是共价化合物.请问这和共价化合物有什么关系,什么是共价化合物 撑杆跳助跑阶段运动员消耗体内的化学能为什么大于运动员和撑杆获得的动能? 慢走一个小时消耗多少热量? 还原糖实验 胡萝卜代替苹果可以用胡萝卜代替苹果作为实验材料吗?原因是什么? 氧气从血液进入组织细胞的方式是?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘