说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Instagram:从Redis到Cassandra 成本节省1/4

HTML文档下载 WORD文档下载 PDF文档下载
提起Instagram的架构设计,大多数人都知道他们在使用Redis。DataStax联合创始人Matt Pfeil对Instagram基础架构软件工程师Rick Branson进行采访时得知,他们已不再使用Redis,而正在大量使用Cassandra。

Rick Branson是Instagram基础架构软件工程师,他在接受DataStax联合创始人MattPfeil采访时表示:随着数据量的快速增长,Redis已不再是他们的最佳使用对象,他们正在大量使用Cassandra。


下面是Matt Pfeil对Rick Branson的采访,笔者摘取了与Cassandra有关的核心内容进行编译:

Matt:Rick,听说你和伙伴们都在使用Cassandra,那能否跟我们分享你们的使用情况呢?

Rick:当然可以,我们已使用7、8个月了。最初,我们使用它主要是来存储涉及安全和网站诚信等方面的审计信息。这样,我们就会涉及到拦截垃圾邮件、滥用用户等其他相关东西。最初,这些任务都是在Redis中进行,但随着数据量快速增长,仅把它保存在内存中已不是高效之举,这是典型的高写入、低读取。而面对这种问题情景,Cassandra则是最拿手的,它可以毫不费劲地解决这方面问题。

我们一开始设置3个节点群,但随着用户量的增长,节点群也随之增长到了12个,这基本上就是我们后端主应用程序。

最近,我们决定移植另外一个项目,显然,该项目要比先前的要困难很多。团队里的每个人都开始投入到Cassandra上,大家花时间阅读文档、学习如何更高效地运作Cassandra。我们使用Cassandra来调用“收件箱(inboxes)”或应用中的新闻推送。基本上,这都是与用户的所有活动相绑定的,如果有人喜欢你的照片,赞或者评论照片,那么你的Instagram好友会看到相应的信息。我们之所以决定把数据迁到Cassandra上,主要是因为之前在Redis上,我们正遭遇内存限制。

Cassandra在可靠性和可用性上,我们都有着非常好的体验。我们只用了几天的功夫就成功地把项目迁移过来了。

关于集群上的一些细节:12个节点群的EC2 hi1.4xlarge 实例;在该集群上存储1.2TB数据;在高峰期,以20000次/秒的速度写到特定的集群、15000次/秒的速度读取。从这次实现,我们也学到了很多,并且会把学到的运用到其它实现上。

Matt:听起来真令人兴奋。刚刚你和我们分享了用户项目上一些非常有趣的事情,正如你提到的,从Redis迁移到Cassandra,是一个基于内存的发行。那这样做的背后动机是什么?

Rick:如上面提到的后端主应用程序,我们先移开一个Redis主/从复制设置,但成本太昂贵了。我们从内存中取出,遇到大实例,就放在硬盘上,当不经常读取的时候,它会运行的很好。而使用Cassandra可以削减近1/4的成本。不仅如此,它还可以很好地释放我们扔在集群上的数据,由于它更具扩展性,还会根据需要自动添加节点。尤其是当从一个unsharded设置转到sharded设置时,Cassandra可以很好地解决,而且在进行shard数据时,你无需经历任何痛苦。

其它用户项目我们称为“收件箱”,拥有32个节点群集。我们注意到,我们运行在这些机器上的空间,实际上并没有消耗多少CPU(Redis恰恰相反)。

在这些项目上使用Cassandra操作集群不仅具有成本效益,而且更易操作。耐用性则是Redis不能高效的主要原因,关于这一点,在CassandraSummit 2013峰会上我会继续介绍。

关于Cassandra

Apache Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集GoogleBigTable的数据模型与AmazonDynamo的完全分布式的架构于一身。Facebook于2008将 Cassandra 开源,此后,由于Cassandra良好的可扩展性,被Digg、Twitter等知名Web 2.0网站所采纳,成为了一种流行的分布式结构化数据存储方案。(来自维基百科)

Cassandra官网:http://cassandra.apache.org/

原文:PlanetCassandra.org

Java,你还会让多少人继续“受伤”? 中国或超美国 成全球智能设备市场霸主 告别手写 API文档生成工具推荐 微软Azure超越亚马逊云计算的性能测试 苹果创新已经被三星超越 不靠广告也盈利:移动应用掘金7大案例剖析 谈Clash of Clans货币化的成功 UX设计师应当规避的七大问题 初创公司Citus Data将CitusDB扩展到Hadoop 移动医疗:巢儿孵化器为何笃信是创业金矿? 一个新的雅虎:雅虎主页改版 谷歌发布Google Glass最新视频 公开接受预定 微软Windows Blue结束半程开发 或今年8月推出 JavaFX即将开源,支持iOS与Android开发 趣味编程网Codecademy携手Twitter、Evernote、Box等推出系列API教程 开发者,别让任何人绑架你的工作节奏 REST Style来袭 LinkedIn开源Rest.li框架 [探讨] 是用jQuery框架还是自造车轮呢? 一周消息树:Java 你还会让多少人继续“受伤”? Chromebook Pixel,揭开谷歌云世界的大幕 惠普:第一财季净利12亿 同比仍在下滑 谷歌发布超高清触屏笔记本Chromebook Pixel 传谷歌正开发触屏Chrome OS笔记本 今年或上市 估值25亿 视觉社交网站Pinterest融资2亿美元 跨平台开发框架Xamarin 2.0发布 移动新趋势:扁平化设计 vs. 拟物化设计(上篇) 杂谈 App Store 之 HIG 与 Objective-C 为什么苹果三星将主宰智能电视未来? 罗永浩可爱多:Smartisan OS即将发布 春晚 VS. 移动应用:用户注意力统计报告 Twitter发布BootStrap 2.3版本! 如何设置光标形状 各位好心人,帮帮忙,送100分!!是关于WIN2000 ADV SERVER的配置!! 请问谁有jpeg格式读写的程序? 怎样用Treeview对满足条件的文件进行遍历(非数据库) 微积分求救!!!! 我的WEB程序用了VB开发的组件,请问用INSTALLSHIELD安装怎样连带组件一起安装? 急!求多表,多选查询sql语句 这个ActiveX控件如何实现 求教~~~ 在Sqlserver2000的function中能用。。。。。 关于虚拟主机的数据库服务器 VC、DELPHI问题 模拟串口问题。 高分相送。 截屏问题 一个很奇怪的问题??? ping值总是不稳是什么原因? 初次接触GIS,有什么书可以入门的介绍一下 和一MM聊天,开始很投机,后来一见面就对骂! 怎么批量插入数据 大家都来看看吧,顺便散点分 我的FLASH在没有装FLASH的IE怎么不可以自动下载FLASH? linux 断电后,启动失败,该如何处理!? 初级菜鸟问题,求助 终于解封了,多谢没头脑,偶以后再也不倒粪和刷屏了! 各位大侠,救命!亟待解决! 如何使一个数据库用户的所有对象只读,不可写? 有没有DOS很熟的仁兄?纯DOS下和WIN NT4.0联网 怎样动态生成一个adoquery,并能进行数据库查询,小妹急用,100分奉上 怎么转换这个SQL Server的存储过程为oracle的 多语言数据库的应用程序,象DBGRID字段里的这些标题我应放在哪里好? 最简单的语句,最奇怪的问题。&&&&&&& 在线等待!!! D3D的简单问题 如何控制LineTo划线的颜色和宽度? 高分求《面向对象分析与设计》杨正甫编这本书下载地址。。。 学习DELPHI用铁道出版的乔林《参透Delphi/Kylix》 如何? 请问是否有比较简便的方法可以知道,程序中哪些变量定义完后根本不用? 按钮提交并链接不同页面的问题。 简单的问题 请教VC++高手:在MFC中,如何把剪贴板中的位图按原比例打印出来? 分不够再加! 怎么样在vb中读取bmp的位图信息,将图中所有黑颜色的象素 谁在20分钟内答出以下问题能拿高薪 如何修改注册表的键的默认键值? WINXP开始运行宽带播号程序缓慢,什么原因? newwish2 给我一个例子,邮箱:make_a_wish@163.com!!!着急呢!! evc4.0中文显示的问题! struts--html:select 为何出不来? 讨论:关于WinXP下开发的COM+的分发问题!! 菜鸟的小问题!! 一个关于东芝笔记本的故障 请问JBuilder错误提示:cannot access directory javax\mail at line 7, column 1 CSDN的速度越来越慢了,来这里的高人也越来越少了! 有没有DOS很熟的仁兄?纯DOS下和WIN NT4.0联网 冰块怎么保温 紧接上文再写一个句子:要求:1.另举一个事例2.句式与括弧句式相同 我国优秀的古典文学作品 语言紧接上文再写一个句子:要求:1.另举一个事例2.句式与括弧句式相同我国优秀的古典文学作品 某商店一个计算器卖了64元,赚了60%,这家商店共盈利多少?请你们帮我解答! 使用十倍速影像阅读法之后,自我感觉没什么印象,但在晚上会做噩梦怎样才能学会? 1、在下面的横线上紧接上文,再写一个句子.要求:(1)另举一个例子;(2)句式与划线部分相同.纵观宇宙万物,天下凡速成的东西往往都是短命的.美人蕉一年能长出一米多,但美人蕉禁不起 seagull怎么读? 教育目标分类学的目标领域是什么 一次函数的性质若正比例函数y=(3-2m)x的图象经过点A(x1,y1),B(x2,y2),当x1小于x2时,y1大于y2则m的取值范围是------ 计算今年利润和去年年底库存有关系吗? 日常生活中什么东西可以代替保温袋 我可以再问你们一道吗? 已知多项式aチ0ナ5+5b-7的值为8,则多项式2aチ0ナ5+10b-9的值是 dirty kiss是什么意思? 求解初中数学问题(第十题) 六年级语文》智慧之花中花的意思为 在长方形上只剪一刀,剩下的角只有直角和钝角 谁帮我解下这个数列题目啊Sn是数列{An}的前N项和 且总有Sn=qAn+1(q大于0且不等于1)求{An}的通向公式 贱人的英文谐音,和神经病、脑残、泼妇挨个解释 英语翻译A man was angry with his 3-year-old daughter,because she wasted a roll of gold wrapping paper.The family was poor.the girl tried to decorate a box to put under the Christmas tree. an=1/n对于一切n>1的自然数,不等式an+1 + an+2 + …… + a2n >1/12 loga (a-1) + 2/3恒成立,试求实数a的范围. “好男怕恶男,恶男怕泼妇”这句话地道的英语怎么翻译? 小学四年级文明在哪里征文不少400-500字 设数列{an}的通项公式是关于n的一次函数(n∈N+),已知a8=15,且a₂,a5,a₄成等比数列.(1)求数列{an}的通项公式,(2)求a3+a6+a9+a12+…+a36 Nike 女式 短袖T恤 433338上的英文前面怎么是泼妇,后面怎么是小鸡啊,谁给个答案, dirty kiss 我想学这首歌曲 发音有木有 求一个 最好能看懂的 本人英文不好I'm the one of those little freaky trouble makersSo give me love and start me upUntil I'm out of it causeYou sayI'm shocking shockingYeah I'm shocking sho 在各项均为正的数列{An}{Bn}中,A1=2,B1=4,且An、Bn、An+1成等差数列,Bn、An+1、Bn+1(以上n、n+1均为角标)成等比数列,求(1)An、Bn(2)(1/A1+B1)+(1/A2+B2)+(1/A3+B3)+.+(1/An+Bn) 什么是啃胎? 用一个平面在正方体上切正六变形 求图解 3个连续奇数的和是最大的两位数,这三个数是?谁知道, 这配置可以啃苹果吗?要怎么啃? 去姥姥家英语作文 奇数中最大的两位数少75这个数是几 各位都啃多久苹果了,觉得好啃么?刚开始啃苹果,不知道有多少能啃的大侠在,顺便浇水! 我这是什么眼睛呢?是吊眼还是斗鸡眼啊?都说我的眼睛不好看. 如何把图式理论应用于初中英语的阅读教学 谁给个啃苹果邀请给我 斗鸡眼是怎么形成的? 新版初一政治上册内容速度快点 多项式(m2-25)x的三次方-(m+5)x2+x+3是关于x的二次三项式,求下了二次三式,求下列各式的值.(1)(m+3)(m-3)(2)m2-9 第九届春蕾杯选题是什么? 小东买了0.8元和2元的邮票共16枚,花了18.8元,那么小东买了0.8元邮票多少枚? 初一上册数学的内容 初一科学小小小小小问题1.我国已进行了,“神州”号载人航天飞船的试验,不久的将来我国的宇航员将乘坐着宇宙飞船遨游太空.宇航员在太空舱中可以和地球上一样自由的直接对话,这是因为 燃烧的火英文怎么读 初一上册语文要背的内容 三峡是怎样的?是美丽的 如图,AD是△ABC的角平分线,EF是AD的垂直平分线 求证∠EAD=∠EDA DE∥AC ∠EAC=∠B 既是3的倍数又是5的倍数的最大两位奇数是( ) 长江三峡究竟是怎样的? 孙思邈究竟活了多少岁? 孙思邈是活了101岁还是141岁? 怎样形容长江三峡(填形容词)的长江三峡2011年4月1日18:00~18:30 给我一个最佳答案 △ABC中,∠BAC=80°,AB,AC的垂直平分线分别与BC交于D,E求∠EAD. 16题.姐等着呢! 国内翻译布鲁姆目标教学书目 如图,在三角形ABC中,∠ABC=80°,∠BAC=40°,AB的垂直平分线分别与AC、AB交于D、E.(1)用圆规和直尺在图中做出AB的垂直平分线DE,并连结BD(2)证明:三角形ABC相似三角形BDC 一张正方形的纸,沿对角线对折后,在得到的纸上随意剪出一个花纹,打开纸后得到的图案至少有一条对称轴,如果将上面的纸在对折一次,在上面剪出一个花纹,打开纸后得到的图案至少有两个对 保温袋里可放冰块吗? 药王活了多少岁药王孙思邈活了多少岁 商品加百分之四十利润怎么用计算器计算 印度5日发射首枚火星探测器 否认与中泰国沉船事故疑因机械故障 船长事发后2辆北约油罐车在巴基斯坦遇袭 或为巴美炸死塔利班领袖引不满 巴基斯坦检讨世界俄罗斯人民大会授予普京捍卫大国地CNN再次暴露“双重标准”23岁鄞州姑娘快结婚 意外发现男友是醉汉捡水桶不慎落井 当过体育老师警官男子被微信摇来美女骗了一次 报警后又为再见儿子一面 宁波重病妈妈起诉索要慈溪老板知信用卡套现违法 让人帮还欠美国:对钓鱼岛问题立场未变全球绿色增长论坛:消除饥饿,应重视粮巴基斯坦总理谢里夫:无意义的暴力换不运管所副所长的凯迪拉克撞了人 本人已新疆记者拍到中国首张高清雪豹捕食照片“农二代”涉黄赌案件多发 文化程度低美在线购物网站eBay发死人财惹众怒中国接任安理会轮值主席国 中东、非洲经济学家对中国未来十年贫富差距走势分世界前政要感受中共改革雄心73岁老人被要求开“原配夫妻证明”麻醉的最终目的是为了唤醒“偷盖游客”将提前回国 已向单位提出司机操作不当 大货车侧翻河道160户壁挂锅炉新装户登记后经评估已逾期未检套牌上路 车内查出一包冰毒沪指盘整面临方向选择“现在就算放我出去我也没脸见熟人”我省城乡居民医保统一陕企首份扶贫白皮书发布小记者稿件展示凝心聚力抓落实 争先进位谋发展西安居然之家自营高端品牌——顶层设计沣东新城成立“见义勇为协会”中医养生可别乱用人参收红包排名12辆摩托 6辆电瓶警车配发眉县一线今夜淘精品好房 你准备好了吗饭店就餐后 夫妻俩上吐下泻女子欲从楼上翻回家坠亡 家属状告仨邻里皮无限接近国足帅位
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘