说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Instagram:从Redis到Cassandra 成本节省1/4

HTML文档下载 WORD文档下载 PDF文档下载
提起Instagram的架构设计,大多数人都知道他们在使用Redis。DataStax联合创始人Matt Pfeil对Instagram基础架构软件工程师Rick Branson进行采访时得知,他们已不再使用Redis,而正在大量使用Cassandra。

Rick Branson是Instagram基础架构软件工程师,他在接受DataStax联合创始人MattPfeil采访时表示:随着数据量的快速增长,Redis已不再是他们的最佳使用对象,他们正在大量使用Cassandra。


下面是Matt Pfeil对Rick Branson的采访,笔者摘取了与Cassandra有关的核心内容进行编译:

Matt:Rick,听说你和伙伴们都在使用Cassandra,那能否跟我们分享你们的使用情况呢?

Rick:当然可以,我们已使用7、8个月了。最初,我们使用它主要是来存储涉及安全和网站诚信等方面的审计信息。这样,我们就会涉及到拦截垃圾邮件、滥用用户等其他相关东西。最初,这些任务都是在Redis中进行,但随着数据量快速增长,仅把它保存在内存中已不是高效之举,这是典型的高写入、低读取。而面对这种问题情景,Cassandra则是最拿手的,它可以毫不费劲地解决这方面问题。

我们一开始设置3个节点群,但随着用户量的增长,节点群也随之增长到了12个,这基本上就是我们后端主应用程序。

最近,我们决定移植另外一个项目,显然,该项目要比先前的要困难很多。团队里的每个人都开始投入到Cassandra上,大家花时间阅读文档、学习如何更高效地运作Cassandra。我们使用Cassandra来调用“收件箱(inboxes)”或应用中的新闻推送。基本上,这都是与用户的所有活动相绑定的,如果有人喜欢你的照片,赞或者评论照片,那么你的Instagram好友会看到相应的信息。我们之所以决定把数据迁到Cassandra上,主要是因为之前在Redis上,我们正遭遇内存限制。

Cassandra在可靠性和可用性上,我们都有着非常好的体验。我们只用了几天的功夫就成功地把项目迁移过来了。

关于集群上的一些细节:12个节点群的EC2 hi1.4xlarge 实例;在该集群上存储1.2TB数据;在高峰期,以20000次/秒的速度写到特定的集群、15000次/秒的速度读取。从这次实现,我们也学到了很多,并且会把学到的运用到其它实现上。

Matt:听起来真令人兴奋。刚刚你和我们分享了用户项目上一些非常有趣的事情,正如你提到的,从Redis迁移到Cassandra,是一个基于内存的发行。那这样做的背后动机是什么?

Rick:如上面提到的后端主应用程序,我们先移开一个Redis主/从复制设置,但成本太昂贵了。我们从内存中取出,遇到大实例,就放在硬盘上,当不经常读取的时候,它会运行的很好。而使用Cassandra可以削减近1/4的成本。不仅如此,它还可以很好地释放我们扔在集群上的数据,由于它更具扩展性,还会根据需要自动添加节点。尤其是当从一个unsharded设置转到sharded设置时,Cassandra可以很好地解决,而且在进行shard数据时,你无需经历任何痛苦。

其它用户项目我们称为“收件箱”,拥有32个节点群集。我们注意到,我们运行在这些机器上的空间,实际上并没有消耗多少CPU(Redis恰恰相反)。

在这些项目上使用Cassandra操作集群不仅具有成本效益,而且更易操作。耐用性则是Redis不能高效的主要原因,关于这一点,在CassandraSummit 2013峰会上我会继续介绍。

关于Cassandra

Apache Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集GoogleBigTable的数据模型与AmazonDynamo的完全分布式的架构于一身。Facebook于2008将 Cassandra 开源,此后,由于Cassandra良好的可扩展性,被Digg、Twitter等知名Web 2.0网站所采纳,成为了一种流行的分布式结构化数据存储方案。(来自维基百科)

Cassandra官网:http://cassandra.apache.org/

原文:PlanetCassandra.org

JQuery和CSS实现图片幻灯片显示 JQuery操作Ajax的基本方法 点评两个网站: SEO 做得好, 并不等于有访问量. jQuery右键菜单(Context Menu)插件 创建vpn服务器解决远程接入的问题 用JQuery插件轻松实现accordion折叠菜单 用VBA为EXCEL文件加个登录对话框 Android模拟器入门 Android GSM驱动模块详细分析 农行网上在线支付平台接口安装详解 Android开发中实现跨进程通讯的AIDL接口 用CSS样式展现可打印页面 Android搭建NDK开发环境 VC++、MFC最好的开源项目 Android中电话和短信服务的包分析 一位Android开发者的赚钱经历 让网页中的图片随屏幕滚动,并避免与文字重叠 Hello bat - DOS BAT批处理编程入门教程(一) 变量 - DOS BAT批处理编程入门教程(二) Android编程获取网络连接状态(3G/Wifi)及调用网络配置界面 程序流程控制基础 - DOS BAT批处理编程入门教程(四) For循环语句详解 - DOS BAT批处理编程入门教程(五) Android编程之实现GPS定位 android编程实现仿iphone的tab效果 系统变量 - DOS BAT批处理编程入门教程(三) Android编程获取手机的IMEI Android开发中14个很有用的编程技巧 Android蓝牙栈bluez使用方法 Android模拟GPS数据生成kml和nmea文件 Android签名用keytool和jarsigner制作apk文件 谈谈Android中文短信的实现 有关CASE工具 请问怎么样将VB程序打包?就是生成一个不需要源代码和没有VB编译器的环境下可以运行的可执行程序。 关于如何做OEM 请教大师 这是所谓的“情”吗?谁碰到过如此谎谬的事~~“我们这样算什么?!” 分值,就那么重要吗?大家来探讨一下! 请问如何用TC或BC或VC实现字符界面下文本阅读器(请尽快复) lemonade请进 请教水平考试 请赐教如何制作WINDOWS下的电子行程表(请尽快复) 号外!!号外!!谁能认真点回答我这个问题? 学了C和JAVA以后,我该学哪中语言? 这么晚了,还有谁在水园? 如何用JSP实现聊天是中的自动滚屏功能? 我的FlashGet,NetAnts全都没有办法下载了!!!急死我了!!! 探讨用专业论坛和新闻组来促销,那位兄弟有经验? 一个简单的问题,大家来看罗。 如何禁止EDIT控件输入? To:pbdesigner兄弟没找到解决的办法,只好修改程序流程避开这个问题8-( 小弟该如何学习? Actinia在吗?问你个问题! 今天又有人送分,he he! VC快玩完了!!!!改学BCB!!!! 一个简单的问题,关于cin的 怎样向listview发送消息? N人上班,按照白、夜、休三班倒,如何每月按此顺序自动排班 TreeView接点如何响应单击事件? 我的一本c++教程,刚刚下载了练习答案,不会用, 请问这是个什么东东问题?(只有这么多分了。。) 一张表内关键字如何互换? 本人想插入一个记录,但该记录的一个字段是一个已经输入的值,你说该用什么函数处理呀?本人想了一个早上也想不出个原因来!!!! 今天真热,一大早爬起来去游泳,感觉真好。这里有喜欢早晨去游泳的吗? DCOM问题。Win2000下的服务器应怎样配置,才能使客户机调用服务器端的DCOM。 再不帮我我就死定了 我要哭了! 痛苦:如果你的头儿叫你帮他修改他写的一大段垃圾代码,你会怎么做办? 工程为什么不能打包? 高手快来。 请问怎么安装PB 那有Acrobat下載,不是Acrobat Reader Foxpro的ODBC,是不是真的就不支持update当前游标的记录....? 怎么在SQLSERVER2K里用存储过程得到的完整的Xml文件,我想用jsp取出来? 关于ASP 能否将文件编译程序中。 请问大家用delphi都做过哪些软件呢?能否提供下载以便欣赏呢?(无源码也可) 这是怎么回事,前几天我用BCB作了一个特殊的窗体,为什么现在我一运行一个程序所出现的窗口就是那个特殊的窗口即便是刚起动起系统也这样为什么? 为什么VB6通过ODBC方式访问一些数据库表(如本地的SQL Anywhere5或服务器端的Sybase11.5)时,只能作查询操作,不能作修改删除操作? 请问:哪里有htmlhelp的使用资料啊? 基于对话框的MFC Application, 辅助线程负责串口通信,希望在完成一个块的交换后用一个消息通知主线程,怎么做? 蝈蝈! 搜索时总是得到这个: 想去泡吧,给点建议先... 英语翻译 请大家帮忙把这篇文章翻译为英文 谢谢!从下周一开始,员工食堂关闭一周,进行重新装修.上午和下午在一楼接待厅将有餐饮公司使用推车提供饮料和三明治.附近的饭店每天中午12点到一点为 英语翻译清朝以前.(不要用任何在线翻译 ) 英语翻译However,efficiency efforts – largely driven by new entrants – shuffle profits and power within the industry.A significant portion of advertising inventory that was proprietary is now “open” – sold through exchanges,as a result b 英语翻译Burn fat in an amazingly efficient 9-minute workout.•Uncover your "lost" abs without crunches 24 hrs a day.•Get back into good shape working out just 2 days a week.•Drop 15 pounds and also shave 4 inches off your waist i 英语翻译从前,有一只小兔子.它有一支漂亮的铅笔.它把这支铅笔装在一个铅笔盒里.有一天,小兔子打开铅笔盒,发现铅笔不在了.它伤心的哭了起来.过了几天,小狗捡到了这支铅笔,并到处询问这 英语翻译All of us need feel needed and admired.But unless we hear words of praises from someone else,how can we know that we are valued friends or co-workers?The effects of praise can be great indeed.A new minister called to a church jokingly ref 英语翻译It's impossible to keep in good health unless we take sufficient recreation.The mind,too.requires change to make it acute and rigorous.There is much truth in the old saying,"All work and no play makes Jack a dull boy."There are many games 英语翻译①我要两张往返车票.②他们正在设法修理它.③我们还在吃午饭,你吃过了吗?④我刚吃过午饭,半小时前吃的.⑤几天前,我把一只手提箱落在开往伦敦的火车上了. 英语翻译徐家汇的地理位置对于服装店来说相当的好,徐家汇每天客流量都超过上万人次.而且徐家汇在上海是属于中高档水平的消费中心和娱乐中心,所以从市场定为来说很适合XX. 英语翻译福清市佳惠交电贸易有限公司 (交电是摩托车和电器的意思) 英语翻译对不起,二妹 我所做的一切很伤害你吧.你很恨我吧.但是我还是希望你能忘记我.我所做的一切 就是让你不在爱我.以后还有很多辉煌的人生等着你,而我只是在你人生路过而已,设置慢 英语翻译目前越来越多的组织更加关注调动员工积极性和工作效率方面的问题.而激励员工已经成为管理者的一项技能,更是一项挑战.激励有很多方面,有物质的,也有精神上的;有具体的,更有 英语翻译公司名称:天美健国际健康科技(北京)有限公司天美健是公司名称,天美健能音译一个英文名称吗. 英语翻译临安自动化机电设备有限公司,临安市杨岱路33号翻译成英语怎么说?要正规的. 上海世博会志愿者口号“世界在你眼前,我们在你身边.”表达了怎样的信息.急吖! 英语翻译今天是雪天.外面都变成了白色.车是白的,草坪是白的,树是白的,楼房也是白的.看,淘气的雪花给楼房戴上了帽子,给草坪铺上了白地毯,给车穿上了白色的衣服.孩子们有的在打雪仗,有 英语翻译公司名称:天美健国际健康科技(北京)有限公司天美健是公司名称,天美健能音译一个英文名称吗. “魅力上海,闪耀世博”用英语翻译 英语翻译在汉语里,“偲”字有两个读音,一个念Cai,另一个念Si.当其作为名字时读Cai,但人们常常将其误读为Si.因此在上次的在读证明中,我们由于疏忽,将许偲先生的名字误拼为Si,对此深表抱歉. 英语翻译中文名称为:富平县百斯特绿色农业有限责任公司请帮我翻译一下,百思特应该翻成“baisite”还是“best”呢? 英语翻译1、单位平方米的造价?每年的维护经费?2、木材的取材树种?来源?3、加拿大目前的使用率?1、单位平方米的造价?每年的维护经费?2、单位建筑面积的节能效率与传统钢筋混凝土建筑的 英语翻译北京时间2005年10月12日9时9分52秒,中国自主研制的神舟六号载人飞船,在酒泉卫星发射中心发射升空后,准确进入预定轨道,神舟六号载人飞船发射成功.神舟六号载人飞船是中国神舟飞 英语翻译公司名是 四川兴亿成智能消防设备有限公司 “上海世博与无锡”的英文翻译.要求语法正确,非机器翻译“上海世博与无锡”“上海世博会有很多精彩的展馆,我是一个中国人,对自己的祖国有着深深的热爱,所以我打算重点参观中国馆.中 我很想去参加你的生日 英语翻译.请快 英语翻译公司名字需要翻译成英文 :哲思文化传媒(北京)有限公司 ,直接翻译成Zhesi culture media (Beijing) Co.,Ltd.或者在线翻译了一下The philosophy of culture media (Beijing) Co.,Ltd.、 Philosophy culture medi 英语翻译一般现在时的 几道英语翻译! 快!1.告诉我更多的有关你学校的情况2.非常钦佩他们3.去购物中心4.知道怎样烧出美味的食物5.读一篇文章顺便问一下 在上个学期快结束时(翻译)I like John and i like his brother, 英语翻译广州市亚太华桑贸易发展有限公司 怎么翻译呢 关于上海世博的英语翻译EXPO Shanghai 2010,求速度.EXPO Shanghai 2010 “Enjoying the beauty of the unity in the diversity”.Celebrating the human spirit of creativity and community, of remembrance and prospective. When the world comes to 英语翻译There were white lines around it,and it had a small black board saying:"Only for Head of Collage" 英语翻译中亚(天津)新材料科技有限公司要美观、准确,作为建筑前的铭牌装饰,全大写字应该怎样翻译美观, 英语翻译到底是谁? 英语翻译他的爸爸是日本人妈妈是美国人他的爱好是打篮球他想加入体育社团他会说英语也会说汉语他最喜欢的明星是迈克尔杰克逊他会弹钢琴还会唱歌和跳舞他也会弹吉它他真是一个多才 英语翻译自己注册了一个公司明年开业,全称是“上海景承广告有限公司”,求大神帮我翻译一下全称.最主要的是景承怎么翻译比较上口,也符合西方特点及读法,易于记忆上口,没有歧义.比如百 英语翻译:世博会开幕时间也用英语回答.用句子连接两句话,合情合理.半小时以内好的加分 求一篇关于计算机的文章,要有英语翻译.急 英语翻译河北国控金石矿业HeBei State Controlling JINSHI Mining Co,Ltd 金石是我们公司的名称 河北国控是我们总公司的名称 世博会开幕 英语翻译是谁? 英语翻译如果我们能回到从前如果时间倒流如果她没有说要回来如果你没有回去找她或者说你回去了没有找她如果过年你对我说的话都做到了如果我没有犯错如果你留我了如果你和她的一切 公司英文名称翻译公司名称: 技想科技 要求: 1、将技想转成英语 2、赋予新的含义也行 3、简短有力,意义丰富 4、通俗易懂,得体合意. 请给出名称,并注明解释 公司是电子行业,外贸为主. 注 翻译一下,英汉互译. 英语翻译我和我的同伴为大家表演3个魔术.我负责解说,XX来表演.那么,现在就开始了.第一个魔术:大家注意好,这是一副扑克牌.大家可以随意检查,接着我们需要一位观众配合,谁愿意上来?··· 英语翻译公司名称:技想科技 要求:1、将技想转成英语 2、赋予新的含义也行 3、简短有力,意义丰富 4、通俗易懂,得体合意.请给出名称,公司是电子行业,外贸为主.注明含意, 英语翻译中文菜名,英文菜名 翻译英语短文 请大家帮忙,谢谢INDIGOThe process of using.indigo dye to enrich clothing creates an authentic,vintage look and rica color,This unique treatment has been applied to produce an enhanced appearance taken when wearing with light 英语翻译Food and cooking Bananas are eaten deep fried,baked in their skin in a split bamboo,or steamed in glutinous rice wrapped in a banana leaf.Bananas can be made into jam.Banana pancakes are popular amongst backpackers and other travelers in 英语翻译:你买了什么菜? 英语翻译We are keeping an ambitious expansion plan in China.You have an opportunity for a fast career,you will join us at RESPONSIBLE TRAINEE level and we will be looking to develop you quickly into a section manager,department manager or store m 英语翻译let it be your reminder,if you still need one,that no one ever makes it alone.请帮忙分析句子结构并翻译一下, 十道菜的英文翻译是什么? 精彩的文章翻译成英文同样好么 英语翻译Abstract:Jar tests were conducted to investigate the performance of enhanced primary treatment processes for low·concentra—tion municipal wastewater行om South China by using composite flocculant combined with bio.flocculants Pullu 菜是你自己亲自做的吗 英文翻译 请大家帮忙把文章翻译成英文`希望大家帮忙翻译下`单词要熟悉的`不要太生僻的`最好多用写句式`如定语,宾语从句之类的```23号之前翻译好!文章的地址http://hi.baidu.com/5lovewill/blog/item/19a72efbe300 英语翻译周六周日不用上班,所以我想表达的意思是“周末这两天可以休息咯!”英文该怎么说好呢? 英语翻译Clothes may not make the man or woman,but the reality is that how you look goes a long way toward leaving a great first impression. 请大家帮忙把下面的这段文字翻译成英语谢谢大家了我非常高兴站在这里演讲.今天我想介绍一个人.他是我生命中一个重要的人.我们是在小学的一次打架后认识的.我们已经认识了10年了.小时 英语翻译“我想尽量让你觉得我过得很好,真的不用担心我,我会很开心的”
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn