说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Instagram:从Redis到Cassandra 成本节省1/4

HTML文档下载 WORD文档下载 PDF文档下载
提起Instagram的架构设计,大多数人都知道他们在使用Redis。DataStax联合创始人Matt Pfeil对Instagram基础架构软件工程师Rick Branson进行采访时得知,他们已不再使用Redis,而正在大量使用Cassandra。

Rick Branson是Instagram基础架构软件工程师,他在接受DataStax联合创始人MattPfeil采访时表示:随着数据量的快速增长,Redis已不再是他们的最佳使用对象,他们正在大量使用Cassandra。


下面是Matt Pfeil对Rick Branson的采访,笔者摘取了与Cassandra有关的核心内容进行编译:

Matt:Rick,听说你和伙伴们都在使用Cassandra,那能否跟我们分享你们的使用情况呢?

Rick:当然可以,我们已使用7、8个月了。最初,我们使用它主要是来存储涉及安全和网站诚信等方面的审计信息。这样,我们就会涉及到拦截垃圾邮件、滥用用户等其他相关东西。最初,这些任务都是在Redis中进行,但随着数据量快速增长,仅把它保存在内存中已不是高效之举,这是典型的高写入、低读取。而面对这种问题情景,Cassandra则是最拿手的,它可以毫不费劲地解决这方面问题。

我们一开始设置3个节点群,但随着用户量的增长,节点群也随之增长到了12个,这基本上就是我们后端主应用程序。

最近,我们决定移植另外一个项目,显然,该项目要比先前的要困难很多。团队里的每个人都开始投入到Cassandra上,大家花时间阅读文档、学习如何更高效地运作Cassandra。我们使用Cassandra来调用“收件箱(inboxes)”或应用中的新闻推送。基本上,这都是与用户的所有活动相绑定的,如果有人喜欢你的照片,赞或者评论照片,那么你的Instagram好友会看到相应的信息。我们之所以决定把数据迁到Cassandra上,主要是因为之前在Redis上,我们正遭遇内存限制。

Cassandra在可靠性和可用性上,我们都有着非常好的体验。我们只用了几天的功夫就成功地把项目迁移过来了。

关于集群上的一些细节:12个节点群的EC2 hi1.4xlarge 实例;在该集群上存储1.2TB数据;在高峰期,以20000次/秒的速度写到特定的集群、15000次/秒的速度读取。从这次实现,我们也学到了很多,并且会把学到的运用到其它实现上。

Matt:听起来真令人兴奋。刚刚你和我们分享了用户项目上一些非常有趣的事情,正如你提到的,从Redis迁移到Cassandra,是一个基于内存的发行。那这样做的背后动机是什么?

Rick:如上面提到的后端主应用程序,我们先移开一个Redis主/从复制设置,但成本太昂贵了。我们从内存中取出,遇到大实例,就放在硬盘上,当不经常读取的时候,它会运行的很好。而使用Cassandra可以削减近1/4的成本。不仅如此,它还可以很好地释放我们扔在集群上的数据,由于它更具扩展性,还会根据需要自动添加节点。尤其是当从一个unsharded设置转到sharded设置时,Cassandra可以很好地解决,而且在进行shard数据时,你无需经历任何痛苦。

其它用户项目我们称为“收件箱”,拥有32个节点群集。我们注意到,我们运行在这些机器上的空间,实际上并没有消耗多少CPU(Redis恰恰相反)。

在这些项目上使用Cassandra操作集群不仅具有成本效益,而且更易操作。耐用性则是Redis不能高效的主要原因,关于这一点,在CassandraSummit 2013峰会上我会继续介绍。

关于Cassandra

Apache Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集GoogleBigTable的数据模型与AmazonDynamo的完全分布式的架构于一身。Facebook于2008将 Cassandra 开源,此后,由于Cassandra良好的可扩展性,被Digg、Twitter等知名Web 2.0网站所采纳,成为了一种流行的分布式结构化数据存储方案。(来自维基百科)

Cassandra官网:http://cassandra.apache.org/

原文:PlanetCassandra.org

个人隐私是如何“泄漏”的:国内外互联网企业隐私策略对比 惠普2014年Q1财报:净利润同比增16% PC业务逆势好转 “阅后即焚”挖谷歌墙角,GAE技术大牛跳槽Snapchat 日800万访客、20万RPS网站的5个9可用性架构 程序员想找好工作?那就学好Linux吧! 一周消息树:开源专家袁萌,国产COS操作系统是“杂种”,不是中国软件梦 移动周报:对话智能硬件云服务平台Yeelink Node.app:用Node.js API开发iOS“原生”应用 Google Project Tango:能3D捕捉的智能手机 成功打造Evernote API生态系统的五大经验 研发周报:Google与Facebook的产品研发之道 AMD高级副总裁Lisa Su访华 宣布引领AMD复兴的五大战略 一周热点:IBM新技术使网速达400G/s,硬盘会“烧掉”吗 特种作战,纽约极客企图建造现实中的“潘多拉星球” 领先Google 150年的数据可视化和“不务正业”的超级计算机 苹果会成为新微软的四大理由 雨血·影之刃:参选2014年Unity游戏及应用大赛 AT&T联手IBM对抗AllSeen:“晚点和堵车”将成历史 微软WP春季更新将降低手机生产成本 意在开拓新兴市场 私人定制,十款最佳Node.js MVC框架 开发者“逆袭”,就等你一票! 基于多路云计算方案焕发新春 浪潮抢发E7 v2服务器 美国人眼中的腾讯 英特尔发布64位凌动处理器Merrifield 布局移动市场 OvershareKit:开源的iOS社交分享工具库 Ruby 2.1.1发布,改进系统加速,服务器兼容等问题 专访Ejoy2D作者云风:因Lua而生的开源图形引擎 当DDoS跨入400Gbps时代,那些来自孩子们的攻击该如何应对! Mesos渐入主流,Twitter模式有望“无限复制” 几十亿美元当头,你现实世界信息是否还会安全? 华为V3服务器挑战小型机,多路高端市场汹涌 错误类型:Microsoft JET Database Engine (0x80040E09)是什么错误啊?请大虾们帮忙! 紧急:请问怎样在windows me中添加、设置并使用传真机 有谁有字节序转换的c代码?现在我要将网络字节序和主机字节序相互转换,但又不能调用api,不知那位大侠可以帮忙?先谢了! 用.NET制作安装盘的一些问题 有谁有字节序转换的c代码?现在我要将网络字节序和主机字节序相互转换,但又不能调用api,不知那位大侠可以帮忙?先谢了! 不能访问asp文件了?? 能做到让页面不刷新吗? 请教一个算法,有关数学的 FastReoprt 要!要!要!要!要!要!要!要! 《C++ Primer》 中文版怎么还不出啊! 重庆高程报名时间 怎样用NMFTP象网络蚂蚁那样自动获得下载文件的地址 特酷的串口通讯调试工具,有其它工具... 有没有win32版的mysql JDBC驱动? 郁闷!菜鸟的“关于数据库订购与发布的问题” :( 如何使子类的属性不可见 我想画曲线,类似log曲线的样子,不知道vc里面怎样才能方便的实现,有源码最好 特酷的串口通讯调试工具,有其它工具... 请问如何用电话线将各分公司连网,并实现数据上传功能,以保证总公司的数据汇总,CSDN的高手到那里去了,我已经第二次提了,没有一个人回 请指教! 特酷的串口通讯调试工具,有其它工具... 菜得不得了的 问题,从SQL SERVER中导入一个表(如表名QK)到ORACLE后,不知表名变成什么? 怎样看到PowerBuilder User’s Guide使用手冊。Application Techniques使用手冊呀? 一直想看古天乐的《创世纪》,请哪位提供一下网上哪里有它下载或在线看网址,不甚感激! 为什么一执行文件ss.txt得内容就清空了??? 中文问题 特酷的串口通讯调试工具,有其它工具... sos sos 求,向access2000中写数据的asp代码?和用asp连接access有几种方法? 如何保存xml的网页,谢谢! 如何声明一个变量,可在整个程序内调用,并其生命周期和程序一样长??? 请推荐一本数据结构的书,最好是大学教材,c++描叙,写了 求助:vc++ 6.0中,用向导生成了一个windows程序, 我又新加了一个工具条,怎样让它和以前的工具条在同一行上? 请问VIA VT82C686A芯片的主板最大支持的CPU是多少?? 怎样看vb中控件的代码?如:from,command... 大家帮我看看这段代码哪里错了???? 在jbuilder6下如何存取中文数据库,内码的转换如何实现?高手请进,100分奉上 请问如何在dbgrid控件中 第3列=第2列×第1列 有什么方法可以获得页面信息 菜鸟请教一个复杂结构类型结构体成员变量初始化赋值出错的问题。 CDC实现图片运动问题,请大家多多帮忙?如何擦掉已经画出的图片 那里有Delphi函数表?API的个人理解,希望修正!(新人学习在过程中的问题) exchange的路由器问题 WinFax的烦事。 请问IsProxyClass函数在哪找 请问怎么才能实现将一个datawindow中的某一列拖放到另外一个同样的datawindw中 有报考今年3月份高教自考《计算机及应用》专业的朋友吗? 我要找C!各位帮忙! 为什么在MS_DOS下运行MySQL提示"This program cannot be run in DOS mode"? 关于 Execute 口语交际 湖北省潜江市的环境污染以及为保护环境应做点什么? 关于性怎么解释? JMZ FMZ型不锈钢自吸泵的特点? 怎样才能保护环境?6年级的口语交际怎样才能保护环境?别那么长 家用自吸泵不出水怎么办? 不锈钢自吸泵哪家的性价比高? 自我介绍作文结尾怎么写?教下! 孩子有关性知识知道越多越好吗我的孩子有时会问我相关问题,我总是不想告诉他, 物体运动状态改变是指什么 1月,7月的高低气压中心有哪些? 家用自吸泵不出水水位到自吸泵垂直高度不超四米,但水管长度有十几米,电机功率125W,铭牌标的吸程9米.不出水.如果把进水管放到地面的水盆中就可吸水.谢谢几位朋友的回答!也是我提的问 不锈钢自吸泵哪家的性价比高? 如何判断气压的高低有道题给了地区海平面等压线分布图 可是我不会看这个图该如何判断它是低压还是高压呢 求方法 青藏高原为什么称为“世界屋脊”? 不锈钢自吸泵选型!某灌区有水田1500亩,轮灌天数为4天,每亩一次灌水为30m3,利用渠水灌溉水泵安装高度距水源垂直高度为3.5m,压水扬程要求7m,问选用什么类型自吸泵合适. 南北半球1月7月的高低气压中心有哪些? 上海街头舔奶门,说明国人的性福感增强了吗? 不锈钢自吸泵选型问题.北方旱田区一农户有耕地40亩全部种植小麦时,要求一周内全部灌溉一遍.每亩用水量60m3,已测得动水位距地面垂直高度为5米,地面距灌区垂直高度为6m,那么农户应选择什 澳大利亚1月和七月气压差异的原因 性知识.求解释同房的同月.例假推迟了五天还没来.是否会怀孕? 为什么称世界屋脊--青藏高原为世界第三级? 我们能听到物体发出的声音是因为: A有物体 B有发声的物体 C发声体在空气中振动 D物体在真空中被敲击 无密封式自控自吸泵…用什么水位开关好~电子、浮球、超声波……?价格不是问题…………用在污水池里的~ 不锈钢怎么报价 怎样跟孩子解释动物交配跟孩子出去时正好看到两只小狗在交配,孩子问,一时不知道该怎么跟孩子说,只好说了句“两只小狗在打架”,我知道这样不是很好,可又不知道该怎样跟孩子解释, 如何为孩子讲解性知识? 我国的青藏高原被称为世界屋脊 你是怎么理解这个称号 Mg在空气中可以和N2反应,但是按照氧化还原反应中O2的氧化性比N2的氧化性强,那么Mg应该先和氧气反应,等氧气完了后在和氮气反应,也就是镁在空气中只和氧气反应?这是怎么回事?希望解释下. 如何让孩子正确了解性知识? 王力防盗门和华爵防盗门那个好呢? 山西的窑洞特点就是一些特点,急用 常温下Mg能与空气中的O2反应吗?为什么?常温下Mg能与空气中的O2发生反应吗?为什么?那高温下呢? 人们做了哪些工作改善环境 窑洞的特点? 有若干克浓度为4%的盐水,蒸发了一些水分后变成了10%的盐水,再加入300克4%的盐水混合后变为6.4%的盐水.问最初的盐水多少克?一定要用二元一次方程! 为了改善环境人们做了哪些工作 ( )的物体,在液体中( ),比同体积的液体( )的物体,在液体中( ) 有若干克5%的盐水,蒸发一些水分之后变成了10%的盐水,再加进300克4%盐水,混合后变为6.4%的盐水,问:最初的盐水是多少克? 了解环境受到了哪些破坏或污染,为了改善环境,人们做了哪些工作 液体的体积常用什么来表示 有若干千克4%的盐水,蒸发了一些水分后变成了10%的盐水,在加300克4%的盐水,混合后变成6.4%的盐水,问最初的盐水是多少千克? 大连环境受到了哪些污染,为了改善环境,人们作出了哪些工作? 液体的体积用什么表示 有4%的盐水若干克,蒸发掉一部分水后,浓度变为10%;然后在加进4%的盐水300克,混合后变为浓度是6.4%的盐水,问最初 盐水多少克? 喜马拉雅山脉耸立在我国的青藏高原的哪个部位? 液体体积常用()、()来表示 有若干克浓度为4%的盐水,蒸发了一些水分后变成了10%的盐水,再加入300克40%的盐水混合后变为6.4%的盐水问最初的盐水多少克 青藏高原与喜马拉雅山哪个高 力的作用效果可以表现在两个方面:一是改变物体的运动状态,包括()改变和()改变两种情况. 噪声是指发声体做 的振动时发出的声音 若在月球上做发声实验,物体到底有无振动?是振动后我们听不见还是压根没震动?发声体振动有无条件? 窑洞是什么地方的房子 如何给孩子讲解关于性问题 各种振动的发声体叫 口语交际:怎么样保护环境(几句话)只要几句话 孩子们想知道的有关性和成长的那些事怎么样 为什么一切发声体在振动 帮我写一下保护环境的口语交际.急!1 立式无密封自吸泵不出水怎么处理 发声体振动越快,则.
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘