说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Google的Janus与Facebook的McDipper:将闪存用于数据中心

HTML文档下载 WORD文档下载 PDF文档下载
相比硬盘,闪存速度快,无噪音,散热小,但价格也确实贵。不过这并没有阻止Google和Facebook对闪存的尝试,一个新系统Janus,一个新技术McDipper。他们成功将闪存用于数据中心,实现新应用。

比起硬盘存储,闪存(Flash)一向优势明显(速度快,无噪音,散热小等)。而缺点也同样明显,贵。每字节存储成本是硬盘的N倍。由此,也使得闪存更多应用在手机、相机等方面,但 这不代表庞大数据中心用户没有考虑过闪存的使用,尤其是对于热数据读取与存储时。比如不太“差钱”的谷歌。

日前,谷歌工程师研发出一个系统Janus——以确定在何时以及如何来优化使用闪存(论文)

据悉,系统实施后,谷歌规模分布云存储系统已经实现为Gmail存储,MapReduce jobs和视频处理服务。工程师得出了这样的结论:合理地将闪存作为“硬盘式数据中心的一种划算 的补充方案”。相关论文已经在圣何塞(San Jose)USENIX大会上发表。


闪存分配推荐系统,被命名为Janus,以何时将数据从闪存中迁移到硬盘来制定的操作策略。在决定一个工作负载是否需要/值得写入闪存时,系统需要考虑的是数据存在的时间。由于绝大多数I/O活动工作都在新创建的文件中。一般来说,新工作负载在被存储到硬盘之前,都有可能会得到存在闪存中的特殊待遇。当然,读请求的时间也会成为另一种考虑。而对于那些需要长期保存,而又不敏感的数据,完全可以分配到低速硬盘上。

该系统定位很准确,就是实现对闪存的高效使用率:

Our results show that the recommendations allow 28% of read operations to be served from flash by placing 1% of our data on flash.

当然,不只是Google。还有Facebook也在思考如何更好地利用存储资源。其已经花费不少的时间用于通过硬件和软件等方案来存储数据,这些数据不需要高速的访问速度,比如Facebook相册中的那些老照片或由于分析或监管等要求还需要存储起来数据或资料。


Facebook的McDipper 

显然,闪存已经成为Facebook存储中关键的一环,他们开发出McDipper 键-值缓存服务器(key-value cache server)来运行闪存存储。所以数据可以以很快的速度来传送,但不需要依靠更为按昂贵的DRAM。

对于大型数据中心而言,这样设置不同存储方式很正常,难的是如何判断,如何优化,如何与其他系统实现无缝衔接和共享。(翻译/郭雪梅,审校/仲浩)

纷享销客D轮融资1亿美金,启动开放平台战略! 专访4秒源码商城CTO陈杰:扎根互联网的“不安的心” iOS UIView动画实践(一):揭开Animation的神秘面纱 【前端人生】Teambition前端工程师陈涌:非计算机专业,依托社区不断成长壮大 iOS UIView动画实践(二):Spring Animation与人机交互 基因组与数据整合:DNA应用开发正在临近 2015 PHP框架调查结果出炉,Laravel最受欢迎! 【CTO会员专访】KEEN创始人兼CEO王琦:在GeekPwn,遇见一极棒的安全人才 创业公司都在使用的3款Python库 深入理解Objective-C的Runtime机制 你不知的Docker 创办人兼CTO游走美法的浪漫狂放 《近匠》环信CEO刘俊彦:移动客服的未来化场景 iOS UIView动画实践(三):Transition Animation 【CTO讲堂】无社交,不App!——为App加载强大的通讯社交引擎 【探秘ES6】系列专栏(七):箭头函数 【前端框架】Backbone.js在大型单页面应用中的应用实践 【探秘ES6】系列专栏(六):解构赋值 《近匠》TestBird,专注的手游自动化云测试平台 【探秘ES6】系列专栏(八):JS的第七种基本类型Symbols 专访李林锋:我与Netty那些不得不说的事 手把手教学:巧用Core Data和RubyMotion开发iOS应用 《近匠》琥珀天气,精细化打磨征服Google Play 【CTO讲堂】人工智能到底能为我们带来什么? Linksys再度回归中国市场,主推智能路由 Windows 10:全平台战舰与移动化破冰——微软(中国)操作系统工程院院长谢育涛专访 专访友盟CEO叶谦:深挖海量终端用户数据的价值 七牛资深前端工程师马逸清:前端测试探索实践 实战iOS 9:开发者必须掌握的三种搜索API 腾讯Bugly干货分享:浅谈Swift在实际项目中的应用 【前端人生】ThoughtWorks黄峰达:利用横向扩展方式,快速学习前端新框架 这是前端最好的时代——论前端的“三化”建设 在DOS环境下用什么命令来查看非文本文件内容,如在UNIX下的cat命令的功能,在线急等。。。 ★在软件中提供了自定义热键的功能,但是我如何判断该热键已被占用了呢??? 羽毛球爱好者,请进 入门:关于验证字已失效的问题 blob字段如何存取? 一个编程论坛 那位能给我一个qq号呀,我急用 liangdiantech@163.com 羽毛球爱好者,请进 请问哪里有Microsoft Application Center Test的相关资料?多谢 非常简单的问题!!! 轻松心态,远离非典! 在自己的机器上打不开联接 DataModule的问题(菜鸟级) 怎么把表中的列约束为唯一的? 一个编程论坛 从没见过的问题!!!晕了!! 安装问题,请指教! C++的应用是什么意思呢? 得到上传文件大小的问题,解决高分相送!! R6中的问题!高手请进!高分求救! 一个电子书籍下载和编程论坛 请问怎么在vb中调用纯c接口的api并实现多线程 如何在一个很大的文件中删除一段数据?不用拷贝的方法 the C++ programing language里的两个小问题!!! 找在没行带checkbutton的listbox控件类 我可怜的QQ被盗了~~有什么密码破译软件取回QQ的密码吗 VARIANT结构中,如何通过pvarVal指针来获得串口传来的二进制流?? 天啊,这就是《程序员》? 编译java程序需要哪些工具,菜鸟提问. how to use *.pak?? ★在数据窗口中如何同时实现多行操作,如update或delete多行。 请问oracle8i的下载问题! 请问MSDN.net 中文版光盘出了吗??????????????????????? 关于STRING的问题 在IE中程序运行有错误?请指点! JB8做个BMP,奇怪问题 有谁知道*.dns用什么软件打开吗,急!!! 大家给我推荐一个delphi源码网站 Oracle8.17的安装问题,请大家帮忙,急呀!谢谢! csv文件存储求助 问个关于checkboxlist控件的用法! 客户端通过Session Bean 调用 Local EntityBean的问题. 启动j2ee的问题--j2ee -verbose 那里能够下载破解的install shield 5.0 or 5.5 or 6.0? 我想搞网络游戏开发,请教各位的意见 如何在接受表单的ASP文件中,去知晓是这个表单中的哪个'确认按钮'被按下了?? 我的数据库打不开了!!! 连接MySQL数据库服务器? 有谁可以推荐几个国外的比较热的asp论坛,多谢! 我是一个菜鸟,想学asp,希望前辈给指条路 有人知道工程硕士是怎么回事吗?和普通的有什么不同啊,可以考普通的博士吗?谢谢阿 美国最新型隐身驱逐舰下水 因价格太贵俄罗斯否认疑借助俄礼物窃听G20代表华为称澳政府针对国家宽带网项目未做最国际新闻早报:以色列释放第二批26名迪拜将孔明灯列为危险品:致火灾商铺将中国承建高速路给斯里兰卡带来的社会和泰国或明年起征收入境税 外国游客超三叙利亚副总理贾米勒被解职 为主要反对横跨欧亚大陆 土耳其海底隧道正式启用首条横跨欧亚海底隧道启用 可乘火车从日警方查获“大麻办公室” 现场发现1盘点打医生事件:美请FBI培训 日需埃及武打冠军因支持前总统穆尔西 金牌日本一法学系准教授因涉嫌携带毒品被逮美众议院情报委员会就窃听事件举行听证分析称农业补贴政策负面效应渐显 需进温州已婚男爱慕邻家女子遭拒 拐骗其女上海自贸区挂牌满月 壳公司难炒作违规江苏通报九大虚假诉讼案例 法院“内鬼《食品安全法》修订征意见 非法添加最南京政府部门电视问政:道路大开大挖问我国大飞机C919将装备“最强大脑”“任性”旅游 你将“榜上有名“三十四年后的追寻 “四有”书记谷文昌历史事实不容抹杀何时缴、缴多少、谁来缴 三问机关事业广安邻水3岁女童上幼儿园 被闷死在园不良整容培训机构毫无资质 培训两天敢隆国强:新常态为外资提供新机遇日本各界人士回应新审定教科书再现倒退福建漳州古雷腾龙芳烃发生二甲苯塔漏油四川:男子跳桥救女摔成重伤 双手紧抱寻梦丝路:陕西的“新宝石”(组图)原标题:鄱阳湖遇雨“发福”湖面4天扩解析沙特攻也门:强大国防买不来 就算敦煌研究院披露莫高窟壁画中的清明民俗外媒评国人清明烧纸iPhone:消费CIA多名女特工否认“性诱捕”恐怖分重载货船险撞安庆长江大桥 距桥墩30污水排放长江江豚保护区 环保部门:曾曝布拉奇9月中旬与新疆会和 假期照顾美国女记者猝死 母亲质问其上司:如何
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘