说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Google的Janus与Facebook的McDipper:将闪存用于数据中心

HTML文档下载 WORD文档下载 PDF文档下载
相比硬盘,闪存速度快,无噪音,散热小,但价格也确实贵。不过这并没有阻止Google和Facebook对闪存的尝试,一个新系统Janus,一个新技术McDipper。他们成功将闪存用于数据中心,实现新应用。

比起硬盘存储,闪存(Flash)一向优势明显(速度快,无噪音,散热小等)。而缺点也同样明显,贵。每字节存储成本是硬盘的N倍。由此,也使得闪存更多应用在手机、相机等方面,但 这不代表庞大数据中心用户没有考虑过闪存的使用,尤其是对于热数据读取与存储时。比如不太“差钱”的谷歌。

日前,谷歌工程师研发出一个系统Janus——以确定在何时以及如何来优化使用闪存(论文)

据悉,系统实施后,谷歌规模分布云存储系统已经实现为Gmail存储,MapReduce jobs和视频处理服务。工程师得出了这样的结论:合理地将闪存作为“硬盘式数据中心的一种划算 的补充方案”。相关论文已经在圣何塞(San Jose)USENIX大会上发表。


闪存分配推荐系统,被命名为Janus,以何时将数据从闪存中迁移到硬盘来制定的操作策略。在决定一个工作负载是否需要/值得写入闪存时,系统需要考虑的是数据存在的时间。由于绝大多数I/O活动工作都在新创建的文件中。一般来说,新工作负载在被存储到硬盘之前,都有可能会得到存在闪存中的特殊待遇。当然,读请求的时间也会成为另一种考虑。而对于那些需要长期保存,而又不敏感的数据,完全可以分配到低速硬盘上。

该系统定位很准确,就是实现对闪存的高效使用率:

Our results show that the recommendations allow 28% of read operations to be served from flash by placing 1% of our data on flash.

当然,不只是Google。还有Facebook也在思考如何更好地利用存储资源。其已经花费不少的时间用于通过硬件和软件等方案来存储数据,这些数据不需要高速的访问速度,比如Facebook相册中的那些老照片或由于分析或监管等要求还需要存储起来数据或资料。


Facebook的McDipper 

显然,闪存已经成为Facebook存储中关键的一环,他们开发出McDipper 键-值缓存服务器(key-value cache server)来运行闪存存储。所以数据可以以很快的速度来传送,但不需要依靠更为按昂贵的DRAM。

对于大型数据中心而言,这样设置不同存储方式很正常,难的是如何判断,如何优化,如何与其他系统实现无缝衔接和共享。(翻译/郭雪梅,审校/仲浩)

微软Build2014第一天应了解的15件事 TypeScript1.0发布,完美支持Visual Studio系列产品 欲与Android展开价格战,微软宣布在移动设备上免费开放Windows 2014深圳英特尔信息技术峰会次日要点汇总 4月4日:微软39周岁,生日快乐! 正式进军硬件市场 Atlassian发布可穿戴设备Bitband 云计算时代IT专业人员需具备的10项技能 【走近院士】李德毅:大数据是连接虚拟和现实世界的桥梁 微软Build2014大会第二天干货总结 Microsoft Azure拥抱Puppet、Chef、MongoDB... 唏嘘不已!Brendan Eich上任Mozilla CEO仅十天即因歧视同性恋被迫辞职 最火HTML5 JavaScript游戏引擎:国外篇(一) Facebook发布PlanOut 开源部分A/B测试源码 一周消息树:6款Java转C#的最佳工具、Web开发者必备的9个软技能 对话“宙斯杯”获奖代表:依托京东云平台,打造精品电商CRM 关于微软开源WinJS,开发者必须知道的5件事 告别丑陋banner条,InMobi联合开发者尝试原生广告 免费游戏开发经验谈:第一印象很重要 《近匠》小旭音乐:游戏音乐金牌匠人的练级之路 日600亿消息,月4.65亿用户——WhatsApp的Erlang世界 一周热点:Cloudera新一轮融资总额已达9亿美元 【走近院士】李未:实现云服务的有效方法是群体软件工程 大神云集 大型创客聚会2014深圳Maker Faire盛大开幕 直击Maker Faire,将精彩“一网打尽”! 电池革命:超级充电器来袭,30秒为手机充满电 风雨13载,Windows XP今起正式退役 向Facebook看齐,Twitter收购Android屏幕待机应用开发商Cover 绝对的超现实!Jaunt打造360&#176;全景VR电影 Unite China 2014课程解析:行业解决方案专场免费开放 Manhattan,Twitter规模的实时、多租户分布式数据库 Ceph浅析(中):结构、工作原理及流程 孙元浩:基于Spark引擎的高速内存分析和挖掘工具应用 高人救命,如何让在单行textBox中按回车时不会“咣”的一声 在<script language="javascript">中使用aspb出错啊! 求救:怎样控制Kodak控件中ImgThumbnail组件的问题 郁闷!。。。今年我决定不考研。。。人家留在学校备考,我留在学校做课程表查询系统 filter怎么用呀? 怎样可以使得listview可以根据不同的列排序? 请对上海非常熟悉的朋友帮一下忙 求救:怎样控制Kodak控件中ImgThumbnail组件的问题 运行表单时为什么出现“死机”----就是不能很好的运行??? 各位觉得清华出版的《数据结构C++语言描述——应用STL标准模板库》怎么样? 框架的问题? 在<script language="javascript">中使用aspb出错啊! jboss3 跟sql server 2000 数据库连接问题 “确定”按钮与“回车”键怎样进行消息传送 提问!! 如何获取一个字符串中中文字符的个数?50分) 救命啊!关于数字字符串的问题,so easy!送分! 请教一下杭州的PB程序员工资行情 怎样用vb将数据库中的数据以曲线的形式显示出来 在上海的有线通上,如何通过HUB使3台电脑共享上网 请问如何检测当前屏幕分辨率是不是1024*768? 郁闷!。。。今年我决定不考研。。。人家留在学校备考,我留在学校做课程表查询系统 ?一个对象删除的问题?不能确定 请问:为什么编译无错,但生成。EXE文件时却有错,我是在卸载中文VC后安装英文版的 请教一下杭州的PB程序员工资行情 请您对您的言行负责,遵守中华人民共和国有关法律、法规,尊重网上道德 请教一下杭州的PB程序员工资行情 反解密,有谁能那么牛?100分相送!!!!!!!!! 没问题,想倒分怎么办? 正是风雨飘摇日 =============怎么固定一个ActiveX控件的大小为资源里一个对话框的大小?========= 哲学家就餐问题,为了防止死锁,通常用几个信号量就可以解决? 这几天心里赌的慌,女友怎么能够这样! api中怎样初始时就最大化 小问题,在线等....好了就结分 怎么样检查这些端口是做什么的? 我读取数据集的时候,为什么会产生越界的异常? 如何通过超链接传值到下一页 谢谢 如何把当前时间组合成一个字符串? 请教大家一个问题: 请教大家一个问题: 本人给出配置表,请问路由器配置好之后,客户机网上邻居--》本地连接该怎么设置? 提问:页面如何顶边??? 难道嗳!!! 如何在几个窗体之间进行数据传递 请问:为什么编译无错,但生成。EXE文件时却有错,我是在卸载中文VC后安装英文版的 高手们,有一事不明! 郁闷~~ 调用VCDLL的参数传递问题 各位好心的大哥帮帮我,救救我~~~~~~我在线等待~~~~~~~~~ 六七十年代发生的几件很牛B的事情【转载】 1molFe含有多少铁原子、怎么算 一事无成这个成语故事的道理朝的时候,有一个人当了省郎的官,因官运不怎么亨通,不管做甚么事情,往往都不如他的心意,所以时时出去,想藉游玩散散心.有一天,他到了京国寺,游倦了,就寄宿在 用句话说一下游手好闲这个成语故事快 恐龙是由什么物种进化过来的? 按要求写句子.(1)孩子们看书.(至少扩三处)扩句:__________________________(2)郑和出使西洋.(至少扩三处)扩句:__________________________ 按要求写句子!急!按要求改写句子.1、袓母对荷花下的功夫怎能不让人吃惊呢?(改为陈述句) 2、家里的人都可惜那一缸好荷花.(改为双重否定句 按要求写句子 按要求写句子的 师说》:“士大夫之族,曰师曰弟子者,则群聚而笑之.”意思 Leonardo da 悔人不倦的意思 土耳其已否决“采购中国红旗导弹”的早\"三无领袖\"安倍疯言疯语录美国全球监控地图曝光:中国5大城市成美卫生部长为医改网站故障道歉美曾要日修宪 日30多年前本可制核武奥巴马再提名支持者当大使日韩拟下月再谈情报协定乔布斯儿时故居成历史遗迹“安倍经济学”谁喜谁忧?韩国议员访问朝鲜开城工业园 关系回暖智利前女总统有望“二进宫”一起去了解神奇的心脏8省1600名高手宝鸡比“舞”一声巨响 燃煤烟囱倒地扫码答题免费得大唐芙蓉园门票我省“一体化教学”实现职业资格证书直灵活就业可享两年社保补贴吸纳毕业生就业企业给予1年社保补贴耀州两少年野泳溺亡 放暑假安全莫放松徘徊在欧亚十字路口的伊斯坦布尔(12铜川启动“全国优秀农民工”推选“丰胸只需98元”黑美容店藏身居民楼
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘