说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Google的Janus与Facebook的McDipper:将闪存用于数据中心

HTML文档下载 WORD文档下载 PDF文档下载
相比硬盘,闪存速度快,无噪音,散热小,但价格也确实贵。不过这并没有阻止Google和Facebook对闪存的尝试,一个新系统Janus,一个新技术McDipper。他们成功将闪存用于数据中心,实现新应用。

比起硬盘存储,闪存(Flash)一向优势明显(速度快,无噪音,散热小等)。而缺点也同样明显,贵。每字节存储成本是硬盘的N倍。由此,也使得闪存更多应用在手机、相机等方面,但 这不代表庞大数据中心用户没有考虑过闪存的使用,尤其是对于热数据读取与存储时。比如不太“差钱”的谷歌。

日前,谷歌工程师研发出一个系统Janus——以确定在何时以及如何来优化使用闪存(论文)

据悉,系统实施后,谷歌规模分布云存储系统已经实现为Gmail存储,MapReduce jobs和视频处理服务。工程师得出了这样的结论:合理地将闪存作为“硬盘式数据中心的一种划算 的补充方案”。相关论文已经在圣何塞(San Jose)USENIX大会上发表。


闪存分配推荐系统,被命名为Janus,以何时将数据从闪存中迁移到硬盘来制定的操作策略。在决定一个工作负载是否需要/值得写入闪存时,系统需要考虑的是数据存在的时间。由于绝大多数I/O活动工作都在新创建的文件中。一般来说,新工作负载在被存储到硬盘之前,都有可能会得到存在闪存中的特殊待遇。当然,读请求的时间也会成为另一种考虑。而对于那些需要长期保存,而又不敏感的数据,完全可以分配到低速硬盘上。

该系统定位很准确,就是实现对闪存的高效使用率:

Our results show that the recommendations allow 28% of read operations to be served from flash by placing 1% of our data on flash.

当然,不只是Google。还有Facebook也在思考如何更好地利用存储资源。其已经花费不少的时间用于通过硬件和软件等方案来存储数据,这些数据不需要高速的访问速度,比如Facebook相册中的那些老照片或由于分析或监管等要求还需要存储起来数据或资料。


Facebook的McDipper 

显然,闪存已经成为Facebook存储中关键的一环,他们开发出McDipper 键-值缓存服务器(key-value cache server)来运行闪存存储。所以数据可以以很快的速度来传送,但不需要依靠更为按昂贵的DRAM。

对于大型数据中心而言,这样设置不同存储方式很正常,难的是如何判断,如何优化,如何与其他系统实现无缝衔接和共享。(翻译/郭雪梅,审校/仲浩)

VB下如何编写CRC校验程序 Visual Basic 6中发送邮件的新方法 Visual Basic通信程序设计 Whois 示例程序-VB资料 Winsock Terminal示例程序 -VB资料 WinSock断开导致客户端问题-VB资料 把Outlook信箱中的附件另存为 -VB资料 保证连网计算机时间同步-VB资料 编写网络寻呼机 -VB资料 编制自已的电话录音小程序-VB资料 程序中如何启动默认的拨号连接-VB资料 打开浏览器并进入指定网址-VB资料 得到用户的IP地址 -VB资料 电话拨号 -VB资料 电子邮件的标准格式 (RFC 822)-VB资料 断开拨号网络的连接-VB资料 断开与 Internet 的连接 -VB资料 发送电子邮件附件-VB资料 VB获得用户网络登录名 基 于Win95 的VB5 串 口 通 信 程 序 基于Win95的VB5串口通信程序 检测运程数据传送的断线-VB资料 简单电子邮件发送程序-VB资料 VB建立拨号联接 -VB资料 将所有窗口最小化-VB资料 VB利用IE控件访问Internet VB利用IE控件设计简易浏览器 VB利用Mscomm32控件判断MODEM是否打开,或者正在工作,并且判断拨号时是否遇忙音 VB利用TAPI进行电话拨号 利用VB访问Internet 利用VB设计聊天室 char型怎么转换成String型?(答对结帖) 请问 哪位大侠有loadrunner的中文测试资料提供一下,非常感谢! JS和ASP的问题????? 高手指点 这样划分vlan可不可以???? 数据库超时 VB+SQl 2000 如何实现在程序运行时加减代码? 各位高手给我个提示有关手动添加消息映射的 关于EjbOBJECT和EJBLOCALOBJECT在使用上的区别?? 寻找中俄文转换的工具软件!急! 请问怎么把CLASS程序打包成JAR程序? 如何在VC中嵌入对Access表tableApp中纪录个数的统计(在线等)? 学习java到底有没有前途?? 关于ie6和ie5下使用javascript的问题??? 自定义函数返回值的问题 小问题:如何在VC中嵌入对Access表tableApp中纪录个数的统计(在线等)? 怎么没人理我啊?我好可怜!linux下线程池谁知道怎样实现,在哪里可以找到资料? 请教高手:如何把 Office Word 中的字(包括字体、字色、字类型等)复制到 java 中。急!在线... 挂双硬盘在CMOS中怎么设置? 沾边就给分,请问各位前辈,我想画一个框,并据一定的条件使它以两种颜色交替显示,退出时将其释放 不能用右键来另存图片 关于J2EE问题? 有没有这么一个函数:将一个double型变量按科学计数法的格式显示出来 升级的问题 难!请教关于随机分段计算并判断的问题。 请教:QT库怎么配?怎么看装没装上?里面都有什么? 请推荐一个国外的(英文)网站,类似与csdn的程序员网站!想提高英语水平 请问jsp程序在运行时出现的这个错误是什么原因引起的? ASP对字符串加密后,就认不到路径了,,, 如何在VSS中建立软件运行平台。 如何接收附件 学习java有什么好的资料,书,网站!! 一个简单问题,在线等待! 设计模式疑问,偶都快晕了~~~ 当前账户被禁用 歌词NO-18 爱上别人是快乐的事 吴俊霖 tomcat4中更新bean后需要重起,我受不了这种开发方式,以前3.2时就没有这个问题? 关于颜色的问题 有没有办法使对话框在一个指定的位置弹出来 当前时间的前一天怎么可以求算出来? 一天我把电脑上空余的空间合成一个盘(在98上运行),在98上很正常,但是我在xp里原来的e盘变成了i盘!!!郁闷!! 请问这样写对吗? function checkform() 上网小问题,全给分 请教:一个关于远程数据服务(RDS.DataSpace)的问题!急!急!急!问题解决即结帐。谢谢! 关于删除多个表的记录的问题? byte a; a = a + 1不对是可以理解的,但a++, 或者a += 1为什么是对的呢? 那位大哥告诉一下PL/SQL developer5 正式版的下载地址(全的),和注册码! 100分 SENTINEL SYSTEM DRIVER是什么东东啊? 有没有局域网控制每个客户打印多少的打印机软件? 在pb中如何运行pb自带的同步器,急急急急急急 钓鱼台国宾馆选拔服务人员 阵势犹如选香港举行“枕头大战”场面壮观习近平在海南会见多国总统 彭丽媛出席8岁男孩娶61岁老妇 南非男孩为已去窦靖童on the beach素颜自丽江大火铺天盖地 彩云之南遍地狼藉(郑州一超市女售货员被劫持 劫匪被控制记者暗访快捷酒店真相惊人 用洗脸毛巾南国花开艳 赏樱正当时上海虹桥LV大厦被称“靴子楼” 远观贵州西部局地发生春旱 41万余人临时北京风沙有多猛?竟吹动飞机美国现实版吸血鬼现身 现场炮制鲜血饮90后大学生毕业一个月后成千万富翁(周楚楚全裸透视装露半臀被批没节操 个2013国际旅游小姐特训营美丽蜕变[沈阳9级大风刮落高楼墙体 被砸轿车面上海:樱花树下旗袍秀 风情pk清纯各彭丽媛参观俄罗斯孤儿学校:代表母亲来“炒房客”撤离 温州楼市“高台跳水”上海首创在废弃深坑建五星级酒店P2P网贷企业踏上了烧用户的不归路小叶紫檀手串盘玩千万别这样,不然就惨能猜出三个以上的!!!你老了!李彦宏为什么要在30多岁的时候请员工钱袋躺着缩水后果很严重 如何保卫收益测试 | 什么是你的职场“毒药”这些年中国都结交了哪些“小伙伴”?做不到所谓的“正确”又怎样下一轮明星城市 这十个最有戏!【千年老成都,活力新少城】成都少城旧公募基金、私募基金的区别看这8个方面印度知名手机厂商山寨小米,出电商品牌微软:Mac可折价300美元换购Wi八妹上榜凤凰新闻客户端自媒体英雄榜,能力不如我,长得不如我,却挣得比我多我所知的股票真相(压了一年半,读后可上市公司频频出手P2P 并购现对赌协庞氏骗局的前世今生:美国史上最大欺诈俞敏洪:马云在专科与校花恋爱,我却在别人不会知道,你如何成了今天的你让银行破产的神器出现了!
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘