说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Google的Janus与Facebook的McDipper:将闪存用于数据中心

HTML文档下载 WORD文档下载 PDF文档下载
相比硬盘,闪存速度快,无噪音,散热小,但价格也确实贵。不过这并没有阻止Google和Facebook对闪存的尝试,一个新系统Janus,一个新技术McDipper。他们成功将闪存用于数据中心,实现新应用。

比起硬盘存储,闪存(Flash)一向优势明显(速度快,无噪音,散热小等)。而缺点也同样明显,贵。每字节存储成本是硬盘的N倍。由此,也使得闪存更多应用在手机、相机等方面,但 这不代表庞大数据中心用户没有考虑过闪存的使用,尤其是对于热数据读取与存储时。比如不太“差钱”的谷歌。

日前,谷歌工程师研发出一个系统Janus——以确定在何时以及如何来优化使用闪存(论文)

据悉,系统实施后,谷歌规模分布云存储系统已经实现为Gmail存储,MapReduce jobs和视频处理服务。工程师得出了这样的结论:合理地将闪存作为“硬盘式数据中心的一种划算 的补充方案”。相关论文已经在圣何塞(San Jose)USENIX大会上发表。


闪存分配推荐系统,被命名为Janus,以何时将数据从闪存中迁移到硬盘来制定的操作策略。在决定一个工作负载是否需要/值得写入闪存时,系统需要考虑的是数据存在的时间。由于绝大多数I/O活动工作都在新创建的文件中。一般来说,新工作负载在被存储到硬盘之前,都有可能会得到存在闪存中的特殊待遇。当然,读请求的时间也会成为另一种考虑。而对于那些需要长期保存,而又不敏感的数据,完全可以分配到低速硬盘上。

该系统定位很准确,就是实现对闪存的高效使用率:

Our results show that the recommendations allow 28% of read operations to be served from flash by placing 1% of our data on flash.

当然,不只是Google。还有Facebook也在思考如何更好地利用存储资源。其已经花费不少的时间用于通过硬件和软件等方案来存储数据,这些数据不需要高速的访问速度,比如Facebook相册中的那些老照片或由于分析或监管等要求还需要存储起来数据或资料。


Facebook的McDipper 

显然,闪存已经成为Facebook存储中关键的一环,他们开发出McDipper 键-值缓存服务器(key-value cache server)来运行闪存存储。所以数据可以以很快的速度来传送,但不需要依靠更为按昂贵的DRAM。

对于大型数据中心而言,这样设置不同存储方式很正常,难的是如何判断,如何优化,如何与其他系统实现无缝衔接和共享。(翻译/郭雪梅,审校/仲浩)

提高大型软件项目质量的一些实用型技术分享 谷歌推出Mirror API,开发者可为Google Glass开发应用 无需999,也不要499,99美元Linux超级计算机带回家 微软反击AWS:推出EC2并大幅降价,“价格战”正酣 Operation InVersion:拯救了LinkedIn的大修项目 数据窗口如何插入空值? 有兴趣的来看看……个人无私分享! 关于网页使用快捷键的问题 熟悉xml的ggjjddmm们近来看看?我不知道错误怎么回事? 请问各位高手,如何在ASP.net中(用的是VB)对DataGrid中的行进行编辑、删除、排序等操作 如何把delphi中的程序编译成应用程序 C# Builder注册码? 帮小弟一个忙!小弟谢了! 追MM与设计模式(java的32种设计模式) 蛋白质 氨基酸 核酸 碱基 之间到底有什么关系 氨基酸,细胞,蛋白质,核酸,糖,脂肪,这些的关系不 氨基酸和核苷酸在生物学上都称为什么 蛋白质和核酸都 洗衣房烘干机的温度升的不高是什么原因 急求yjj系列吸入式自控焊剂烘干机顶部红色阀门作用 烧开水多长时间去除自来水中的氯 六年级上的《现代文品读 文言诗文点击》的《花脸》全 现代文品读 文言诗文点击六年级上《花脸》答案字打大 物理1T内与1T末有什么区别 英一座百年恐怖古宅 神秘红衣等了主人澳洲使馆被指替美监听亚洲 北京河内均英议员拒降低果酱含糖量 称或“降格”律师称斯诺登将从11月起在俄大型网站乌克兰加入欧盟协定签署期或推迟到20临近年底扔有6家平台利率超30%,2食药监局强调落实生产经营者责任 五股穿越大西洋来到加拿大的P2P平台Bo一季度移动支付额暴增921% 五只股公务员“离职潮”:只闻楼梯响天道之旅异世大话穿越大唐之我会魔法雪洗天下少年除灵师青岩古镇旅游衡山旅游武隆旅游桃花岛旅游大同旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘