说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

AMPLab开发重构的Hadoop版本Tachyon:吞吐量要比HDFS高300多倍

HTML文档下载 WORD文档下载 PDF文档下载
你的Hadoop足够快吗?美国加州大学伯克利分校的AMPLab基于Hadoop的核心组件开发出一个更快的版本Tachyon,它从底层重构了Hadoop平台。不过Tachyon的吞吐量要比HDFS高300多倍。“没有最快,只有更快”!

Hadoop足够快吗?美国加州大学伯克利分校的AMPLab基于Hadoop的核心组件开发出一个更快的版本Tachyon。AMPLab从底层重建了Hadoop平台,“没有最快,只有更快”。

AMPLab在大数据领域最知名的产品是Spark,它是一个内存中并行处理的框架,Spark的创造者声称:使用Shark运行并行处理Job速度要比MapReduce快100倍。又因为Spark是在内存运行,所以Shark可与Druid或者SAP's HANA系统一较高下。Spark也为ClearStory下一代分析和可视化服务提供处理引擎。如果你喜欢用Hive作为Hadoop的数据仓库,那么你一定会喜欢Shark,因为它代表了“Hive on Spark”。

AMPLab的最新目标就是Hadoop分布式文件系统(HDFS),不过HDFS在可用性和速度方面一直受人诟病,所以AMPLab创建了Tachyon( 在High Scalability上非常夺目,引起了Derrick Harris的注意),“Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Tachyon的吞吐量要比HDFS高300多倍。Tachyon都是在内存中处理缓存文件,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件”。

当然,AMPLab并不是第一个对HDFS提出质疑的组织,同时也有很多商业版本可供选择,像Quantcast就自己开发了开源文件系统,声称其在运行大规模文件系统时速度更快、更高效。

诚然,AMPLab所做的工作就是打破现有商业软件的瓶颈限制。如果碰巧破坏了现状,那么就顺其自然吧!不过,对于用户来说,AMPLab只是为那些寻找合适工具的人员提供了一种新的选择,AMPLab的合作伙伴和赞助商包括谷歌,Facebook,微软和亚马逊网络服务,它们当然非常乐意看到这些新技术,如果很有必要的话。

AMPLab的其他项目包括PIQL,类似于一种基于键/值存储的SQL查询语言;MLBase,基于分布式系统的机器学习系统;Akaros,一个多核和大型SMP系统的操作系统;Sparrow,一个低延迟计算集群调度系统。(文/王鹏,审校/仲浩)

“ 第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名!     

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加!

APK签名导出向导 - Use the Export Wizard 剖析Android自带Widget - Music播放器 剖析Android自带Widget - Clock指针钟表 C#取得Excel工作簿工作表名称 C#中用Automation自动化方式对Excel的操作 VB如何打开或保存为有密码保护的Excel sheets工作表 VB在Excel表格文件中搜索指定内容 VB复制Excel表到另外一个Excel中 Java实现生成网站快照缩略图片 php实现生成网站快照缩略图片 C#实现生成网站快照缩略图片 VB比较两个Excel表格的内容 VB实现Excel按列或行排序 VB删除EXCEL表格指定行 用vb.net写的验证码识别代码 VB删除EXCEL表格指定列 Oracle数据库Windows 2003环境自动备份批处理 VB通过ADODB连接EXCEL表格文件读取数据 使用VBScript卸载软件 Discuz X2用户注册过程SQL Android手机参数表 用jQuery改变图片(image src) 用std::atomic實現簡單的讀寫鎖 ChinaPay网上支付网关.NET开发 VOB生成IFO文件用nero刻录DVD详解 15款开源Android游戏引擎(安卓免费游戏引擎) 将MVC ASPX转换到Razor视图 Word设置目录简明教程 asp.net mvc页面javascript代码中如何使用razor Discuz X论坛数据表结构:用户数据表pre_common_member boost在windows平台下自带超强 IOCP 的ASIO 我要实现这样的一个简单的功能,很简单的,在线等待!急. 怪事:关于CHM的帮助文件的问题? udpsocket怎么用,在收到数据时,发送二进制数组对一些设备分配ip? 源代码分析 通过weblogic的连接池连接sysbase,出现的怪现象 唉,今天刚到公司上网看一下新闻,竟然被行政总监说了!大家说说看 一个简单的SQL命令问题,线上等待。正确的我都给分 菜问题!我添加了#include "ICMPHeader.h",然后就出错了。 高分求救-漂亮的JSP页面代码 高手紧急求救!!! 我要移动listbox中的值!! 急问Flash... 对于高手很easy问题! 这个语句错在哪里:能不能用字符去逐个的初始化一个字符串 安装SQL时没有选择默认,而是自己新建一个实例,这样如何实现远程代码连接?? 急问Flash conning333(chen)来接分 webapps\ROOT\WEB-INF\web.xml的配置问题 如何清除WEBSPHERE的缓存?一个JSP文件总是无法更新,我重启WEBSPHERE也好,修改该JSP并重新保存也好,都是显示旧页面,真气人! 源代码分析 怎样在DW中制作垂直的线条????急 ! 急!在线等待!!!! 关于dir()的小问题, 这个问题已困惑我几天啦,均没人帮我解决真的好盼望呀 急问FLash 高分求教:一个DataGrid显示双DataTable!走过路过都有份! 怎样代码控制servers中excel的合并单元格?? google能找到我了,散分咯 急问Flash. ADOCE怎样访问excel数据表格? 请 ccmoon(IzuaL) 和 cloudchen(陈系上) 进来领分, 我该怎么做? 关于将输入字母转换为大写的问题! 谁给我解释这个sql语句! 怎么将sql server 6.x 的备份文件,恢复到sql server 7上 请教pb中有没有模式窗口和非模式窗口的概念?? 设备内容句柄在Delphi中有这个类吗?如何表示? hxzhappy(冰雨)快来接分 请问在contexMenu控件中show方法如何写 请问用VC,如何在WIN2000下连接一个SQL数据源? 入参与出参 关于国外发布的软件,可以使注册用户在线或取注册码! win2000下怎样建立代理服务器 有关DBGrid的问题。 在其他版看到一个很有意思的贴子“如果是你招聘人,你会不会招和自己技术,资历差不多的,甚至超过自己水平的?”欢迎大家讨论。 急!关于innerhtml的错误? hxzhappy(冰雨)快来接分 在线求助,急 请教各位,我的sybase的数据库的log设备(即syslogs表)最近增长很快,每天增长40多兆,如何解决??? 想做一个网络代理上网 c语言中三维数组的问题??? 求助:word文件加密后忘记密码如何打开原文件? 我想用行程开关来使丝杠上的装置做往复运动,但是不知道应该装在哪里, miku的妄想税罗马发音要分开的 hatsune miku 读音RT...最好用通俗点的读音吧...英语盲看不明...我只想说。这个的中文翻译为--初音未来 雪花为何呈六角形? 人是什么,死后到哪里去,地球呢真实的 人为什么会来到这个世界,死后去了哪里,来到这个叫做地球的物质上面,转一圈是为了 地球不在了,人会在吗 CO和H2的混合气体21.2g,与足量O2反应后,通过足量Na2O2,固体质量增加多少,为什么 怎么求分子数之比?比如O2和O3 CO和H2的混合气体21.2克,与足量Q2反应后通过足量的NA2O2固体质量增加( ) (要详细过程) 隐形飞机为什么能"隐形"?如题 转基因食品争论 英法态度迥相异美一男子喝红牛饮料后死于心脏病 家人卢浮宫藏品首次来华公开展览 现地中海奥尔布赖特:中美关系发展至关键期应抓茶党加速美国政坛裂变 抓住政府软肋屡韩国9月经常项目收支连续20个月保持利比亚运钞车遭抢 劫匪抢走总计数千万英国广播公司被指诽谤英皇室哈里王子吸日本孤独人群增多朋友租赁登场 每小时澳民众海外旅游担忧多 三成以上担心厕艺术家将住“蛋壳屋”内 旨在警示气候刘结一说中国将继续推动建设和谐海洋普京:曼德拉政策应该成为后人的典范美国加州工业区发生毒气泄漏 造成约1广州“百人打砸医院”续:婴儿死亡 家解放军下代舰载机或七年内问世?一重中云南立法保护湿地 建立认定和保护体系山东省龙口市:财政支出向农村倾斜普惠陕西发现一例世界首报的人类染色体异常泰总理英拉称已做最大让步 呼吁共同维玩2名14岁嫩妹还搞大肚 男不见悔意苏贞昌回应柯文哲:只要认同民进党欢迎
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘