说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

AMPLab开发重构的Hadoop版本Tachyon:吞吐量要比HDFS高300多倍

HTML文档下载 WORD文档下载 PDF文档下载
你的Hadoop足够快吗?美国加州大学伯克利分校的AMPLab基于Hadoop的核心组件开发出一个更快的版本Tachyon,它从底层重构了Hadoop平台。不过Tachyon的吞吐量要比HDFS高300多倍。“没有最快,只有更快”!

Hadoop足够快吗?美国加州大学伯克利分校的AMPLab基于Hadoop的核心组件开发出一个更快的版本Tachyon。AMPLab从底层重建了Hadoop平台,“没有最快,只有更快”。

AMPLab在大数据领域最知名的产品是Spark,它是一个内存中并行处理的框架,Spark的创造者声称:使用Shark运行并行处理Job速度要比MapReduce快100倍。又因为Spark是在内存运行,所以Shark可与Druid或者SAP's HANA系统一较高下。Spark也为ClearStory下一代分析和可视化服务提供处理引擎。如果你喜欢用Hive作为Hadoop的数据仓库,那么你一定会喜欢Shark,因为它代表了“Hive on Spark”。

AMPLab的最新目标就是Hadoop分布式文件系统(HDFS),不过HDFS在可用性和速度方面一直受人诟病,所以AMPLab创建了Tachyon( 在High Scalability上非常夺目,引起了Derrick Harris的注意),“Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Tachyon的吞吐量要比HDFS高300多倍。Tachyon都是在内存中处理缓存文件,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件”。

当然,AMPLab并不是第一个对HDFS提出质疑的组织,同时也有很多商业版本可供选择,像Quantcast就自己开发了开源文件系统,声称其在运行大规模文件系统时速度更快、更高效。

诚然,AMPLab所做的工作就是打破现有商业软件的瓶颈限制。如果碰巧破坏了现状,那么就顺其自然吧!不过,对于用户来说,AMPLab只是为那些寻找合适工具的人员提供了一种新的选择,AMPLab的合作伙伴和赞助商包括谷歌,Facebook,微软和亚马逊网络服务,它们当然非常乐意看到这些新技术,如果很有必要的话。

AMPLab的其他项目包括PIQL,类似于一种基于键/值存储的SQL查询语言;MLBase,基于分布式系统的机器学习系统;Akaros,一个多核和大型SMP系统的操作系统;Sparrow,一个低延迟计算集群调度系统。(文/王鹏,审校/仲浩)

“ 第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名!     

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加!

width()-JQuery API DOM-JQuery API addClass(class)-JQuery API attr(key,fn)-JQuery API attr(key, value) -JQuery API attr(name)-JQuery API attr(properties) -JQuery API html(val)-JQuery API html()-JQuery API removeAttr(name)-JQuery API removeClass(class)-JQuery API text(val)-JQuery API text()-JQuery API toggleClass(class)-JQuery API val(val)-JQuery API val-JQuery API after(content) -JQuery API append(content) -JQuery API appendTo(expr) -JQuery API before(content)-JQuery API clone(deep) -JQuery API empty()-JQuery API insertAfter(expr)-JQuery API insertBefore(expr) -JQuery API prepend(content)-JQuery API prependTo(expr)-JQuery API remove(expr)-JQuery API wrap(elem)-JQuery API wrap(html) -JQuery API add(elements) -JQuery API add(html)-JQuery API 如何定时删掉数据库中的一些数据? 请问vb里该如何使用一些特殊字符(如如何使用对勾呢?) 请问在VBScript编程中相当于VB编程中Val()函数是哪一个?(急用!) 急救,在线等待,吐分了!!!! 核心编程光盘使用问题 MSFlexGrid控件要如何添加内容? 苦追一女孩3年--身心疲惫;开学了,没寝室--万念俱灰! 一个标记怎么不识别"回车"??? 大家有什么软件需要兼职人员开发的吗? 高分寻求《WEBV数据库数据规划》《数据库模型》相关书籍及其有效下载地址!! 送点分,怎么样在一台只有win2000 server的系统上运行asp.net程序?? 如何在Response.Redirect中传递HTML控件的值? 请问做安装程序时候,如何避免Installshield在控制面板的添加删除程序中增加项?? 怎样随机抽取access数据库中的n条记录呢? 请问大家看完think in java用多少时间呀? Access数据库的日期查询在2000下一切正常,在98下查询出错? vc中def文件有何用处,是否可随意删除? 关于sql语句的问题,急急急,在线等!! 请绝顶高手回复(问题的详细情况) 通用模板的问题 一个用户控件的问题!请求帮助! 关于Socket的同步和异步的问题 菜单上的变量也要定义嘛?该如何定义? 一个关于servlet的问题! dll的问题 怎样才能不用鼠标取点击按钮,直接用代码去执行按钮 高分请教SqlDataAdapter中存储过程的调用 evc中资源文件的中文乱码问题该如何解决? linux环境下的编程请教 大家有什么软件需要兼职人员开发的吗? 新手请教 关于地址转换(NAT)转发后,数据包的变化问题 调查BDK最新版本是多少? 那位大哥有Visual Studio.Net 的序列号? 关于windows下的注册表? 生成组件对象时提示我必须有<%@ Page aspcompat=true %>,这是什么意思呀? 运行时出现"找不到vcl50.bpl动态连接文件"的错误,请高手指教 打印纸的设定???? pb80+B/S 用视频采集卡采集视频数据,图象的扫描频率都高于显示器的扫描频率,为什么? ADO的臭虫、问题太多,只好用BDE了 kylix3装在RedHat7.3上界面显示不出来?高手请帮忙! 键盘"DEL"键和右键"删除"的区别? 打不开WORD文件? WIN98只能进安全模式,不能正常进入,什么原因 关于insertrow后不update而先getitemstring的问题。 tomcat 配置问题 C# 基于套接字的聊天室 遇到一个问题 高分请教!!! WIN95的序列号给一个谢了,各位兄弟,帮个忙。。 请问数据流程是指那方面的? 关于如何调用Windows Media Encoder 昙花的开放过程写两三行关于昙花开放的片段. 我是做停车场系统的. 在一个不导热的密闭反应器中,只发生两个反应:a(g)+b(g)⇌2c(g);△H1<0x(g)+3y(g)⇌2z(g);△H2>0进行相关操作且达到平衡后(忽略体积改变所作的功),下列叙述错误的 昙花在什么季节开放?还有就是:是不是一朵花在晚上开一次就凋谢了?开一次就凋谢了的意思是以后就不会开花了 停车场系统英文缩写是什么 在一个不导热的密闭反应中,只发生两个反应a(g)+b(g)=2c(g) ,焓变小于0x(g)+3y(g)=2z(g),焓变大于0等压时通入z气体,反应器中温度升高.为什么是对的平衡逆向移动,温度应该减小啊 哪些是活细胞,死细胞,细胞产物?胰岛素,消化酶,手掌上的“老茧”,叶绿素,叶肉细胞,红细胞,头皮屑帮忙分类! 丢潘图活了多少岁?拜托各位大神 在一个不导热的密闭容器中只发生两个反应在一个不导热的密闭反应器中,只发生两个反应:a(g)+b(g)⇌2c(g);△H1<0x(g)+3y(g)⇌2z(g);△H2>0进行相关操作且达到平衡后 昙花为什么只在夜晚开放? 失活组织有什么特征谢谢了, KCN+H2O2+H2O=A+NH3(数字为角标)判断A物质是什么,求判断方法? 昙花开放的时间为什么那么短? 如何培养一个人意志?拜托各位大神 10、人体能及时清理体内的衰老、破损和死亡的细胞,这属于( )A、 防御病原体对人体的感染 B、保持人体自身结构的稳定C、免疫具有的三个方面的重要功能中的一个方面 D 在一个不导热的密闭反应器中,只发生两个反应:a(g)+b(g) 2c(g) △H10 进行B项:等压时,通入Z气体,使第二个反应逆向移动,温度会升高,但是第一个反应会吸收热向,会不会整个体系的温度不变呢 神经网络和支持向量机的优缺点! 水玻璃不是玻璃么 水玻璃是什么 玻璃是什么 谁有 《计量检定规程或技术规范管理制度》 1033-2008版本的 急用! 离体植物细胞形成愈伤组织为什么没有发生细胞分化 什么是决策树 什么是催化剂失活?失活原因有哪些? 离体的植物细胞在培养液中形成愈伤组织 为什么没有发生细胞分化 看的同义词-四个字的如:东张西望 催化剂失活原因是什么? 为什么离体的植物细胞在培养液里形成愈伤组织没有发生细胞分化 支持向量机 这个名字是怎么来的? 酶失活后还能做催化剂可行? 32、催化剂失活的原因? 原离体植物器官、组织或细胞,愈伤组织,胚状体的全能性及分化程度大小比较是怎样的 在高温干旱的环境里绿色植物从空气中吸收的会减少主要原因 如何减少催化装置催化剂的失活 菜农给土豆施农家肥主要目的是 高温干旱的环境里.绿色植物从空气中吸收的二氧化碳为什么会减少大神们帮帮忙 家用制氧机家用氧气机吸氧机价格,家用制氧机品牌,家用制氧 种植马铃薯施农家肥有什么好处?求解答 现代信息应用技术有哪些应用?要三个.应用领域 应用例子 产生的影响,这是格式. 通信电源系统组成及框图 实事求是的同义词和反义词 换了环境变黑了怎样才可以变白啊 传统通信电源系统由哪几部分组成? 法的特征 包括哪几项?A 由国家指定或认可B 具有规范性C 体现统治阶级意志D 以国家强制力保证实施 对于绿色植物来说下列哪种物质不需要从环境中吸收A水B二氧化碳C有机物D无机盐 都没意思 很烦 很无聊 还有好多的烦恼 比较倒霉 好像处处在针对我一样 做什么 都会有好多倒霉的事情 这样的生活有意思吗 谁帮我想一个诚信的同义词我想要一个词.是要跟诚信一个意思的.同义词之类的都可以! 举措 措施 方法 三个词有什么区别~分别该怎么用? 在这世界上我活的还有意思吗?没有人在乎我的感受、从在 实事求是的同义词,要四字以上的短语… ‘措施’和‘方法’有什么不同例如,为了xx能够xx,我们特意列出了一些预防的措施及方法.请问这个是病句吗?预防措施和预防方法有不同吗?如果错了,应该怎样说 下列词的同义词 诚恳 愚蠢 差异 适宜 选择题“排他法”的几种类型求答案 指挥方式和方法有哪些?你能比较几个方法,然后说明吗? 诚实的近义词是什么 诚实的反义词、同义词 选择题第一题求方法 章程是对某一方面的工作作比较全面,系统的规定.判断:说明: 决策树是什么, 坚持的事例写一些好的事例 昙花终于怒放 ①我爱昙花. ②三年前的春天,朋友亲自给我送来一株昙花亩,种在白瓷壶里,枝叶铁青如剑,精心系上的红丝带临风飘拂.我高兴极了! ③不久,我便依照朋友的嘱咐,把这株昙 停车场系统都有哪些优点呢? 日常生活中有关坚持的事例,不是有关于名人的要新颖的,不要是什么我通过坚持不懈终于学会了什么什么······
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘