说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

AMPLab开发重构的Hadoop版本Tachyon:吞吐量要比HDFS高300多倍

HTML文档下载 WORD文档下载 PDF文档下载
你的Hadoop足够快吗?美国加州大学伯克利分校的AMPLab基于Hadoop的核心组件开发出一个更快的版本Tachyon,它从底层重构了Hadoop平台。不过Tachyon的吞吐量要比HDFS高300多倍。“没有最快,只有更快”!

Hadoop足够快吗?美国加州大学伯克利分校的AMPLab基于Hadoop的核心组件开发出一个更快的版本Tachyon。AMPLab从底层重建了Hadoop平台,“没有最快,只有更快”。

AMPLab在大数据领域最知名的产品是Spark,它是一个内存中并行处理的框架,Spark的创造者声称:使用Shark运行并行处理Job速度要比MapReduce快100倍。又因为Spark是在内存运行,所以Shark可与Druid或者SAP's HANA系统一较高下。Spark也为ClearStory下一代分析和可视化服务提供处理引擎。如果你喜欢用Hive作为Hadoop的数据仓库,那么你一定会喜欢Shark,因为它代表了“Hive on Spark”。

AMPLab的最新目标就是Hadoop分布式文件系统(HDFS),不过HDFS在可用性和速度方面一直受人诟病,所以AMPLab创建了Tachyon( 在High Scalability上非常夺目,引起了Derrick Harris的注意),“Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Tachyon的吞吐量要比HDFS高300多倍。Tachyon都是在内存中处理缓存文件,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件”。

当然,AMPLab并不是第一个对HDFS提出质疑的组织,同时也有很多商业版本可供选择,像Quantcast就自己开发了开源文件系统,声称其在运行大规模文件系统时速度更快、更高效。

诚然,AMPLab所做的工作就是打破现有商业软件的瓶颈限制。如果碰巧破坏了现状,那么就顺其自然吧!不过,对于用户来说,AMPLab只是为那些寻找合适工具的人员提供了一种新的选择,AMPLab的合作伙伴和赞助商包括谷歌,Facebook,微软和亚马逊网络服务,它们当然非常乐意看到这些新技术,如果很有必要的话。

AMPLab的其他项目包括PIQL,类似于一种基于键/值存储的SQL查询语言;MLBase,基于分布式系统的机器学习系统;Akaros,一个多核和大型SMP系统的操作系统;Sparrow,一个低延迟计算集群调度系统。(文/王鹏,审校/仲浩)

“ 第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名!     

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加!

《近匠》蚁视科技创始人覃政:ANTVR,虚拟现实的新生 后棱镜门时代:开发者保护应用安全的5大技巧 专访许鹏:谈C程序员修养及大型项目源码阅读与学习 65种GPU性能测试,AMD开源驱动领先! 一周消息树:我们从WWDC 2014收获了什么? 精益设计:“纸上谈兵”的说服力 指尖上的艺术——如何运用代码发挥无限创意 周末巨献:100+诡异的数据集,20万Eclipse Bug、死囚遗言等 TIOBE 2014年6月编程语言排行榜:Swift能否取代Objective-C? 移动游戏后端:开发还是购买?你必须知道的6件事 Vuforia SDK 3.0发布在即 全球注册开发者已逾10万 最受职场青睐的十大热门云计算技能盘点 Android Bootstrap:开发也能用模板,省时又省力! Facebook开源又一力作,欲借Broadcom开放交换机 华为敏捷网络:坚持被集成,引领ICT融合 专访赵桂华:.Net也有春天及高性能网站架构实践 《近匠》Testin:云测试除了APP和真机 还有可穿戴和汽车 应用开发利器FXForms:iOS上实现各种Form View Firefox 30正式版:支持GStreamer 1.0技术、内置全新Gecko 30内核 从阿里、UC联姻 看移动互联网“入口”之争 AppCode发布3.0.1更新,支持Xcode 6和Swift 智能家居持续升温:苹果HomeKit合作伙伴Honeywell发布恒温器 欲与谷歌、亚马逊抗衡,苹果推CloudKit拥抱云服务 针对新一代物联网应用 Atmel推全新32位微控制器 实时计算,流数据处理系统简介与简单分析 Cue:秒杀HealthKit,打造自己的家庭医生 新iPhone要来:4.7就够了么?我们还有更大的 Docker迈入云(DockerHub)+端(Docker引擎)时代 《近匠》壹枱智能钢琴:改造音乐行业的新“玩”家 圣何塞Hadoop Summit 2014看点 唯快不破!90后大学生9天完成近670页的Swift语言文档翻译 请问怎样在HTML的编程环境下,能直接读取到JPG和GIF图片文件的高度和宽度(用pixel表示)? 有没有与msxml4.0有关的基础性的文章? ---> 服务器端和客户端软件同时写一个数据项产生冲突,如何解决???急急急 <--- 为什么我的函数声明编译出错 com中如何创建非可视组件实例 有关程序员考试的问题,请大家帮帮忙!!谢谢! session 问题 如何实现文件夹共享 如何用系统监视器查看远程的计算机的系统运行情况? 为什么这段代码不行啊?? 上INTERNET时,如何得到本机拔号IP地址? 多进程使用单值信号量协调,设置 SEM_UNDO, 执行semop 时返回 errno = ENOSPC,如何解决 多进程使用单值信号量协调,设置 SEM_UNDO, 执行semop 时返回 errno = ENOSPC,如何解决 如何用asp连接db2数据库,请附带源码(急) 高分求救 我下载了一个linux2.4.6正式版内核,它是作什么用的?一定给你分,帮帮忙! “神舟三号”飞船发射成功 巨简单,可是俺不会! 上INTERNET时,如何得到本机拔号IP地址?(非局域网IP) 请问如何在DBGRID的TITLE部分,添加自定义按钮或者图像等 多进程使用单值信号量协调,设置 SEM_UNDO, 执行semop 时返回 errno = ENOSPC,如何解决 哪位大侠知道SQL server 里面的updatetext语法怎么写? 两个问题,十分简单,万望指教 偶是新手。要用到sybase数据库,但是只有PB8光盘,听说这上面只有客户端…… 哪里可以找到delphi的函数原型??回者高分伺侯!!!!!!!! 如何将数据邦定到DropDownList控件?(十万火急) 在CB中delete data[] 与delete[] data 有何不同? float 类型 的用法问题(很值得注意呀!!!!!!!!!!!!!!!!!!!!) 在BCB中的Edit菜单下有Tab order,如何才能正确的使用呢?(附详细内容) TWebBrowser 容器中,我发现居然不能拷贝其中选定的内容.为什么,那里出错了吗? 大型表的更新问题 请教:在按页滚动的记录集中怎样得知当前记录所在的页? 谁有2002年度mcse考试试题? 再贴程序员征婚照:) 在线的进来问点问题(jsp/javabean), 实在没有分了其它帖子中送出 请问哪里有介绍用Delphi开发类似Foxmail邮件程序的文章 讨论一下怎么看别人写的代码吧 有个BC源程序用了BC下特有的类complex类,怎样做才能在VC下编译通过? VB高手请进来!!!! 小弟想考cisco认证(ccna),请大家推荐好的书籍和站点! J2EE我下载了,怎么用?安装我会,安装后怎么用? 这段程序有内存泄露吗? 强列抗议???? 有关QueryInterface的菜鸟问题 如何实现和ITS原子钟进行国际标准时间较正、查询? 哪有《Essential C++》电子书,下!谢谢 在单击GRID风格的数据窗口中的行时,row参数能指示当前点击的...(请进) 请问如何使用IIS5.0 ASP连接AS400数据库,我使用ODBC为什么不可以? IE菜单问题 怎样区别打开文本文件是big5码还是gbk码?? 大侠们,更新数据库里面的Images类型的字段的SQL语句怎么写啊,有什么好方法吗? 有10个人戒烟前和戒烟后五周的体重记录如下有10个人戒烟前和戒烟后五周的体重记录如下:(单位:kg)人员 1 2 3 4 5 6 7 8 9 10戒烟前 67 80 69 52 52 60 55 54 64 60戒烟后 71 82 68 55 57 62 54 52 67 58(1) 镜子如何安装到墙上还有背景墙的黑镜之类的,是用云石胶还是什么?具体点 体育课教案 国家排球队男子身高最低要求 五个人称体重五个朋友称体重,但是磅秤只能称100-150千克的东西,它们决定2个人一起上去称称了10次,分别是:115千克、112千克、114千克、121千克、118千克、120千克、110千克、117千克、113千克、 客厅的镜子应该放哪里附图是我家简单的规划图,一房一厅,主要问题是:1镜子摆放的位置是否恰当,有没有更好的推荐,镜子是全身的那种可移动的大镜子,带架子的?2:针对家里面的格局安排 男子排球球网高度 数学题总算错,有思路,但总粗心,于是就总扣分,怎么办? 餐厅可以装镜子吗 一个梯形的面积是396平方米,高是18cm,已知下底是高的1.25倍,梯形的上底是()cm 平时做数学题,总是会因为粗心写错.怎么改正?比如写时想的是x/y,但写在纸上就变成y/x.计算时总会忘记分母,有时会少乘项... 【高中物理】关于能量守恒和重力的一道题从地球表现以vo的速度向月球发射质量为m的物体,此物体恰好能到达月球,若不考虑月球绕地旋转和空气的影响,则( )(双选)A.此物体到达月球的 如图,点E是梯形ABCD一腰的中点,梯形的面积为18CM²,求△DCE的面积 在这里省略号的作用是什么?为什么我的眼里长含泪水?因为我对这土地爱得深沉……什么作用啊急 高手指点:装修餐厅整面墙想用镜子,该选择怎样的?我家餐厅和客厅是一整体长方形,餐厅位置大约宽2.8米(背面是厨房),长3米,层高2.85.过道截断,同一平面是电视背景墙.我一直就想在3米的 "按一下为接电话,再按一下为挂电话.”英语翻译, 手机贴膜 高透膜 磨砂膜 钻石 镜面哪个好? 想在新家装一面镜子,镜子的位置正对着餐厅,在入室门旁的东墙上.想问装在这个位置可以吗?具体位置如图粉色的位置不是,是黑色的位置.在入室门的旁边 把下列句子中省略号的作用写出来1.老红军临终前说:“咱俩不能.都牺牲.你要.走出去.2.青蛙是一种益虫,苍蝇,蚊子,白蛉.它都爱吃.3.当我掏钱的时候,发现没有零钱,于是对他说:“我明天再 质量为30千克的小孩坐在10千克雪橇上,大人用与水平方向成37度斜向上的拉力拉雪橇,力的大小为100牛顿,设雪橇与地面间的动摩擦因数为0.2.问:雪橇对地面压力大小,雪橇运动加速度大小 为什么有些商店墙上的装修用的是镜子,有什么作用? 英语翻译 身高1米60 体重43千克 应该穿什么尺码的衣服 急 是女生 体重500牛的吴力同学用双手握住竖直的竹竿匀速上攀 他所受的摩擦力( )A,等于500牛,方向向下 B,等于500牛,方向向上C,大于500牛,方向向下 D,大于500牛,方向向上 英语翻译办公室老有人大声接电话,我想制备一个小海报,求“请外出接电话”的地道英文翻译. 平行四边形底是20cm,高8cm,将它分成一个三角形和一个梯形.梯形的面积比三角形的(20*8-30)÷2=65 65+30=95 这是按照什么思路解出来的?求问 正确否? 下列球中质量接近1kg的是A足球,B羽毛球,C铅球,D乒乓球 "问是否由别人接电话?"的英语翻译. 在课外活动跳绳时,相同时间内小林跳了90下,小群跳了120下,已知小群每分钟比小林多跳20下,设小林每分钟x下,则可列关于x的方程为: 体重为500N的同学用双手握住竖直木杆上攀,匀速上升时,他受到的摩擦力是? 在梯形ABCD中,AD‖BC,AB⊥AD,角C=60°,AD=DC=5cm,求BC,AB的长及梯形的面积 在课外活动跳绳中,相同时间内小林跳了90下,小群跳了120下.已知小群每分钟比小林多跳了20下.列分式方程. 下列质量接近于1kg的是:A一只苹果的质量 B一只小猪的质量C一本《科学》书的质量D、1L水的质量请说明原因 在梯形ABCD中,AD平行BC,AB⊥AD,∠C=60°,AD=DC=5cm,求BC、AB的长及梯形的面积. 在课外活动跳绳时相同时间内小林跳了90下小群跳了120下己知小群每分钟比小林多跳20下设小林列关于x的方程 一位同学双手紧握竖直的竹竿匀速上攀体重500牛他所受的摩擦力 的方向我也知到这个题的摩擦力的方向是向上的 我唯一不懂的就是不是说摩擦力的方向与相对运动的方向相反吗这个小孩向 如图所示,等腰梯形ABCD中,AD//BC,AB=DC,对角线AC⊥BD,AD=4,BC=10,求梯形的面积. 在等腰梯形ABCD中 AB\\CD AD=BC 且AB=4 CD=2 角B=60度 求梯形的面积 以下物体,质量最接近1KG的是A,一个桔子B,一个鸡蛋C,一瓶水D,一块砖 梯形abcd中ad‖bc,ab=dc,对角线ac⊥bd,ad=3厘米,bc=7厘米求这个梯形的面积 速度(数学题)一个梯形高是20cm,上底是26cm,下底是34cm,从中剪下一个最大的三角形 一位同学质量为50g,他用双手握住一根固定的竖直竹竿.若匀速上爬,他受到的摩擦力为500N,方向__________ 梯形ABCD中AD‖BC AB=DC 对角线AC BD互相垂直 若AD=3cm BC=7cm 则梯形的面积为 答案是25cm² 思路是在旁边画直角三角形 在一个水平地面上,一个底面积为0.16m方,重为4000N的物体,在2000N的水平推力作用下,8s内匀速前进了10m求推力在这八秒内做了多少功 下列日常生活中的物体,质量最接近1kg的是( )(A)一部手机 (B)一支铅笔 (C)一张影碟 (D)一件棉衣 求文档:小红和小明的平均体重是16,小红和小丽的平均体重是21.5,小丽和小明的平均体重是22.5,小红小丽小明各自的体重是多少? 如图所示的水平地面上、重为4000N的物体,在2000N的水平推力作用下,8s内匀速前进了10m求机械效率 体重500N的吴力同学用双手握住竖直的竹竿匀速上攀,他所受的阻力 求原因要详细 则采纳送积分A 等于500N方向向下 B 等于500N方向向上 C 大于500N方向向下 D大于500N方向向上 甲班同学的平均体重是46kg,已班同学的平均体重是42kg,甲、已两班的同学甲、已两班同学的体重不超过44kg。已知甲班有50人,已班至少有多少人? 客厅墙上装镜子,镜子正对着进户门,都说这样不好,有什么讲究, 客厅东墙安镜子对居家风水有没有影响?您好 ,我家东墙是个电视背景墙,墙的两边各安了一面长方形的镜子,镜子上贴了图案还是能找照出人,在电视正上方又安了一个艺术太阳 ,请问这样对居 李煜杰上下山的平均速度为每小时6又6/7,已知他上山每小时行6千米,求他沿原路下山时每小时行多少千米? 客厅对着门的墙上装了一大块茶色镜子,有人说这样风水不好.这个镜子上有几个大的磨砂水泡泡,想在镜子上想在镜子上面贴一些鱼儿之类的,镜子前面是要摆放一颗大型绿色植物的.大门进来, 客厅镜子风水 我家进大门往右看,就看到电视背景墙的左、上、右端是灰镜,中间是墙纸,这个灰镜影响风水吗 身高155厘米,体重70斤,女生,算不算胖 客厅里放镜子好吗家里客厅有面小的梳妆镜,挂在墙上,靠在窗边,这样可以吗? 铁明同学向上跳台阶进行晨练,铁明重500N,在10s内匀速连跳12个台阶,每个台阶的高度为0.2m,在这个过程中,已知铁明克服摩擦做功为2800J,求在此过程中:(1)铁明竖直向上跳的平均速度是多大? 已知月球上没有大气,没有磁场,月球表面上的物体受到的引力只有地球上的六分之一.在某次探月研究中,科学家要把质量为100kg的仪器送到月球表面上.为了让仪器安全着陆,小明同学设计了3个 在水平地面上,一个底面积为0.16平方米,重为4000N的物体,在2000N的水平推力作用下,8s内前进了10m.求物体在运动过程中受到的摩擦力是多大?推力在这8s内对物体做了多少功?物体对地面的压强多大 铁明向上跳台阶晨练,铁明重500N,在10s内匀速连跳12个台阶,每个台阶的高度为0.2m.在这个过程中,以...铁明向上跳台阶晨练,铁明重500N,在10s内匀速连跳12个台阶,每个台阶的高度为0.2m.在这个过
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘