说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

AMPLab开发重构的Hadoop版本Tachyon:吞吐量要比HDFS高300多倍

HTML文档下载 WORD文档下载 PDF文档下载
你的Hadoop足够快吗?美国加州大学伯克利分校的AMPLab基于Hadoop的核心组件开发出一个更快的版本Tachyon,它从底层重构了Hadoop平台。不过Tachyon的吞吐量要比HDFS高300多倍。“没有最快,只有更快”!

Hadoop足够快吗?美国加州大学伯克利分校的AMPLab基于Hadoop的核心组件开发出一个更快的版本Tachyon。AMPLab从底层重建了Hadoop平台,“没有最快,只有更快”。

AMPLab在大数据领域最知名的产品是Spark,它是一个内存中并行处理的框架,Spark的创造者声称:使用Shark运行并行处理Job速度要比MapReduce快100倍。又因为Spark是在内存运行,所以Shark可与Druid或者SAP's HANA系统一较高下。Spark也为ClearStory下一代分析和可视化服务提供处理引擎。如果你喜欢用Hive作为Hadoop的数据仓库,那么你一定会喜欢Shark,因为它代表了“Hive on Spark”。

AMPLab的最新目标就是Hadoop分布式文件系统(HDFS),不过HDFS在可用性和速度方面一直受人诟病,所以AMPLab创建了Tachyon( 在High Scalability上非常夺目,引起了Derrick Harris的注意),“Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Tachyon的吞吐量要比HDFS高300多倍。Tachyon都是在内存中处理缓存文件,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件”。

当然,AMPLab并不是第一个对HDFS提出质疑的组织,同时也有很多商业版本可供选择,像Quantcast就自己开发了开源文件系统,声称其在运行大规模文件系统时速度更快、更高效。

诚然,AMPLab所做的工作就是打破现有商业软件的瓶颈限制。如果碰巧破坏了现状,那么就顺其自然吧!不过,对于用户来说,AMPLab只是为那些寻找合适工具的人员提供了一种新的选择,AMPLab的合作伙伴和赞助商包括谷歌,Facebook,微软和亚马逊网络服务,它们当然非常乐意看到这些新技术,如果很有必要的话。

AMPLab的其他项目包括PIQL,类似于一种基于键/值存储的SQL查询语言;MLBase,基于分布式系统的机器学习系统;Akaros,一个多核和大型SMP系统的操作系统;Sparrow,一个低延迟计算集群调度系统。(文/王鹏,审校/仲浩)

“ 第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名!     

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加!

如何得到WINDOWS的SYSTEM路径-Delphi资料 如何得到上一个激活的组件-Delphi资料 如何得到系统目录-Delphi资料 如何得到执行程序的当前路径-Delphi资料 如何访问一个进程的内存空间-Delphi资料 如何关CD机的门?-Delphi资料 如何关闭外部开启的应用程序-Delphi资料 如何获得系统内存的有关信息?-Delphi资料 如何获取硬盘的ID-Delphi资料 如何检查软驱中的软盘和光驱的光盘是否发生变化。-Delphi资料 如何检查一个驱动器是否就绪?并且不出现错误信息-Delphi资料 如何将Wav文件做到EXE文件里-Delphi资料 如何将你的程序放在Windows启动中-Delphi资料 如何控制Ctrl+Alt+Del键-Delphi资料 如何控制壁纸-Delphi资料 如何控制关闭Windows-Delphi资料 如何屏蔽系统功能键-Delphi资料 如何取得Windows的临时文件目录?-Delphi资料 如何确保你的.exe文件仅运行一次!-Delphi资料 如何让 Windows 模拟按键-Delphi资料 如何让程式只执行一份?-Delphi资料 如何让程序只执行一次?-Delphi资料 如何删除一个控件的子控件-Delphi资料 如何识别显示器当前的分辨率-Delphi资料 如何为Delphi程序添加事件和事件处理器 如何写小执行程序-Delphi资料 如何隐藏桌面上的图标-Delphi资料 如何用API更改改计算机名字-Delphi资料 如何用Delphi映射网络驱动器? 如何在字符串截取中避免分割到半个汉字-Delphi资料 如何知道用户点击了窗口的最小化按钮?-Delphi资料 俺要写一个简单的文本的报文,string类型的 关于生成文件的方法?..... 有谁能告诉一下我CVS和SSF是什么?,具体是指些什么?? WIN2K 的问题:1、怎么允许本地普通用户(user)关机;2、怎么能让本地普通用户开机后,客户机连接到SQL SERVER?3、为什么我的SQL量SERVER2K需要停止然后再启动客户才能用? 如何用VB把存储在ORACLE库中的图片字段取出成.JPG格式的图片文件????急在外出差呀多谢了~~~~~ 如何退出函数?exit function??? 测试2000的TCP/IP是否通,用什么命令 求助开发课程表提示 (*****向斑竹你提个小见意,大家最好都来看看,这个想法好不好!****) 为什么我做的增加功能有两个必须要按两次“添加”按钮才能新增一条记录啊? 很急,请教高手,如何把一个ip格式的字符串转换成ip类型,不是用getbyname(),而是像int和string转换一样的概念 请问如何让基于对话框的工具条一开始就浮在上面 来者有分,关于ado的 毛子青论文<<动态规划的优化>>,一个最长子序列的算法,请高手看过来(给出c实现代码的送20分!) 在鼠标单击时间中,可以使用什么函数取得鼠标点击处的坐标值 怎样在单击左键时弹出PopupMenu? 连续20多天加班,近来明显感到体力透支,做个调查!!!(有分) ASP调用VB编写的ActiveX DLL的问题 请教一sql语句 在Unix下用cc(实际上是cc_bundled文件)编译c程序时,报错“const" will become a keyword,或者告诉我“Function prototypes are an ANSI feature" 为何加入winsock2.h后会出现很多问题? 热烈庆祝:Kingron重出江湖!!!菜鸟们有福喽……散分 you shen me qu bie ? please tell me , xie xie ! [■■■Delphi猛料■■■]V1.3发布~~~~~~~更新到2001.12.12 提问:如何在ToolBar上加控件? 我在OLE里调用了word2000文档,为什么只显示第一页,我查了半天资料都没有解决,请帮我 哪里有多媒体软件制作论文啊? 继续请教各位前辈:能否将非新增加的字段定义成计算字段?谢谢! 软件创意、需求大汇集:列创意,拿专家分,120分值大赠送(以后可继续追加) 局渔网 巨简单问题~~~ 进来有分,回答多分,不够再加!!! 关于关闭和启动数据库的问题,很急的!! java VS c#^-^ ?? 请进 寻求QuickReport3以上版本 for Delphi3 的源代码或者安装包? 請問哪大俠用過 ibm 的 bridge2java啊,我把Excel的所有類都導出來了,但它的QuickExcel.java文件還是運行不了, 求救!新装了一块硬盘,为何找不到呀? SetWindowLong函数在delphi里可用,为什么在c++builder 中不能用??? 用弹出式菜单命令弹出一个dialog,可以响应键盘,可是不响应鼠标? 请教,Inserts类是拿来干什么用的? !!!急急急!!!怎样在WIN2000下把NTFS转换成FAT32啊。数据不丢失。 回复太短!或太长!!! visio2002的数据库建模,能不能生成SQL脚本? 急急啊,有關servlet的問題,源碼如下: 添加数据的问题 坐标问题 unix下的nfs Merry Christmas! 给分!祝大家一路发! 每个文件(目录)有3种权限 写DLL? 我定义了三个CSS样式表 高分求教:谁用pb7作过三层结构的东东,我现在要做啦,指点一下吗 甲物体质量为乙物体的三分之一,乙物体体积是甲物体体积的2倍,求乙物体的密度明天就得交 对澳大利亚西海岸荒漠环境的形成起重要作用的的洋流属于什么洋流?如题选项:A.风海流 B.密度流 C.补偿流 D.暖流正确答案好像是C, 为什么马达加斯加岛的东部形成了热带雨林气候而西部形成了热带草原气候 有甲乙两金属块,甲的密度是乙的5分之2,乙的质量是甲的2倍,那么甲的体积是乙的多少? 拉尼娜现象对赤道逆流和秘鲁暖流及环太平洋的洋流和气候有什么影响?还有厄而尼诺现象 马达加斯加岛的东侧为热带雨林气候,形成此类气候类型的原因是什么?是不是和迎风坡有关系?什么是迎风坡?感激不尽~ 甲物体的质量是乙物体的3倍,使甲,乙两个物体的体积之比为3:2,求甲,乙两物体的密度之比 为什么水银温度计用过要甩,否则就无法继续用呢? 回归线附近的马达加斯加岛东部不是热带草原气候而是热带雨林气候? 有甲乙两物体,家的密度是乙的密度的三分之二,乙的体积是甲的体积的四分之五,那么甲的质量是乙的质量的多少倍,快 急 为什么用完温度计要把水银甩回去?而且再怎么甩也甩不回原点? 澳大利亚东北部热带雨林气候的形成因素有哪些?也就是形成这种气候是由哪些因素促成的. 澳大利亚东北部海域有大量的珊瑚礁,分析这些珊瑚礁的正面作用. 水银温度计是否可以把水银甩下去以迅速再用? 澳大利亚东北部一小块热带雨林气候形成原因RT. 珊瑚礁群分布在澳大利亚的什么海域? 将一块石蜡,分别放入足量的水和酒精中,当石蜡静止时,它排开水的体积与排开酒精的体积之比为 (ρ石蜡=0.9×103kg/m3,ρ酒精=0.8×103kg/m3) 澳大利亚热带雨林气候与热带沙漠气候的成因 有谁知道除了水银外,在常温下密度大于2的液体,混合液体也可. 地处太平洋与印度洋、亚洲与大洋洲之间的“十字路口”是指? 不规则的海绵的体积怎么求?(认真的)不规则的海绵体积怎么求?用沙吧,误差大怎么测呢?个人认为用橡皮泥.请不用水测,水的误差还大些!固化海绵?你那测的是体积?益出水的体积就是海面的体 固体密度大概是液体密度的多少倍? 常温常压下为液体且密度大于水的物质1,苯;2,硝基苯;3,溴苯;4,CCl;5,溴乙烷;6,乙酸乙酯 为什么澳大利亚人口集中在太平洋沿岸地区? 固体密度大于液体密度? 索马里半岛的沿岸热带沙漠气候的形成愿因? (1)以亚洲太平洋沿岸地区为例,比较自地纬至高纬各气候类型的气候特征的主要差异(2)以亚欧大陆中高纬度地区为例,比较大路西岸,大陆内部,大陆东岸各气候类型的气候特征的主要差异. 河水和海水哪个更容易结冰 这句话对么?在秘鲁寒流影响下,沿岸热带沙漠气候所跨经度范围广 处于亚洲与大洋洲之间,连接太平洋与印度洋的海上通道是 为什么海水比河水难结冰 澳大利亚上的热带沙漠气候和非洲撒哈拉沙漠在形成原因上的共同点? 一个实心物体放在水中静止时处于漂浮状态,有4/1的体积露出水面,求该物体的密度? 怎么样求固体,液体的密度用五种方法测量物体的密度,方法越多越好。、文字说明,最好有图画,要讲清楚,不能有遗漏, 索马里半岛热带沙漠气候形成的原因 甲 乙两个实心物体漂浮在水面上,体积之比为2比1,浸在水中部分的体积之比为1比2,那么它们的密度比是多少. 540kg的水化成冰 体积是多少 为什么索马里是热带沙漠气候 质量相等但密度不同的A、B两个小球,方放入水中后都处于漂浮状态,其露出水面部分的体积是总体积的三分之一和一半,则两球A.受的浮力比FA:FB=2:3B.受的浮力比FA:FB=1:1C.密度比ρA:ρB=3:4D. 1kg的水化成冰它的质量、体积分别是多少? 怎样测冰块的密度?放在水里算体积怕化了,切割成规则体不准确,在切割过程中也很容易化,应该怎样测冰块的密度呢?试验工具随便选,并写出冰的密度的表达式. 将密度均匀、重为10N的物体放入水中,静止后物体漂浮在水面,若将露出水面的部分切去后,剩下部分重为8N则物体密度为A、1g/cm3 B、0.8g/cm3 C、0.2g/cm3 D、1.2g/cm3 甲乙两木块的质量比为3:2,其体积比为1:2,则其密度比为多少? 一个容积为3*10^-4立方米的瓶内盛有0.2千克的水,一只口渴的乌鸦每次将一块质量为0.01千克的小石子投入瓶中,当乌鸦投了25块相同的小石子后,水面上升到瓶口,求:1.瓶内石块的总体积.2.石块的 热带雨林气候的成因!a终年气温高,气流下沉强烈 b终年气温高,气流上升旺盛 甲乙两质量分布均匀的物体的体积相同,它们的质量之比是5:3,则它们的密度之比是_________.若甲截去3/5, 1:体积为30平方厘米的铜球的质量为89克,将它的中空部分注满某种液体后球的总质量是361克,求注入的液体密度的大小.(p铜=8.9*10的三次方 千克/立方米)2:一只烧杯装满水,总质量为350克,放 氧气不易溶与水,那水中的生物怎么生存呢(不是生物问题) 海水结冰是盐为什么会分离出来? EGYPT RED SEA (埃及、红海)是埃及在前面,还是红海在前面EGYPT RED SEA (埃及、红海)是该EGYPT(埃及)在前面,还是该RED SEA(红海)在前面呢? 如果氧气在水中溶解很大时我们可以在水中活吗瞎想的 .冬天,小明在海边散步,发现路面上的水结冰了,但海水并没有结冰,他猜想:可能是海水中含有盐,导致凝固表格 中美洲的尼加拉瓜,洪都拉斯,萨尔瓦多,巴拿马,哥斯达黎加,厄瓜多尔,这些国家经济怎么样? 请问:物质溶解在水中,体积是否会发生改变如果是NaCl溶于水呢 某物质的密度是105kg/m3,该物质的状态是?a.固态 b.液态 c.气态 d.无法判断额,不好意思啊.密度是1.5kg/m3啊 澳大利亚西海岸的气候和美国西海岸的气候类似吗?还是说南北半球的洋流有很大差异,导致气候截然不同.还有就是澳大利亚的那个地区与美国的加州气候类似.珀斯和悉尼哪个城市的气候会更 一块糖在水中溶解后,水和糖的总体积有什么变化?为什么? 什么状态的物体密度大 固态还是液态还是气态 泰国,新加坡,新西兰,澳大利亚,科威特,秘鲁,智利名称的原意 水中溶解物质时 温度或体积为啥有变化
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn