说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

AMPLab开发重构的Hadoop版本Tachyon:吞吐量要比HDFS高300多倍

HTML文档下载 WORD文档下载 PDF文档下载
你的Hadoop足够快吗?美国加州大学伯克利分校的AMPLab基于Hadoop的核心组件开发出一个更快的版本Tachyon,它从底层重构了Hadoop平台。不过Tachyon的吞吐量要比HDFS高300多倍。“没有最快,只有更快”!

Hadoop足够快吗?美国加州大学伯克利分校的AMPLab基于Hadoop的核心组件开发出一个更快的版本Tachyon。AMPLab从底层重建了Hadoop平台,“没有最快,只有更快”。

AMPLab在大数据领域最知名的产品是Spark,它是一个内存中并行处理的框架,Spark的创造者声称:使用Shark运行并行处理Job速度要比MapReduce快100倍。又因为Spark是在内存运行,所以Shark可与Druid或者SAP's HANA系统一较高下。Spark也为ClearStory下一代分析和可视化服务提供处理引擎。如果你喜欢用Hive作为Hadoop的数据仓库,那么你一定会喜欢Shark,因为它代表了“Hive on Spark”。

AMPLab的最新目标就是Hadoop分布式文件系统(HDFS),不过HDFS在可用性和速度方面一直受人诟病,所以AMPLab创建了Tachyon( 在High Scalability上非常夺目,引起了Derrick Harris的注意),“Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Tachyon的吞吐量要比HDFS高300多倍。Tachyon都是在内存中处理缓存文件,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件”。

当然,AMPLab并不是第一个对HDFS提出质疑的组织,同时也有很多商业版本可供选择,像Quantcast就自己开发了开源文件系统,声称其在运行大规模文件系统时速度更快、更高效。

诚然,AMPLab所做的工作就是打破现有商业软件的瓶颈限制。如果碰巧破坏了现状,那么就顺其自然吧!不过,对于用户来说,AMPLab只是为那些寻找合适工具的人员提供了一种新的选择,AMPLab的合作伙伴和赞助商包括谷歌,Facebook,微软和亚马逊网络服务,它们当然非常乐意看到这些新技术,如果很有必要的话。

AMPLab的其他项目包括PIQL,类似于一种基于键/值存储的SQL查询语言;MLBase,基于分布式系统的机器学习系统;Akaros,一个多核和大型SMP系统的操作系统;Sparrow,一个低延迟计算集群调度系统。(文/王鹏,审校/仲浩)

“ 第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名!     

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加!

Google新的Web UI库:Ploymer 研发周报:让开发者高效编程的10个新框架 拯救行将就木的PHP:谷歌为GAE添加PHP支持 PPT集萃(一):10位业内高管分享云计算技术理念与行业趋势 得益于苹果谷歌,未来可穿戴技术市场规模可达500亿美元 雅虎11亿美元押注Tumblr三大因素:用户、社交、内容 Perceptual:英特尔感知计算挑战赛 正式启动 吴义坚:创业去!我用深度神经网络,处理语音识别 浅谈用户体验的“反面模式 可穿戴设备又一站:增强现实眼镜CastAR 数字医疗投资将破纪录 投资人看好这些细分领域 Mayer又下一城:雅虎收购Tumblr推进移动化? 前端开发利器:代码预处理工具Prepros 一个轻量级的JavaScript库:Reactor.js [探讨] 用户体验设计师现在面临怎样的机遇和挑战? PPT集萃(二):淘宝、CloudStack等分享的架构经验与最佳实践 2013中国云计算榜单之二:64家云主机+云存储,错综复杂! 看Java技术基础的eBay如何评价他们的Node.js首次尝鲜 Jolla发布首款Sailfish系统手机 无缝兼容Android应用 NPD:全球智能手机出货量2013年将首次超过功能手机 聚合数据左磊:不走寻常路 做国内最好的数据聚合平台 从程序员到软件商 需要注意些什么? 共享软件海外营销策略与实战(上海站) 直接拿来用!最火的Android开源项目(完结篇) 一步加入云生态系统 参加第五届中国云计算大会的十大理由 传苹果iOS7将深度整合Flickr 用户受益最大 Chrome 27来了:页面加载快5% 可同步数据到Google Drive 微软发布新一代游戏主机Xbox One 搭配全新Kinect 2.0体感系统 Unity游戏引擎向iOS与Android开发者免费 Twitter获“下拉刷新”专利 开发者仍可自由使用 复杂产品的响应式设计【流程篇】 像MSN那种有邮件时就提示的那个小窗口要怎么做? 用什么API函数可以实现big5转换为gb 关于文件上传问题,大家都使用htmlcontrols.htminputfile控件吗? 各位大虾,关于扫描仪的错误2800:0000是指什么错误?急!!! 请问如何在载入页面前,跳出一个询问用户名和密码的窗口,然后验证用户身份? MSsqlserver 意外终止服务 www服务器过一段时间就停止服务? resin 中jsp文件无法显示图片,怎么回事? 请教思归!!asp.net中弹出对话框的问题 debug命令f怎么用呀? 笔记本电池,能外挂吗?~~~~ 工具欄的顯示應算較專業的問題 寻求共同创业的伙伴! COM+组件远程调用问题 如何才能把计算稿保存下来? 急。chr 与ord的运用! 为什么当我在dreamweaver里把表格的单元格宽度设定为像素了,可当我的字符串超过它的宽度,它不换行?而是拉长我的单元格 使用delphi第三方控件出现的问题 用什么函数把int转成nvarchar 关于上网的问题 关于图片的循环移动问题 寻求共同创业的伙伴! 关于Keil C51的编译问题 谁有《 Inside The C++ Object Model》英文版电子版 请教《深入浅出MFC》中有关“动态创建”的一个问题。 图像缩放和居中显示的问题 请教如何用DDraw实现屏幕随鼠标移动而滚动,就象星际中的地图比屏幕大,但可以滚动显示。 一点问题,劳驾各位高手啦。。谢谢!!! 一个双向链表得问提求救啊 截获、修改本地程序通过socket发出的包的问题 请教DDraw资源网? 可不可以把这两个合并成一句查询语句呀 问一下IDirect3DDevice8::SetTransform第一个参数的问题 如何把一个窗体放进动态链接库中? 集合Set 和 数组Array 的问题 论坛出现乱码怎么办?急!急!急!!! 如何使用JList添加记录项???? 谁遇到过VB printer对象在少数机器上乱码的问题,有的机器又是好的。 不能使用make menuconfig?请指教 DBGRID中要点两下才能进行编辑状态,如何只一下就能进入编辑状? 郁闷啦,5。1加班到11点,放分 急需FlashFXP的注册码(当天就给分) 小问题 谁告诉我一个exchange server 的下载地址啊? 为什么我装的 XP在桌面上没有“我的电脑”“Internet Explorer”“网上邻居”“我的文挡”,只有一个回收站??? 论坛开发策划书怎么写? 请教JBUILDER8编译时的问题 ADSL 的问题 关于合并分区的问题,急! 在编译msdn中的vc例子程序时找不到mfc42u.lib文件 想把握住一份不可能的爱情,今天才知道我失败了,极度郁闷,散分 龟和鹤共有脚170只,如果将龟数与鹤数互换,则共有脚130只问原来龟和鹤各有多少只? 已经掌握了虫洞技术,能轻易穿越数百万光年的外星人打得过美军航母么? 《出师表》中作者分析先汉兴隆后汉倾颓原因的句子 龟鹤同池,共有100个头,360只脚,龟有几只?鹤有几只? 大学里如何当好一名优秀的班长 出师表 咆哮体 万能的神啊,请你发发慈悲给我指条明路吧,阿门.怎么翻译成英文 什么是“存在即合理” 出师表中揭示后汉灭亡的句子是什么阿、峩着急 一只熊下落速度为10m/s,问这只熊是什么颜色? 存在真的即合理吗 《出师表》中作者揭示后汉灭亡原因的句子是? 一只熊以10m/s的速度向下掉落,问:这只熊是什么颜色? 重心一定在物体上吗 出师表里的“先汉”“后汉”的解释老师说是西汉东汉的意思但这样解释就成了“西汉兴隆,东汉衰败”的意思我觉得不对,哪个朝代不是有兴有衰我觉得应该翻译成“东汉前期”“东汉后期 怎样用尔虞我诈造一个错误的句子还要附上错误原因 -7被3除等于多少余几,是等于2余-1还是等于-2余1,还是其他的答案?为什么? 做自由落体运动的物体第100s内的位移与第1s内位移之比是几,还有通过第100m的时间与通过第1m时间比是几本人刚学.实在听不懂. 有一只熊,以10m/s2加速度下落,问熊的颜色?为什麽答案会是灰色 几除几等于7余8 请你用硫酸溶液加碳酸氢氨反应完后还可以继续加碳氨反应吗?如果可以能加几次啊? 这四个人分别代表着什么意思?和这个词应该怎么用? ()除去()等于12余7 物体所受重力的方向与缩手万有引力的方向相同吗? 龟鹤共有100个头,350只脚;龟;鹤各多少只? 圆 > :AD是△ABC的高,AE是△ABC的外接圆的直径,试说明弧BE=弧CF.九年级数学《圆》一章的练习题 :AD是△ABC的高,AE是△ABC的外接圆的直径,试说明弧BE=弧CF. 关于重力与万有引力的关系?判断下面几种说法的正确与否1、万有引力分解为两个分量,重力和向心力.绕地球匀速率圆周运动的人造卫星,所受的合外力只有引力,故引力完全提供向心力.此时引 龟鹤共有100个头,350只脚.龟、鹤各有多少只? 物体只有受到方向时刻变化的力的作用才作曲线运动 判断 亚硫酸氢氨和过氧化氢怎么反应 龟,鹤共有100只脚,35个头,龟鹤各有多少只?求方程 支持力是画在物体的重心上是吧 完全竞争厂商的要素使用原则是什么? 龟鹤同笼,共有51个头,172只脚,请问龟、鹤各有多少只?今晚就要用,鸡鸡鸡,请顺便把过程写下来, 平面上的一个物体,受到水平方向的一个力F而作匀速直线运动.如果根据牛顿第三定侓:(两个物体之间的作用力和反作用力,总是同时在同一条直线上,大小相等,方向相反.)压力和支持力相等 盐酸能与过氧化纳反应吗反应的化学方程式是什么? 相对论不是比牛顿力学更精确吗,后者是数学上的一种近似.场方程为何要用到牛顿的万有引力常数? 下列关于重心的说法中正确的是:A.物体所受重力的作用点叫做重心.B.物体的重心才受重力作用.C.质量分布均匀的圆柱体的重心在其轴线的中点.D..球体的重心总在球心. 过氧化纳和盐酸反应的化学方程式 怎样把word中的表格中的一条线加粗.最好有视频! 外星人有可能是未来人类穿越虫洞来到地球吗? 关于重心,下列说法正确的是A.重心就是物体的中心 B.重心就是重力在物体上的作用点 C.重心一定在物体上 D.重心一定不在物体上.急T^T 怎样做一个显微镜?我想用普通的透镜做一个高倍显微镜,可是不知道原理.原理很难说,不过要说清楚从物镜到目镜的每个镜片的焦距和它们的距离,最好还加上放大倍数. 我的世界pe 苏联核弹发射井(最大) 我是因为高中语文教师,我想去做个对外汉语教师,请问我该准备什么 填上恰当的词语:( )地模仿 外星人可能是从未来穿越虫洞来到地球的吗?如果理论成立,他们在美国的切割牛的事件会不会是未来的牛没了他们需要牛的基因来克隆牛?如果不是穿越虫洞也可能是超光速吗? 物体的重心并不一定在物体的几何中心上 ,为什么错 英语短文答案 帮助你们更快完成作业,更快玩电脑.阿门……The Spring Festival is the Chinese New Year's Day.It usually comes in February.Everyone in China like the Spring Festival .When the Spring Festival comes,Li Lei usually hel 中国有多少核弹发射井 成为高中语文教师需要的准备这些表面的证书不是问题, 龟和鹤有94脚,35个头,龟鹤各多少个 圆环与同心圆的区别请问,圆环的具体意义,到底是同心圆,还是不规则的环形?希望给予准确答案, 高中语文教师招聘面试我们该准备些什么? 动物园有龟鹤若干只已知鹤比龟多14只,鹤脚比龟脚多18只,问龟和鹤各多少只方程算数都可以 判断:组成圆环的两个圆一定是同心圆.() △ABC为O的内接等边三角形ABC,D为弧BC上任一点,AD与BC交于F,证明:(1)BD+DC=ADAB方=AB·BF+AF·DC 有关铁与硫酸盐酸反应的一类题.如果有相同质量的铁和相同浓度及体积的盐酸和硫酸反应,但是生成的氢气体积不同,那么如何判断究竟在两个反应中是哪一个过量?一遇到这样的题我就会想不 马航失事客机是否可能穿越了虫洞或被UFO劫持?似乎扑朔迷离 关于重力的大小和方向,下列说法正确的是 ( )A.在地球上方的物体都要受到重力作用,所受重力与他的运动状态无关,也不管是否存在其他力的作用.B.在地球各处的重力方向都是相同的C.向上 马里地雷爆炸造成4人死亡博尔特自爆在北京拒吃中餐 每日吃10奥运“五金王”邹凯与女友领证结婚【高监控丑闻让美政府“四面楚歌”西媒吐槽印度火星探测“比许多飞机便宜小泉之子等日高官“不动产和储蓄”为零中国户籍城镇化率仅27.6% 70%社会学家:27.6%户籍城镇化率证明大龄女网遇高富帅怀孕遭抛弃 拘禁对方六旬老头恋上32岁洗脚妹 背着老伴打杭州姑娘花500元工本费买一本巴基斯女子因出轨被丈夫痛打 其情人怒烧夫妻货运大伯看上女老板 对方老公出马救急朴槿惠:日本就历史问题道歉前不与安倍博尔特自爆在北京拒吃中餐 吃了100俄罗斯总统向大连外国语大学校长颁发普“世纪审判”遭闹场 穆尔西高喊“我是俄新反恐法:恐怖分子亲友将“连坐”杭州推广能随时调节亮度的路灯杭州凤起立交两边50个停车泊位取消(桐乡获批旅游综合改革试点 先行先试旅2龄童提前出院染上手足口病200名老人5天被骗6万余元中学是等式 大学是不等式美国首次发现本土“寨卡蚊”免费送鸡蛋引老人层层受骗25台轿车接连被“暗器”扎破胎首进美网32强 张帅“过意不去”大学新生行成人礼两大导师合力授课女子戴过期隐形眼镜险失明董超,亲人唤你回家处理家事为里约奥运会离家三年 冠军刘蕙瑕“回漫步在2049年的武汉江汉城管查处 校园周边黑气点美国12岁学霸 上康奈尔大学希拉里8月狂揽1.4亿美元捐款房龄12年的房子主梁现多条裂纹首进美网32强 张帅“过意不去”专家呼吁肛肠检查 列入全民体检项目快乐又痛苦着新生儿“退黄神药”针药遭禁用
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘