说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

比Hive高效7倍 Facebook推新一代查询引擎Presto

HTML文档下载 WORD文档下载 PDF文档下载
Presto是Facebook最新研发的数据查询引擎,可对250PB以上的数据进行快速地交互式分析。Facebook表示,该工具将于今年秋天以开源的形式与大家见面。

在Facebook总部的一次开发者会议上,这个社交网络巨头的工程师透露,他们正在使用新的自主研发的查询引擎Presto,在已有的250PB的庞大数据仓库上进行交互式分析。

据Martin Traverso工程师透露,有超过850名Facebook工程师每天用它来扫描超过320TB的数据。在以前,我们的科学家和分析师一直依靠Hive来做数据分析。但Hive是专为批处理设计的。但随着数据越来越多,Hive已不能满足我们的需求。虽然我们还有其他比Hive更快的工具,但它们要么在功能有所限制要么就太简单,以至于无法操作我们庞大的数据仓库。而在过去的几个月中,我们一直使用Presto来填补这方面的空白。

Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。因为它主要依赖MapReduce进行运行,所以随着年龄的上升,其在速度上已不能满足日益增长的数据要求。浏览一个完整的数据集可能要花费几分到几小时,这完全是不切实际的。

Traverso还表示,使用Presto进行简单的查询只需要几百毫秒,即使是非常复杂的查询,也只需数分钟即可完成,它在内存中运行,并且不会向磁盘写入。


虽然看起来Presto如同Facebook版的Cloudera Impala SQL查询引擎,或与Hortonworks在Stinger项目中所做的事情相似,但这是按照Facebook规模为实现更快操作而定制的版本。Presto并不会与其他商业产品进行竞争,但它会很快让大数据行业产生不小的震动。并且Facebook打算在今年秋天以开源的形式发布Presto。

Facebook的工程经理Ravi Murthy表示,随着用户量地不断增长,数据仓库也在快速增长,它比四年前要大4000倍。Murthy 也表示,在接下来几年,数据将会达到艾字节。因此,为了适应这种数据规模,我们不得不重新考虑许多东西。

Presto则是其中之一,除了提高查询速度,在CPU使用效率上,这个引擎比Hive高效7倍。另外一个正在进行的项目是缩减Facebook数据中心的分析数据空间。

对于Facebook最新推出的查询引擎Presto,微博上的各位大神又有哪些看法呢?

原EMC中国研究院大数据实验室负责人大数据皮东:Facebook最新的交互式大数据查询系统Presto,类似于Cloudera的Impala和Hortonworks的Stinger,解决Facebook迅速膨胀的海量数据仓库快速查询需求。Facebook针对Exabyte规模数据正在开发新一代大数据系统,Presto是其中的数据仓库交互查询系统,应该还有海量存储系统。在这个级别,很多设计需要考虑!

新浪CTO兼联席总裁许良杰Jack:社交网络和社会化媒体催生了真正的大数据(Big Data)平台。新浪微博也不例外……

英国利兹大学计算机及语言学研究员,搜索项目博士后研究员vinW:1. presto秋季会开源;2.比hive快七倍;3.基于内存

Launch_Bruce:FaceBook不是搜索引擎,对实时性的要求更高,即使当初推出Hive,也只能是权宜之计。这属于Hadoop的基因,Hadoop必将会让很多没有深度思索盲目上马的项目最后举步维艰。但是显然Hadoop成功的生态系统也会害了不少人。

TeslaElon:加油!Big Data会衍生出很多商业机会。尤其是与最大的电商平台阿里巴巴以及最大的视频平台YOKU潜在的合作值得期待。另外Sina投资了不少微博上的火爆应用,很多机会,后面看Sina研发和管理以及销售如何做好。

搬运大数据的亨利:大约五年以前做大数据分析,我们的MPP产品就已经有这些策略了。当时,最大的问题是大数据在互联网,但这些明星企业不爱花钱购买只爱造轮子。还是电信客户好,他们愿意花钱采购而不是造轮子。

英文来自:gigaom.com

安徽农信:30人,13轮测试,完成日均270万笔交易的综合业务系统架构调整 研究员带来5D光存储技术:容量达360TB,寿命高于百万年 LSI闪存加速或助力互联网IDC自我设计与建设 怎样让用户从100涨到200万?硅谷创业教父如是说 大作修炼之道:就算是手游,也要搞点剧情吧! Java EE 8愿望清单:缺少这些,Java EE将不会完美 Surface Watch?传微软正测试搭载Win 8的智能手表 又一美国造?联想在美设厂制造产品 软件定义未来 2013 SDCC中国软件开发者大会全面开启 可以直接拿来用的15个jQuery代码片段 程序员最害怕的5件事 你中招了吗? 机器智商已达四岁:亲,是时候考虑你的饭碗了 读60行代码完成的NoSQL数据库,看数据库打造面临的挑战 聚焦全球移动市场:韩国,开放之后是春天? Github 终于开始认真考虑开源项目许可证了 雅虎发布今年第二季度财报 总营收为11.35亿美元 既然无法避免被GAE锁定,何不考虑其中的机遇并自力更生 19亿美金背后的分析:91为什么要卖?百度为什么要买? 直接拿来用!最火的iOS开源项目(三) 让代码飞一会儿,超级有用的CSS编码工具集 创业者如何在Demo演讲上打动投资人? 微软小打小闹的移动版Outlook Web App,会不会被用户抛弃? 哪门编程语言影响力最大? 微软启动“Companion Web”计划 可互连多屏幕设备 让你望而却步的密码管理服务已获得100万美元的种子基金 SDCC 2013开始公开征集讲师和演讲主题 不用图片和JS,照样创建绚丽的动态CSS3菜单 是福还是祸?开发者饱经风雨的内心独白 设计师/开发者看过来,七月35款新工具速递! Hadoop进军机器学习:Cloudera收购Myrrix共创“Big Learning” 张民杰:三人团队的OpenStack机会 版主为什么删除我的帖子? 浏览器对象模型与文档模板(DOM)有什么不同和联系? 在datalist或datagrid中绑定的checkbox如何控制呢? 我的xp系统中ABC输入法,词组记忆功能始终不能用,请问怎么解决。 如何编程打开一些特殊窗口?如网上邻居,我的电脑属性,设备管理器 请教又一ShellListView和ShellTreeView中的问题?还望大家多多指教! 不懂!不懂!不懂!关于文档和视图。 将照片从数据库中取出,并显示到Image控件中,若当中不用文件作为临时存储行不行?? 弹出菜单怎么做 关于存储过程执行的正误判断及数据回滚问题。 关于LPCWSTR的问题? TChart的Canvas写上字后,最小化再最大化后字就没了, [2]请大家无论如何都要帮个忙,oralce存储过程性能问题,高手请进!!! 请问如何直接取得其它计算机的系统时间 如何使的 Form2 在 Form1 的 Top ? 怎样在pagecontrol的一个tabsheet中的页面加一个上下的滚动条 急!将textbox控件放入table中后无法通过controls获得textbox的id? 大家说说看!! 初来乍到,向各位学习,请大家指点一下,介绍些好的C#的WEB源码示例。 请大家帮我看看! weblogic发布servlet的问题 Fatal Error 的问题 哪里有和手机一样的笔划输入法下载. 哥哥们,问题还没有搞定,帮帮忙吧,很急呀,分不够可以加分 XDevClub.Com[X时代开发俱乐部]欢迎大家一起来讨论,来者有分 求救!!我的vc缺少一个 psapi.h 头文件!!!急用,帮忙粘贴一下,当场给分!!! 怎样更改CListCtrl中内嵌的CHeadCtrl控件的风格? 有关TChart的问题? 我怎样才能获得插入语句的ID值? 求帮助数组的问题 给分100 紧急求救 在DELPHI里执行ORACLE存储过程出错??? 当按照书名查询时,系统提示没有该索引:no index with 'bookname' field.何故 CorelDram教程碟不能播放怪的问题!! 如何在vb調用SQL存儲過程,并能得到返回的參數值. 哪位大侠帮帮忙呀!! 用CString的Find(LPCTSTR pstr,int nStart),pstr有没有通配符,急!!!!! 一个XP与2000的共享问题 打印问题,请各位提点建议。 DBA的缺省密码---【在线等】 错误:"参数类型不正确,或不在可以接受的范围之内,或与其他参数冲突。" 产生原因 免费100m asp 空间 求救,如何打开一个USB设备,CreateFile吗?请具体些 在线求救 谁是最可恨的人? 如何将本页设为只能是 target="_top" 谁有格斗游戏的源码,设计资料! 三人合作共同开发一网站,现需页面设计,有意者留下EMAIL 怎样用C#把窗口菜单和按钮做成象VS.NET中的平面菜单和工具栏上的平面按钮? 为什么在MMC中新建SQLSERVER注册总是出现超时已过期的错误? 這樣定義宏是什么意思:#define LIBCMD(givenfunction) \? 现在什么金属最值钱? 氧,氟两种元素形成的化合物与氢,氧,钠三种元素形成的化合物发生反应,写出该反应的离子方程式 表示女孩能做到的男孩也可以做到的名言? 金银制品中哪种金属最值钱? 不粘锅涂层内的金属暴露还能用吗?新买的不粘锅,但是锅底有一个地方被刮破了,如果把全部涂层刷掉还能用吗?怕是铝的 哪种陶瓷里能用到碳酸铯?碳酸铯在陶瓷里起什么作用,哪种陶瓷里能用得到碳酸铯,因为陶瓷种类太多,有便宜的,贵点的,很贵的!希望解答者能把范围缩小点!谢谢! 现在最值钱的货币是什么?记得前几年是科威特的第纳尔,现在不知道怎么样了,如果想回答英镑的,请绕道,不要在我这里丢人了. 写出40种茶的名称 碳酸铯的一些机关知识?碳酸铯的一些用途及用处! 什么最值钱 泡过烟头的水,沾到白色被子上怎么办? 碳酸铯为什么显碱性 在pH为3的无色水溶液中可能大量存在的离子组是A、高锰酸根离子,氯离子,钠离子,钾离子B、钾离子,硫酸根离子,钡离子,硝酸根离子C、氯离子,钾离子,硫酸根离子,钠离子D、钾离子,氯离子,碳酸 VmLAl2 (SO4 )3 溶液中含agSO4 2- 取一半把它加水稀释至2VmL,现在溶液中Al3+ 物质的量浓度为多少? 困惑想在上学时塞圆珠笔头,因为写字时晃荡,字写起来别扭.现在都不上学了我写字时还去塞圆珠笔头,我想问有写字去塞圆珠笔头的吗?是否我太认真了没必要,我写字时有一丝的活动就塞即使 PH等于2的水溶液中大量存在的是什么离子? VmLAL2(SO4)3 含有ag硫酸根离子,若把此溶液取一半加水稀释至2VmL,则稀释后溶液中的Al离子的物质的量的浓度是多少? 哪种材质的锅铲好 1摩尔气体分子溶于水,其体积多少? 找关于植物的书,我想找一本介绍各种植物,最好带图的书最好有更精准的书名,顺便把书的简要信息说一下 用圆珠笔向上写字为何不出水why? :混合密度 1.1m^3的水和2m^3的酒精混合后,体积为原来的0.9倍,求混合液的密度.水的质量为:m水=V水ρ水=1m^3*1.0*10^3kg/m^3=1.0*10^3kg酒精··········:···························· V1mlPH=1的盐酸与V2mlPH=13的氢氧化钠溶液混合,若混合溶液的PH=7,求V1:V2 V1mlPH=1的盐酸与V2mlPH=13的氢氧化钠溶液混合,若混合溶液的PH=2,求V1:V2V1mlPH=1的盐酸与V2mlPH=14的氢氧化钠溶液混合,若混合溶液 虾塘水ph值 也升不起来也肥不起来怎么办啊 急洒了石灰过 一两天就掉了 臭氧可以和金反应吗 双立人锅铲是18/10的不锈钢吗 电动车车电瓶漏电是什么原因 在下列仪器中的用处1.烧杯 2.滴管 3.玻璃棒 4.酒精灯 5.药匙 6.试管 7.电流表用来加热的是——————————( )用来取少量固体药品的是——————————( )用作少量试剂反应容 纳氏试剂比色法测定某水样中的氨氮水样时,取10.0ml水样于50.0ml比色管中,加水至标线,加1ml酒石酸钾纳溶液和1ml纳氏试剂,比色测定,从校准曲线上查的氨氮量0.0180mg.试求水样中氨氮的含量(mg/l 这是什么茶叶,叫什么名字 写出五种气体水合物勘探设备,并说明其用途 带有结晶水的镍盐,可以叫 镍盐水合物 VmLAL2(SO4)3溶液中含ag硫酸根离子 若把此溶液取一半加水稀释至2VmL则稀释后溶液中铝离子的物质的量浓度是: 为什么冰棍的白气是向下冒的, 常见镍盐有哪些 怎样提高自由基反应速率自由基加成反应 如何区分碳酸铵盐还是碳酸铵盐加入足量的BaCL2浓液,震荡,充分反应后,若不产生白色沉淀,说明该化肥是碳酸氢铵,产生白色沉淀,过滤,取滤液加入适量的氢氧化钡浓液,也产生白色沉淀,说明是 你认为符合什么条件的两个量才具有相反意义的量? 投影机投影在墙上和投影在投影布上有什么差别?颜色会不会有变化?画质会不会降低?那用投影机投到墙上和34寸液晶电视比,哪个画质更好,颜色更鲜艳. 打开冰箱会看到一层'白汽',请用物理知识解答. 锅铲用什么材料的好 投影幕布如何区分,比如白幕,玻纤幕,玻珠幕, .一只青蛙两只青蛙三只青蛙,猜一成语.你们知道吗?写出来. 一定质量氧化铜和一氧化碳发生反应一段时间后玻璃管中固体质量减少0.8克有多少克氧化铜被还原 为什么都说用圆珠笔写字的话,字越写越怪? 骑青蛙打仗猜一个成语 并且解释出含义 虾塘ph值太高怎么办 烫头发的药水伤到了皮肤怎么办啊?烫头发的时候,药水流到了皮肤上,然后流到的地方都变红红的,这该怎么办啊? 猜成语:围着一只青蛙快. 虾塘pH太高怎么处理?一40亩单养日本对虾套样梭子蟹的池塘,平均水深70cm,滩面50cm,环沟1.5cm.4天了一直换水,水的颜色依然是浓绿色,早上pH9.4左右,中午的pH超过9.5,读不出来.这样的水是什么原因 为测定粗产品中CoCl2•6H2O含量,称取一定质量的粗产品溶于水,加入足量AgNO3溶液,过滤、洗涤,将沉淀烘干后称其质量.通过计算发现粗产品中CoCl2•6H2O的质量分数大于100%,其原因可能是? 一摩尔氢原子有多重? 盐酸,硫酸,硝酸,氢溴酸,氢碘酸,次氯酸的酸式盐分别是? 什么样的男人才算好男人? 10ppm甲醛一个月后还能用么 做饮用水的甲醛 用乙酰丙酮分光光度安瓿瓶是100mg/L的甲醛标准液 稀释10倍 后 变成10ppm的使用液放置一个月左右 在冰箱里封口保存 这个月还能用么 浓度会不会变 醋酸钠与稀硝酸反应化学方程式 COCL2与H2O2反应吗 单晶和多晶怎么区别 乙酸钠和硝酸反应吗?RT 除锈药水的成分是什么? 国际晚班车:美国与沙特进入公开紧张状阿富汗士兵与北约部队26日发生武装冲英国公务员薪酬制度注重个人能力且具等中国首次成功研发H7N9禽流感病毒疫世界主要城市10月27日天气预报俄总理说中国是俄非常重要和可靠的战略美国与沙特进入公开紧张状态 多重分歧美国与沙特进入公开紧张状态 多重分歧伊朗处死16名反政府组织囚犯 回应边西班牙华商遭警察勒索殴打 寻求律师援奥巴马参观学校旁听课程 揶揄国会议员冯小刚:春晚我打算娱乐大众,每天想如冯小刚否认说过由着性子办春晚:我没傻央视马年春晚时长缩减至4小时 明星没安倍称担心中国加强军备 日本应领导亚安倍称担心中国加强军备 日本应领导亚伊朗处死16名反政府组织囚犯 回应边奥巴马参观学校旁听课程 揶揄国会议员义乌26日清晨发生爆炸凶杀案 已有一安倍称担心中国加强军备 日本应领导亚墨糖果厂爆炸现场搜救结束确认两人遇难以工艺演绎品质唯真南京:1根宽粉能拎起4斤可乐 原是铝社区主任爬阳台救人天越来越冷给流浪猫做个窝吧她的支付宝就被盗了张玉良当选2013经济年度人物经销商奖ATM机吐出2000元见证卡罗拉的“冠军品质”荆奇强胆推荐理财产品开启高收益模式拒绝车内PM2.5,留下“纯净呼吸”用专业保证价值巴拉为何成为通用女CEO?能不能做室友 先要做下性格测试全新君越打造别克新旗舰3年多化解600多起居民纠纷个性奖苏ADV850车主,邻居喊你把车拖走2013年终奖预期普遍缩水竟打110问路
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘