说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

比Hive高效7倍 Facebook推新一代查询引擎Presto

HTML文档下载 WORD文档下载 PDF文档下载
Presto是Facebook最新研发的数据查询引擎,可对250PB以上的数据进行快速地交互式分析。Facebook表示,该工具将于今年秋天以开源的形式与大家见面。

在Facebook总部的一次开发者会议上,这个社交网络巨头的工程师透露,他们正在使用新的自主研发的查询引擎Presto,在已有的250PB的庞大数据仓库上进行交互式分析。

据Martin Traverso工程师透露,有超过850名Facebook工程师每天用它来扫描超过320TB的数据。在以前,我们的科学家和分析师一直依靠Hive来做数据分析。但Hive是专为批处理设计的。但随着数据越来越多,Hive已不能满足我们的需求。虽然我们还有其他比Hive更快的工具,但它们要么在功能有所限制要么就太简单,以至于无法操作我们庞大的数据仓库。而在过去的几个月中,我们一直使用Presto来填补这方面的空白。

Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。因为它主要依赖MapReduce进行运行,所以随着年龄的上升,其在速度上已不能满足日益增长的数据要求。浏览一个完整的数据集可能要花费几分到几小时,这完全是不切实际的。

Traverso还表示,使用Presto进行简单的查询只需要几百毫秒,即使是非常复杂的查询,也只需数分钟即可完成,它在内存中运行,并且不会向磁盘写入。


虽然看起来Presto如同Facebook版的Cloudera Impala SQL查询引擎,或与Hortonworks在Stinger项目中所做的事情相似,但这是按照Facebook规模为实现更快操作而定制的版本。Presto并不会与其他商业产品进行竞争,但它会很快让大数据行业产生不小的震动。并且Facebook打算在今年秋天以开源的形式发布Presto。

Facebook的工程经理Ravi Murthy表示,随着用户量地不断增长,数据仓库也在快速增长,它比四年前要大4000倍。Murthy 也表示,在接下来几年,数据将会达到艾字节。因此,为了适应这种数据规模,我们不得不重新考虑许多东西。

Presto则是其中之一,除了提高查询速度,在CPU使用效率上,这个引擎比Hive高效7倍。另外一个正在进行的项目是缩减Facebook数据中心的分析数据空间。

对于Facebook最新推出的查询引擎Presto,微博上的各位大神又有哪些看法呢?

原EMC中国研究院大数据实验室负责人大数据皮东:Facebook最新的交互式大数据查询系统Presto,类似于Cloudera的Impala和Hortonworks的Stinger,解决Facebook迅速膨胀的海量数据仓库快速查询需求。Facebook针对Exabyte规模数据正在开发新一代大数据系统,Presto是其中的数据仓库交互查询系统,应该还有海量存储系统。在这个级别,很多设计需要考虑!

新浪CTO兼联席总裁许良杰Jack:社交网络和社会化媒体催生了真正的大数据(Big Data)平台。新浪微博也不例外……

英国利兹大学计算机及语言学研究员,搜索项目博士后研究员vinW:1. presto秋季会开源;2.比hive快七倍;3.基于内存

Launch_Bruce:FaceBook不是搜索引擎,对实时性的要求更高,即使当初推出Hive,也只能是权宜之计。这属于Hadoop的基因,Hadoop必将会让很多没有深度思索盲目上马的项目最后举步维艰。但是显然Hadoop成功的生态系统也会害了不少人。

TeslaElon:加油!Big Data会衍生出很多商业机会。尤其是与最大的电商平台阿里巴巴以及最大的视频平台YOKU潜在的合作值得期待。另外Sina投资了不少微博上的火爆应用,很多机会,后面看Sina研发和管理以及销售如何做好。

搬运大数据的亨利:大约五年以前做大数据分析,我们的MPP产品就已经有这些策略了。当时,最大的问题是大数据在互联网,但这些明星企业不爱花钱购买只爱造轮子。还是电信客户好,他们愿意花钱采购而不是造轮子。

英文来自:gigaom.com

一切为了用户体验:揭秘京东首页改版背后的故事 TIOBE 2015年4月编程语言排行榜:Java王者归来 三大主题技术峰会开幕在即 OpenCloud 2015参会者提醒 《近匠》快码,唯快不破的代码众包平台 打破边界 生态化反!乐视发布三款超级手机 苹果收购LinX:iPhone或将采用双摄像头技术 Google《Android性能优化》学习笔记 Amaze UI 2.3.0版本发布 整合多个第三方插件 专访Layabox创始人谢成鸿:Flash与HTML5结合的背后 高德推“LBS+”开放平台战略 整合位置大数据和云计算 CLion 1.0发布,C/C++跨平台集成开发环境 2015超实用的前端开发指南 期待吗?Linux 4.1将引入大量汇编代码变更! TSMC量产16FF+制程,Apple Watch或将采用Finfet技术 谷歌搜索引擎更新 移动端支持不好的网站排名将受影响 《近匠》格知GUECHI,设计师品牌让你离时尚更近 Apple Watch应用开发经验谈:我遇到的那些坑 约吗?UNITE 2015 BEIJING日程全揭晓! 谷歌扩擴增App搜索結果 已抓取300亿App页面 功耗、联网与交互:可穿戴设备操作系统问题解读 李大学离职京东后:转做投资人,助传统产业“互联网+”转型 Skype Translator实现中英实时语音对话 语音翻译领域又一新突破 如何判断自己是否适合自由职业? 创造·连接·成就:UNITE 2015 BEIJING圆满落幕 IT互联网人才招聘市场特点:人少钱多疯狂抢? React Native并非原生 Instagram Apple Watch应用设计师:对原有App全部重新思考 腾讯网移动端H5页面设计实战分享 Kendo UI和AngularJS常见问题解析 Elevator.js:模拟电梯运行的“返回顶部”JS插件 Java,传奇的一生! 这个问题怎么解决?100分寻求解决方案. 是不是声卡的问题? 如何在dos下申请到当前目录? 字符串转换的的问题. double类型的数组,最大是多大啊? 請問關於dbtree問題? 请教各位一个问题 关于jms的问题 关于VBX,OCX32,VISA的问题 向高手请教鼠标的问题 Linux下自动执行命令的问题,哪位Linux高手帮帮我. 如何在Delphi中调用带参数的存储过程(要返回查询结果的)? 请问:能具体解释什么是流吗? 牛人中的极品(Z) ado连接access2000的极简单问题 [100分]如何让一个帐户同时只允许一个人在线?[100分] SQL语言嵌入C++!!!!! 无法向会话状态服务器发出会话状态请求。请确保已启动 ASP.NET State service,并且客户端和服务器端口保持相同。 鼠标移动到其上,如何显示提示的文字?请各位仁兄指点! 不通过声卡这样发出“嘟...”的响声? VLAN 怎么发电子邮件?? 请问哪里有WideString的定义? 问个关于域名注册的问题 为什么便宜的耳机用一段时间以后,就只有一边发声了?是什么原因?我想自己修,因为手头一大堆这种半报废的耳机 关于属性页的问题,请进 南京上空发现奇异天体 三名飞行员先后紧急报告 我装的weblogic610_win为什么在win2000下运行后打不开http://127.0.0.1:7001/console 有关route add问题 我装的weblogic610_win为什么在win2000下运行后打不开http://127.0.0.1:7001/console VC.NET中是否有支持odbc的类似DBGrid的数据表格控件? 大家推荐一下学习C#的书! htc文件在WEBSPHERE不能正常运行??? 大家在用c编程时,是怎样运用位运算的?(我c学得不好,请大家指教一下) 怎样从一个vlan的客户机访问到另一个vlan上的客户机,急 一个简单问题?关于查询方面的!请指点! htc文件在WEBSPHERE不能正常运行??? 有了Swing,还有必要使用AWT吗? 怎样将richtextbox中的内容存入sql server数据库? 哪位用VC做过拨号程序阿 紧急求援!!!pqmagic在Windows 2000 professional下的安装问题! 如何在PB中通过脚本将文本文件导入数据库中? 一玩3D游戏就退出,一上网就死机,本人用的是小影霸速配3000,何故? 舌尖的热恋(淡月儿) cbuilder5的工程用cbc6打开,编译的时候,出错。为什么?紧急求救!!!!!!!!!! 关于session的问题 如何读取相对路径的文件 我的这点程序怎么运行有错?(内付原码) 编译器错误信息: CS1519: 类、结构或接口成员声明中的标记“(”无效 请教关于VXWORKS的SDK转到LINUX上的方法 有多少人用Struts做过项目啊? 1.我的英语书在哪里?翻译成复数 2.My aunts like tomatoes.改成单数句子.3.Those are book s 改为单数 1、They are() (watch)TV on their next day off .2、He doesn't want ()(go)for a drive3、She ()(sleep )late last day.4、I don't think it‘s ()(fun) 5、We had a lot ()(fun)playing on the beach.6、I’d like 请问有什么开关是用电控制的? 平时是关闭的 通电后开启 断电后开还是开启状态的 These books are mine and( )(these/those)bookThese books are mine and( )(these/those)books are Mary's. 1dont next to go a l drive on for day off want ma 2 in they yesterday camping rain went the3really was weather the terrible and it boring was .4students had school a the trip terrible.连词成句 急啊 断电延时继电器在它没有通电的时候,它控制的开关是开还是关闭的状态?还有,给它通电是要达到它的跳转时间,还是通一下马上就关掉它也可以自己保持到跳转的时间? 高中与初中的区别 《紫藤萝瀑布》中“过了这么多年,藤萝又开花了,而且开得这样盛”怎样理解? There are many trees on ( ) side of the river.a.every B.either C.all D.both 求详解, 世界上哪国女人最美?不要说中国的,有人说是白俄罗斯的? 紫藤萝瀑布中“从未见过得这样盛的藤萝”中“从未”有何作用?突出紫藤萝的什么特征? tom is take some photos 哪里错了 正确的是什么 世界上哪个国家美女最美,除了中国 紫藤萝瀑布:觉得这一条紫藤萝瀑布不只在我的眼前,也在我心上缓缓留过,表现了作者什么样的心情? ___I take some photos in the hall?no,you____A can;needn'tB Must;mustn'tC Could;won'tD May;mustn't选哪个?mustn't是禁止的意思吗? 形容长相神态的词语例如:恬静 英语翻译如题.1.She________his jacket and at last found the keys.A.went through B.went over C.went away D.went down 2.Maybe there are some things among the girl's papers,like her school reports,old photos and so on.Can you ___them and Miss lin willtake some photos inthe park 对划线部分提问 提问take some photos 形容外貌神态的词语 May I take some photos?用some 还是 any 为什么 How about _______(take)some photos? 第2个路口右转的英文第2个路口右转 颌 读音是 具体是指的哪个部位? They are English books.变一般疑问句 “在第二个交通路口右转” 用英语怎么说 He usually prefers ____ (stay) at home on Friday night.答案给的是staying为什么不是prefer to do They are books 英语疑问句 直走,在第3个路口右转 英文 颌首的颌读音是gé还是hé? many trees are on __sides of the river.A each B both C all D every 初中课本的内容与高中课本的内容有什么区别或关系? 英语:今天晚上我们将待在家里而不去看电影 We will stay at home ___ ___ ___ to a movie this night. these are books.改为特殊疑问句怎么改啊!是用these还是用they替换 为什么初中课本上的牛顿第一定律的内容和高中课本上的不同? 紫罗兰粉有什么作用? 只年级和中国说法不同吧,如中国初一、二、三, go through 和look through 在表从头到尾看一遍时有什么区别. 7月鸢尾花的意义有关花语,鸢尾花开于5月,那么7月鸢尾花的意思? 美国的年级顺序,然后呢?接下来是什么? 描写父亲或母亲的外貌.动作.神态.心里,4要有,最好是干家务活时的.150字 :欧盟国家的英语名称, There are many trees on either side of the street.(同义句转换)There are many tress on ____ ____of the street. I have reached a point in my life where i am supposed to make decisions of my own.为什么要选填where?请详解、 May I borrow your c__?I want to take photos. These are photo(改为一般疑问句)连词成句:1.gives Jack gold to the mother his2.monster see doesn't the him3.smell I boy little a4.have magic five I beans day off,he,dosen’t,his,want,to,next,go,drive,a,for,on连词成句think,I,like,day,busy,off,a,sounds,it连词成句 欧盟国家中有讲英语的国家吗? ( )提问 No,I usually go there with my friend,Mary. 新叶 哪两个自然段是总述 May i borrow your ( ) i want to take photos .括号里是 c开头的单词 .、 求“元”开头 成语 新叶阅读答案.问题1用一句话概括2段的内容.2第3段4个比喻句.3第5段围绕哪几句面赞颂了新叶 i want to take photos as many as possible同义句 There are some banana trees ---------the other side of the river.A.in B.at C.on D.of 读音为he的汉字有哪些? Teenagers have reached a point in their life _______ they are supposed to make decisions of their own for the first time.A.which\x05\x05B.where\x05\x05C.how\x05\x05D.why怎么翻译? Near the river there are not(some fiower,any flowers,flower,some flowers)什么意思以及答案 those book are about english这句话的主谓宾是什么啊 he is just kidding用汉字写出来发音、 These are my books .my books 提问 I’m OK一般疑问句
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘