说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

比Hive高效7倍 Facebook推新一代查询引擎Presto

HTML文档下载 WORD文档下载 PDF文档下载
Presto是Facebook最新研发的数据查询引擎,可对250PB以上的数据进行快速地交互式分析。Facebook表示,该工具将于今年秋天以开源的形式与大家见面。

在Facebook总部的一次开发者会议上,这个社交网络巨头的工程师透露,他们正在使用新的自主研发的查询引擎Presto,在已有的250PB的庞大数据仓库上进行交互式分析。

据Martin Traverso工程师透露,有超过850名Facebook工程师每天用它来扫描超过320TB的数据。在以前,我们的科学家和分析师一直依靠Hive来做数据分析。但Hive是专为批处理设计的。但随着数据越来越多,Hive已不能满足我们的需求。虽然我们还有其他比Hive更快的工具,但它们要么在功能有所限制要么就太简单,以至于无法操作我们庞大的数据仓库。而在过去的几个月中,我们一直使用Presto来填补这方面的空白。

Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。因为它主要依赖MapReduce进行运行,所以随着年龄的上升,其在速度上已不能满足日益增长的数据要求。浏览一个完整的数据集可能要花费几分到几小时,这完全是不切实际的。

Traverso还表示,使用Presto进行简单的查询只需要几百毫秒,即使是非常复杂的查询,也只需数分钟即可完成,它在内存中运行,并且不会向磁盘写入。


虽然看起来Presto如同Facebook版的Cloudera Impala SQL查询引擎,或与Hortonworks在Stinger项目中所做的事情相似,但这是按照Facebook规模为实现更快操作而定制的版本。Presto并不会与其他商业产品进行竞争,但它会很快让大数据行业产生不小的震动。并且Facebook打算在今年秋天以开源的形式发布Presto。

Facebook的工程经理Ravi Murthy表示,随着用户量地不断增长,数据仓库也在快速增长,它比四年前要大4000倍。Murthy 也表示,在接下来几年,数据将会达到艾字节。因此,为了适应这种数据规模,我们不得不重新考虑许多东西。

Presto则是其中之一,除了提高查询速度,在CPU使用效率上,这个引擎比Hive高效7倍。另外一个正在进行的项目是缩减Facebook数据中心的分析数据空间。

对于Facebook最新推出的查询引擎Presto,微博上的各位大神又有哪些看法呢?

原EMC中国研究院大数据实验室负责人大数据皮东:Facebook最新的交互式大数据查询系统Presto,类似于Cloudera的Impala和Hortonworks的Stinger,解决Facebook迅速膨胀的海量数据仓库快速查询需求。Facebook针对Exabyte规模数据正在开发新一代大数据系统,Presto是其中的数据仓库交互查询系统,应该还有海量存储系统。在这个级别,很多设计需要考虑!

新浪CTO兼联席总裁许良杰Jack:社交网络和社会化媒体催生了真正的大数据(Big Data)平台。新浪微博也不例外……

英国利兹大学计算机及语言学研究员,搜索项目博士后研究员vinW:1. presto秋季会开源;2.比hive快七倍;3.基于内存

Launch_Bruce:FaceBook不是搜索引擎,对实时性的要求更高,即使当初推出Hive,也只能是权宜之计。这属于Hadoop的基因,Hadoop必将会让很多没有深度思索盲目上马的项目最后举步维艰。但是显然Hadoop成功的生态系统也会害了不少人。

TeslaElon:加油!Big Data会衍生出很多商业机会。尤其是与最大的电商平台阿里巴巴以及最大的视频平台YOKU潜在的合作值得期待。另外Sina投资了不少微博上的火爆应用,很多机会,后面看Sina研发和管理以及销售如何做好。

搬运大数据的亨利:大约五年以前做大数据分析,我们的MPP产品就已经有这些策略了。当时,最大的问题是大数据在互联网,但这些明星企业不爱花钱购买只爱造轮子。还是电信客户好,他们愿意花钱采购而不是造轮子。

英文来自:gigaom.com

用Visual Basic6.0编写客户服务器程序 用Visual Basic创建FTP组件 用Visual Basic开发数据库浏览器 用Visual Basic轻松地设计Browser及Ftp程序 VB用Winsock控件发信Email VB用Winsock实现点对点通信 邮件检查程序(二) -VB资料 邮件检查程序(一) -VB资料 在VB程序中怎样挂断拨号网络 在VB中利用UDP协议编写聊天程序 在VB中模拟实现邮件传输 在VB中实现文件上传 在VB中使用UDP协议 在VB中用Outlook发电子邮件 在程序中打开 Internet 拨号连接窗口 -VB资料 在一个单位内部或通过广域协议(如X.25)互联的行业内部都有几十或上万台计算机互联,用Intrane 在应用中集成浏览器-VB资料 在桌面上建立一个 Internet 快捷键 -VB资料 VB怎样接收电子邮件(POP3协议简介) VB怎样用VB得知系统当前是否处于internet链结状态 VB制作自己的网络搜索软件 自动更新工作站的应用程序-VB资料 自己的IE——用VB制作浏览器 VB6制作Win98风格的工具栏 VB实现窗口的弹出式菜单 用VB做个漂亮的进度条 Cool 3D 浮動按鈕的模擬作法-VB资料 VB 5.0中实现鼠标拖放 VB5.0下工具条的制作 VB5.0中基于桌面的屏幕技巧 VB5.0中实现字体闪烁效果 VFP函数转型VB 谁使用过windows media encoder sdk and meida format sdk 我高手在哪里?-------> 如何在第一时间里获得屏幕的变化呢?及获得屏幕变化的那部分?各位大师,帮帮我。谢了。 怎么在局域网中2000server下发布网站???? 有关CRecordset,ODBC,Sqlserver的数据库,为什么会变慢? 急!!!有谁知道XP的解密程序? 我用regeditset语句自动注册odbc数据源,注册完成之后程序可正常使用,但控制面版中的odbc数据源中却找不到该项,是不是还要修改某个文件?请告知为谢! !!!!请问这个怎么实现??(有图) 在多层系统中数据更新是如何实现的? Applet 里面怎么做菜单 串行口的简单问题,求救 如何在函数里面传字符串数组 请问哪里有《Delphi 4 编程技术内幕》随书附带的源码下载啊? 请教:将可执行程序安装到用户机上后,用什么办法控制其它用户非法复制使用? 我想隐藏MSFlexGrid2的的10到最后行,但不行!!急救!! 哪有STL 和BOOST库的SOURCE CODE 当 如何做安捷生产管理系统。如何下手!!! PB8在链接Access2000时,为何会发生问题.链接后在PB8中打开只能看库中数据,却不能修改! 我用OCX控件编程,插入OLE控件时,出现“需要协议文件”,我该怎么办呢? waveoutopen! 问个问题,我一直有疑惑 BDE中建立的Access库,怎么才能打开; Access的密码为空,用户名不知道; 第四次帖了,高手在哪儿? 为什么我装了一个元件后再安装一个另外的,会把第一个冲掉? 就要去实施了,不知道什么时候才能回来,散分 我是菜鸟,问一个很菜的问题,!!!!!!!!! ATL中创建的ActiveX控件,是怎么在程序中使用的???????????? 一个关于LotusScript的一个问题。调用公试。 **请教:怎么让MSFlexgrid的一行显示一种颜色. 一个小问题,希望有人能解答! DLL高手请入,关于在DLL中引出对象的问题?????? 求教!!有关DLL调用中返回字符串类型出错的问题。 Delphi怎么实现子类化? session 和 cookie 各有千秋,区别在那里啊?敬请赐教! fm1008leaf(小幻姬(玉笛书生的徒弟)):我考考你就知道你是真是假! jneu(沧海桑田)怎么不理我?有关宏拷贝问题 paradox中的NUM类型在sql语句中是什么类型?为什么asfloat会出错? 关于J2EE的就业前景,值不值的花二万元参加一个二十天的培训,欢迎大家热烈讨论 在listbox 中,如果知道了一个Item的内容,怎么知道它的indix 今有同仁问到,三十以后咋过。恰巧心情郁闷,发上几句牢骚。 少年暗恋对象,早已嫁作人妇。那天遇见街头,孩子叫我叔叔。 OICQ问题! 如何可获得Table 内字段的类型及长度? windows2000 server 的internet 共享怎样设置权限 软件开发的请进来讨论,关于报酬的问题。大家多提建议。 1.为什么有些地方可以用MessageBox函数,有些地方不可以2.mfc的CView::OnFilePrint提供了打印的方法,要是一个程序没有视图要打印一般用什么方法? 请问在DEVELOP2000里面可以使用进度条控件吗?怎么编程实现? ???oracle监听器问题? WebBrowser控件获得网页中文本框的名称该如何写? CFtpConnection 怎样在FastReport中控制或判断所连接的数据库表到了eof? CTypedPtrList模板对象中,如何删除指定位置的元素??十分着急! 请问用食醋可以做 醋酸白实验吗? 面粉怎么发酵 可乐和雪碧中都溶解了二氧化碳,当打开可乐或雪碧时,会看到有大量气泡产生,你认为气泡中的气体是? 1.图中大概是“神舟七号”发射3个月后的全球局部光照图,此时太阳直射点的坐标是______.2.属于新的一天的经度范围是______,新旧日期的面积之比为_______. 如何发酵面粉 二硫化亚铁和氧气反应配平的过程 双线桥法怎么表示 高一自然地理要点 如何配平化学方程式,举例说明一下...RT,例如:"向氢氧化铜中滴入稀盐酸."化学方程式如何得来的,又如何配平.最好是最小公倍数法的详细计算过程."向盛有澄清的石灰水的试管中吹气",这样又 硫化亚铁和氧气反应的化学方程式? 化学方程式配平最小公倍数法可以解决所有的化学方程式吗?为什么有的题目用不行呢? 化学方程式怎么配平?求回答,请举例. 二硫化亚铁与氧气反应的方程式 求初中化学方程式配平练习题我需要练习方程式配平 急需 基础习题.谢谢! 奇数配偶法配平化学方程式是不是不是所有这一类化学方程式都适用如 ( ) Fe3O4+( )CO===( )Fe+( )CO2 反应条件是高温 硫化亚铁与氧气反应,生成三氧化二铁和二氧化硫的反应,配平的具体过程是什么呀? 干燥的食盐是不是电解质? 尖锐湿疣的醋酸白实验用食醋可以吗? 化学方程式配平怎么配平,常用的配平方法偶那些,考得最多的 是那种方法,求举例分析? 食盐是不是强电解质?好像是混合物啊? 用食醋能做醋酸白实验自我诊断尖锐湿疣吗? 3个连续奇数的和是15,这3 个奇数的最小公倍数是多少? 所有的盐强电解质吗? 海带和大米哪个属于绿色食品?海带是不是蓝色食品?为什么? 高一生物必修一第二章知识点总结 求帮写 为什么从海带中提取碘要海带用酒精湿润? 白酒,加碘盐,食用醋,冰水哪个是纯净物 烹鱼时加入少量的料酒和食醋可减少腥味,化学原理是什么? 用最小公倍数,奇偶配平数,观察法,灵活应用. 蒸馏水含有二氧化碳,对食用醋总酸量的测定将有何影响 鱼虾会产生腥味烹调时可加入食醋和料酒吗 什么是奇偶数配平法? 甘油和醋及蒸馏水如何调配我的皮肤是混合性肤质,两颊干干的,T字区油油的,而且很容易长痘痘,也有很多黑头. 食醋中的乙酸和料酒中的乙醇在烹调中化合成什么 怎么配P2+O5--P2O5?最后反应物的P2前为什么有个4? 用醋泡的酸萝卜 吃了有什么好处 可以给我举几个初中的例子 还有化学中需要注意的问题 九年级化学配平练习题(要内附答案的)越快越好 牛奶-奶牛,蜜蜂-蜂蜜,油菜-菜油,更多?后者是前者的产品. 九年级上册化学里要注意一些什么?特别是化学式.如何正确给化学方程式配平,有哪些方法? 一道化学配平题FeSO4+HNO3=Fe2(SO4)3+Fe(NO3)3+NO+H2O 白色不透明的酱油瓶可以装菜油吗?对于拿勺舀菜油腻烦了.想拿酱油瓶装.但是这塑料会和菜油其反应吗?请指出材质和原理, 食醋是由微生物发酵而;来的吗?面粉呢? 谁有初中化学配平练习 水+油+酱油+蜂蜜=?为什么会出现这个现象?快 酿造食醋里为什么添加食盐,有什么作用?我在看一些醋的配料里好多有食盐,好奇 为啥要添加盐呢 没人知道么? 化学配平的题 怎样用最小公倍数法来配平化学方程式啊 为什么说食醋生产是多种微生物参与的结果?常用的菌种有哪些? 用高锰酸钾制氧气的化学方程式 要配平 最小公倍数法配平化学方程式最小公倍数法是不是就是把各个同种物质的化学式的角标数字相乘?用初三学生知道的化学式讲解下 高二思想政治(必修四)生活与哲学 知识点总结人教版 流水账形式 如何配平很复杂的化学方程式?例如高锰酸钾取氧 如何配平化学方程式以及最小公倍数的方法请说明方法.再举个简单不要太复杂的例子.比较易懂.跪求了... 高一思想政治2政治生活(必修)的知识点问题2高一思想政治2政治生活(必修)第2008学年坚持人民民主专政的意义?我国公民享有的政治权利?最好标有页码 求高一必修一生物知识点 可用食醋来做醋白实验吗请问医生可以用我们平时吃的食醋(陈醋,米醋,白醋)来做判定尖锐湿疣的醋白实验吗? 配平的奇数配偶法 谁可以讲一下我不太懂 高一生物必修一知识点
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn