说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

比Hive高效7倍 Facebook推新一代查询引擎Presto

HTML文档下载 WORD文档下载 PDF文档下载
Presto是Facebook最新研发的数据查询引擎,可对250PB以上的数据进行快速地交互式分析。Facebook表示,该工具将于今年秋天以开源的形式与大家见面。

在Facebook总部的一次开发者会议上,这个社交网络巨头的工程师透露,他们正在使用新的自主研发的查询引擎Presto,在已有的250PB的庞大数据仓库上进行交互式分析。

据Martin Traverso工程师透露,有超过850名Facebook工程师每天用它来扫描超过320TB的数据。在以前,我们的科学家和分析师一直依靠Hive来做数据分析。但Hive是专为批处理设计的。但随着数据越来越多,Hive已不能满足我们的需求。虽然我们还有其他比Hive更快的工具,但它们要么在功能有所限制要么就太简单,以至于无法操作我们庞大的数据仓库。而在过去的几个月中,我们一直使用Presto来填补这方面的空白。

Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。因为它主要依赖MapReduce进行运行,所以随着年龄的上升,其在速度上已不能满足日益增长的数据要求。浏览一个完整的数据集可能要花费几分到几小时,这完全是不切实际的。

Traverso还表示,使用Presto进行简单的查询只需要几百毫秒,即使是非常复杂的查询,也只需数分钟即可完成,它在内存中运行,并且不会向磁盘写入。


虽然看起来Presto如同Facebook版的Cloudera Impala SQL查询引擎,或与Hortonworks在Stinger项目中所做的事情相似,但这是按照Facebook规模为实现更快操作而定制的版本。Presto并不会与其他商业产品进行竞争,但它会很快让大数据行业产生不小的震动。并且Facebook打算在今年秋天以开源的形式发布Presto。

Facebook的工程经理Ravi Murthy表示,随着用户量地不断增长,数据仓库也在快速增长,它比四年前要大4000倍。Murthy 也表示,在接下来几年,数据将会达到艾字节。因此,为了适应这种数据规模,我们不得不重新考虑许多东西。

Presto则是其中之一,除了提高查询速度,在CPU使用效率上,这个引擎比Hive高效7倍。另外一个正在进行的项目是缩减Facebook数据中心的分析数据空间。

对于Facebook最新推出的查询引擎Presto,微博上的各位大神又有哪些看法呢?

原EMC中国研究院大数据实验室负责人大数据皮东:Facebook最新的交互式大数据查询系统Presto,类似于Cloudera的Impala和Hortonworks的Stinger,解决Facebook迅速膨胀的海量数据仓库快速查询需求。Facebook针对Exabyte规模数据正在开发新一代大数据系统,Presto是其中的数据仓库交互查询系统,应该还有海量存储系统。在这个级别,很多设计需要考虑!

新浪CTO兼联席总裁许良杰Jack:社交网络和社会化媒体催生了真正的大数据(Big Data)平台。新浪微博也不例外……

英国利兹大学计算机及语言学研究员,搜索项目博士后研究员vinW:1. presto秋季会开源;2.比hive快七倍;3.基于内存

Launch_Bruce:FaceBook不是搜索引擎,对实时性的要求更高,即使当初推出Hive,也只能是权宜之计。这属于Hadoop的基因,Hadoop必将会让很多没有深度思索盲目上马的项目最后举步维艰。但是显然Hadoop成功的生态系统也会害了不少人。

TeslaElon:加油!Big Data会衍生出很多商业机会。尤其是与最大的电商平台阿里巴巴以及最大的视频平台YOKU潜在的合作值得期待。另外Sina投资了不少微博上的火爆应用,很多机会,后面看Sina研发和管理以及销售如何做好。

搬运大数据的亨利:大约五年以前做大数据分析,我们的MPP产品就已经有这些策略了。当时,最大的问题是大数据在互联网,但这些明星企业不爱花钱购买只爱造轮子。还是电信客户好,他们愿意花钱采购而不是造轮子。

英文来自:gigaom.com

VB 调用 IMAGE 控件实现图像缩放的一种方法 VB5 实 现 窗 口 图 像 缩 放、 滚 动 技 巧 VB编程之提速攻略(一) VB开发通讯软件 VB实现图形动画的三种方法 VB随机图像的魅力 VB中不规则图形热点的实现 VB中任意旋转位图的实现 VB中实现图像特技 VB中随机图像的魅力 VB中位图旋转的实现 Visual Basic设计图形浏览器示例 捕捉屏幕图象 -VB资料 放置“透明”的图片-VB资料 分割图像的方法-VB资料 如何将整个画面暗下来,如同关机前一般-VB资料 VB获取桌面图象 简单介绍透明位图的实现方法 -VB资料 将图片「非重叠显示」填满整个表格视窗 -VB资料 将英文字母及阿拉伯数字旋转任意角度 -VB资料 将真彩色图像变为256色灰度(BIG5码):-VB资料 VB利用Image控件实现图形浏览程序 利用VB捕捉并保存屏幕图象 切割一个Container中的图片 -VB资料 VB如何改变桌面的图片? VB如何实现“百叶窗”的图形特效? VB如何实现霓虹灯效果 VB如何在VB中用API获得EXE文件图标并显示在Picture控件里 VB如何在VB中直接显示无格式256灰度级图像 VB如何在窗体中平铺图片? 三维字的实现 -VB资料 关于网络代理软件WINPROXY Server 2.0的设置的问题。 页面丢失 如何把TListView控键里面的内容输出到打印机! 请问:*.gsp格式文件,用什么打开? *** 高分,请问一个比较难的问题。哪位高手可以解决? *** 如何实现两台上INTERNET计算机之间文件传送? 关于网络代理软件WINPROXY Server 2.0的设置的问题。 关于加入到工程中的bmp文件 请问如何用PB实现个人相册中相片的增加,保存,浏览 [广告] 请帮忙测试一个MySQL的管理程序 我受不了拉。关于dll中的menu 关于网络代理软件WINPROXY Server 2.0的设置的问题。 发布站点的问题 winsock2 故障 如何实现两台上INTERNET计算机之间文件传送?有哪些方案可选? 关于linux下光驱的问题 如何提取Win2K/XP安装光盘的引导信息? 单元格日期格式从单元格中读出来时成了数字,如何另外的用代码还原成日期? 到底是怎么回事,北京拨号163有调整了吗? 在线的进来问点问题(jsp/javabean), 分不多其它帖子中送出 关于linux下光驱的问题 DELPHI怎样调用IE内核? 用PB7。0做的程序怎么用PB8。0打开呀 variant和array的转换问题 紧急:请给一个JRun Studio的最新正式版下载地址! 我的信誉分又被扣了,给个理由先!!!!!!!!!!!!!!!!! 问一个初级的问题? 新手问路:linux支持哪些语言? 怎么样在: sql server enterprise manager 中插入一条记录?? 如何动态向picture控件中加载图片 Bean的java里的class有什么区别? 为什么每退出一个程序或一个命令都会有一封信发给root!! 为什么每退出一个程序或一个命令都会有一封信发给root!! 菜鸟问题! 怎样在Window 98中设置环境变量,如Classpath=.....,path=....之类的. VB中常量字符串里要包含双引号怎么写? 我现在想装installshield,可是我找不到,不知道哪儿能单独下载!!!我的VC++ 6.0里没有奇怪了! 为什么关于adoquery等等生成xml数据文件以及如何从这些xml文件取数据的资料这么少啊??? 怎样在控件上画线,或者说怎样获取控件的Graphics对象. 大家快帮我回答这个问题吧,我会加分的:http://www.csdn.net/expert/topic/599/599906.xml?temp=.2423517 关于corba在delphi中的实现 比较难的一个问题: 用什么方法得到一个多播组的成员数量? 请问怎么解除两个互为复本的数据库之间的复本关系? 急,求一个API函数 用ATL开发组件来封装asp网页中遇到的问题:IRequest::get_Form(IRequestDictionary **ppDictReturn)应该怎么用?谢谢! 怎样用VB代码实现两个SQL SERVER数据库之间数据的复制。 请问为什么在网络编程中Send("this is a test",16);结果正常,而CString msg = "this is a test";Send(msg,16);却只能读到第一个字母 t ? 请问如何在c++builder5.5中安装c++builder API reference, netscape6.x上如何禁止显示select框右端的滚动条。 我的IE怎么提示: IE on windows2000 doesn't support ActiveX auto-downloading???
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘