说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

比Hive高效7倍 Facebook推新一代查询引擎Presto

HTML文档下载 WORD文档下载 PDF文档下载
Presto是Facebook最新研发的数据查询引擎,可对250PB以上的数据进行快速地交互式分析。Facebook表示,该工具将于今年秋天以开源的形式与大家见面。

在Facebook总部的一次开发者会议上,这个社交网络巨头的工程师透露,他们正在使用新的自主研发的查询引擎Presto,在已有的250PB的庞大数据仓库上进行交互式分析。

据Martin Traverso工程师透露,有超过850名Facebook工程师每天用它来扫描超过320TB的数据。在以前,我们的科学家和分析师一直依靠Hive来做数据分析。但Hive是专为批处理设计的。但随着数据越来越多,Hive已不能满足我们的需求。虽然我们还有其他比Hive更快的工具,但它们要么在功能有所限制要么就太简单,以至于无法操作我们庞大的数据仓库。而在过去的几个月中,我们一直使用Presto来填补这方面的空白。

Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。因为它主要依赖MapReduce进行运行,所以随着年龄的上升,其在速度上已不能满足日益增长的数据要求。浏览一个完整的数据集可能要花费几分到几小时,这完全是不切实际的。

Traverso还表示,使用Presto进行简单的查询只需要几百毫秒,即使是非常复杂的查询,也只需数分钟即可完成,它在内存中运行,并且不会向磁盘写入。


虽然看起来Presto如同Facebook版的Cloudera Impala SQL查询引擎,或与Hortonworks在Stinger项目中所做的事情相似,但这是按照Facebook规模为实现更快操作而定制的版本。Presto并不会与其他商业产品进行竞争,但它会很快让大数据行业产生不小的震动。并且Facebook打算在今年秋天以开源的形式发布Presto。

Facebook的工程经理Ravi Murthy表示,随着用户量地不断增长,数据仓库也在快速增长,它比四年前要大4000倍。Murthy 也表示,在接下来几年,数据将会达到艾字节。因此,为了适应这种数据规模,我们不得不重新考虑许多东西。

Presto则是其中之一,除了提高查询速度,在CPU使用效率上,这个引擎比Hive高效7倍。另外一个正在进行的项目是缩减Facebook数据中心的分析数据空间。

对于Facebook最新推出的查询引擎Presto,微博上的各位大神又有哪些看法呢?

原EMC中国研究院大数据实验室负责人大数据皮东:Facebook最新的交互式大数据查询系统Presto,类似于Cloudera的Impala和Hortonworks的Stinger,解决Facebook迅速膨胀的海量数据仓库快速查询需求。Facebook针对Exabyte规模数据正在开发新一代大数据系统,Presto是其中的数据仓库交互查询系统,应该还有海量存储系统。在这个级别,很多设计需要考虑!

新浪CTO兼联席总裁许良杰Jack:社交网络和社会化媒体催生了真正的大数据(Big Data)平台。新浪微博也不例外……

英国利兹大学计算机及语言学研究员,搜索项目博士后研究员vinW:1. presto秋季会开源;2.比hive快七倍;3.基于内存

Launch_Bruce:FaceBook不是搜索引擎,对实时性的要求更高,即使当初推出Hive,也只能是权宜之计。这属于Hadoop的基因,Hadoop必将会让很多没有深度思索盲目上马的项目最后举步维艰。但是显然Hadoop成功的生态系统也会害了不少人。

TeslaElon:加油!Big Data会衍生出很多商业机会。尤其是与最大的电商平台阿里巴巴以及最大的视频平台YOKU潜在的合作值得期待。另外Sina投资了不少微博上的火爆应用,很多机会,后面看Sina研发和管理以及销售如何做好。

搬运大数据的亨利:大约五年以前做大数据分析,我们的MPP产品就已经有这些策略了。当时,最大的问题是大数据在互联网,但这些明星企业不爱花钱购买只爱造轮子。还是电信客户好,他们愿意花钱采购而不是造轮子。

英文来自:gigaom.com

Synaptics发布全新触控及生物识别方案,正式进军车联网 无人机、机器人,英特尔RealSense已扩展至新领域 SDCC 2015中国软件开发者大会盛大开幕 《近匠》逸创云客服创始人叶翔:做好客服产品静待SaaS大爆发时代的到来 【SDCC2015现场】数据库实战论坛:分布式数据库的实践与挑战 SDCC 2015 中国软件开发者大会亮点回顾 《近匠》扬智科技GoWarrior:软硬件全面开源的计算平台 【CTO讲堂】独家直播双十一全网动态?前黑客“劳改”带你玩转大数据 《近匠》好雨云刘凡:提供全方位支持的一站式开发服务云平台 体验过HTC Vive,才知道何谓沉浸感 BDTC 2015:大数据技术精英云集 初版日程公布(表) 深度剖析C++对象池自动回收技术实现 React Native与ExMobi技术路线探索 SDCC 2015前端专场札记:Facebook、百度、腾讯、美团、饿了么等互联网公司的前端实战 芯片巨头为何痴恋开源软件?英特尔Imad Sousou来解密 3D Touch:岂止于Multi-Touch Atlassian亚太区业务经理Paul Conroy:敏捷是开发者的痛点 基于DuiEngine的开源DirectUI图形界面库SOUI 【CTO讲堂】工具类、新闻类、视频类等不同类型App的积分体系该如何搭建? 浏览器的改进应来自用户诉求而非商业诉求 《近匠》Moxtra:可内嵌的一站式移动协同解决方案 互联网时代的无栈开发 SDCC 2015参会感——无法计算的价值 英特尔中国研究院开放日 多个研究项目齐亮相 阿里王晶昱谈淘宝双11分布式数据库实战 为什么移动化对企业级应用如此重要? 移动App图标设计的最佳实践 在Node应用中实施Web认证的四大方法 如何在Swift中使用LLVM API? 七麦科技王东:搜索优化与数据支撑打破App推广困局 Android国外学习资源汇总 我的鼠标提示刷新的速度不是很快,谁能给在下提供一些好的建议? 发短信的web service 请教一个服务端和客户端交互的问题? 高手帮忙 请问谁又对第三方控件imgscan.ocx操作的例子,发给我bit_hj@163.com。小弟不胜感激 肯请各位帮忙! 应该是简单问题,求高手帮忙,100分相送,绝不食言,一下午都没弄出来,太灰心了..... linux下,mysql数据库密码怎么找回?(在线等) 新手求救:关于8086和80386的中断类型号上的冲突? sleep函数 网络难题,跨网段传输 恢复数据库 有谁的信誉分比我低阿!!我送给他50分阿!! 谁能提供一个切实可用的“防止刷新页面重复提交表单”的方法 Web安装项目中的managed.msm和stdole.dll是何东东,何用?? java中字符串操作函数在哪?java中分解字串的函数(如asp中的:split)在哪个类中? 为何ACCESS出现“#已删除的”的记录? 欲交Java良师益友,愿伸援助之手请进。 关于复选框的初始问题(100份在线4:00-8:00 怎样在asp中把一个文件变成临时文件?? 求解奇怪问题,非常奇怪,分不够再加! 高分求IPMI开发资料 如何用Jtree将一个xml文件显示出来? 招聘系统分析员(北京) 深圳兼职电脑维护,哪个有兴趣? 求购 产品进销存源代码 VB or c# +SQL SERVER @@@@@@ 不送分而送现金!!!!! 谁能教我配置PHP服务器啊? 帮我看一下, 紧急求救!!!jsp的出错信息! 如何合并两个Image对象为一个Image对象 还有一个问题,帮帮我嘛! 高分请教高手!简单,看了你也是高手 代码编辑器的问题。 计论:大家都用什么工具进行数据库的比较? 我高中的班主任 请大家评评理,特别是JAVA版版主! 这样的SQL语句怎么写啊 form切换!VB.net里面如何在语句里调出别的FORM 如何用ADO连接EXCEL数据? 什么是上溯造型? 如何把console.write 输出很多内容保存到文件?thread.join()如何使用? 我想实现像网络蚂蚁那样在IE上点右键,把这个IE中的信息传送给我主程序,现在遇到两个问题! 控件的布局问题? 实例化算不算继承? 急!!!!关于SQL数据堵塞 请大家推荐一下哪个汇编集成环境比较好用?DOS下用什么?WIN下用什么? 向各位请教两个tomcat的问题:(谢谢) 高手请问 拉格朗日算法VB=>BCB 求ASP的字符串比较函数. 找C++BUILDER高手!! 我在做演示光盘,用camtasia录制的屏幕图象,可是在客户的机器上播放不出来,在线等待,解决问题马上揭贴! 六年级上册的积累运用读读背背全部的 几道不难的生物题,羊群中有没有最占优势者?它有哪些行为表现?最占优势者是公羊还是母羊?在平时和繁殖期的表现都有哪些特点? 一个周长为64厘米的长方形,是由3个完全一样的正方形平成的,求每个正方形的周长 ABB:直()() 紧()()求填写 合力与分力?有一个刚体两个互成角度的力作用在两个端点带动物体运动 可以用平行四边形则求到合力的大小与方向但是不知道合理的作用点呀 (虽然不存在合理 可是合力与分力作用效果要 用32个一平方厘米的正方形平成长方形,有几种不同的拼法?他们的周长各是多少?列一个表格. 要ABB式的 以"大漠孤烟直,长河落日圆"为题画一幅画要上颜色,可以的话直接画出来,也可以说出构思 伤仲永-受之天和受之人怎么理解 abb式词语 如气(呼呼) 紧(?) 设 cher a[20]={"switch"},*p=a;,则 printf(”%c\n“,*(p+2));的结果是 《伤仲永》中的“受于天”指什么?“受于人”又指什么,两者有何关系? 三位数中,恰好有两个数字相同的数一共有多少个? 分力与合力两个共点力F1F2的合力大小是100N已知F1F2的夹角是30°,则分力F2的最小值为 ,在这种情况下,分力F1的大小为 (伤仲永)受之天也的也是什么意思? 恰好有2位数字相同的三位数有多少……办法呢? 阿里巴巴和四十大盗中文+英文(简单一些) 到处为家的动物有什么 初三正方形几何题在正方形ABCD中,E,F分别是BC CD上的点,且EF=BE+DF,求证:∠EAF=45° 关于合力与分力合力可能小于它的任一分力合力大小可能等于某一分力的大小这两种说法对不哦? 麻烦看下高中数学小论文要从什么方面写哟? 会的人说下嘛,非常谢谢了耗7 正方形ABCD边长为8,点E F 分别在AB、BC上,AE=3,CF=1,P是对角线AC上在动点,求PE+PFD 的最小值 VB中Switch()和Choose()语句使用的多吗? 麻烦大家看下高中数学小论文要从什么方面写哟?会的人说下嘛, 已知二次函数y=ax2+bx+c的图象与x轴交于A(1,0),B(3,0)两点,与y轴交于点C(0,3)则二次函数的解析式是?请用十字相乘发解, 有谁提供一点阿里巴巴和四十大盗英文原文,几个片段也行 伤仲永里 受之天也 受的意思 请以“ABB”形式回答:蓝( )( )!快!回答啊! 关于合力与分力的假若质量为m的物体只受力F,F可分解为任意的F1、F2(1)则物体在F方向的加速度a=F/m(2)物体在F1方向的加速度a1=F1/m(3)物体在F2方向的加速度a2=F2/m以上说法正确吗 勤家有余指什么动物 天空蓝什么什么(ABB)?描写天空的 合力和分力1:合力既然能分解成两个力,分力又能合成合力,那还有什么意义叻?反正怎么分怎么合都是一样的?2:拱桥能把向下的力分解成两个斜向下的力,可是即使这样在结构上有什么好处呢 Can you finish your homework?No,I cna't.It's so d_____ .Can you help me?.填入d字開頭的單詞 好像是藏文谁知的什么意思 合力分力 同时存在合力分力是否能同时存在与物体上? 伤仲永中的受于天和受与人各指什么? 群蚁排衙的近义词是什么 这个是藏文吗?是啥意思?ཨོཾ་མ་ཎི་པདྨེ་ཧཱུཾ། 家中长辈刚出院 说什么问候的话比较好 本人不大善于表达所以请教一下 如果A:B=3:4,那么A=3,B=4是对的还是错的 初三的,几何问题,请说明过程 详细如图,正方形ABCD的边长是2,边BC在x轴上,边AB在y轴上,将一把三角尺如图放置,其中M为AD的中点,逆时针旋转三角尺.(1)当三角尺的一边经过C点时,此时三角尺的 伤仲永第三段受于天指什么 受于人又指什么 求对中文某词的中译英中文的意思类似于“时间爆破”“时间爆炸”之类,不知道booming time可不可以,或者可以给其他答案.只是为了作一小标题而已.是想在一篇中文的散文上附上小标题,有“ 自行车轮胎的详细尺寸解释,想配我27公路赛车轮胎, 伤仲永 怎样认识受之天与受之人的关系 咏物的元诗越多越好!元代的曲、词也可以.只要是元代的就可以! 请问一下ip2=ip2->next;fclose(fp1);intstatus;pData[i].x=pData[i].x PVx;person[N]="li",18," 四字词成语,第二同第四个字是一样的.例如:将心比心 求初一英语下册第一单元至第九单元的一片综合性作文 字数50-100 chartemp;ip1=ip1->next;fclose(fp1);printf("\npleaseinputanumber:\n");s.push(root->LeftChild);v 问字~一个王字旁,草字头下面一个宝盖在下班一个玉,读什么? 假日你是李林,你收到好友(Jack)从美国得来信.他在信中问到你在中国得日常生活.请你用约80个英文单词完成这封信,信得格式已给出.(80子左右)NO.1 Middle SchoolShenzhenOctober15,2007Dear Jack,Thanks fo 请问一下for(i=0;i 会的人说下嘛,非常感受大伙了 内容:你昨日因为骑自行车腿摔坏了,要待在家里一个星期,你又很想上课.你改怎么办?写一封信求助你的网友要回答 几道生物题(高手请进)1.心壁主要由____组成,心壁最厚的是______.2.血液流入小肠壁前与流出小肠壁后相比,氧____(增加,减少)了,养料_____(增加,减少)了.3.正常情况下,红细胞能主要运输下列物质中 会的人说下嘛,非常谢谢了8i 群蚁排衙是什么意思? 如何理解“大漠孤烟直,长河落日圆”一句中蕴含的图画美 麻烦大家看下高中数学小论文要从什么方面写哟?会的人说下嘛,非常谢谢了5i 中国好声音第二季八学员即将签约与名次中国好声音新剧三亚开拍 吴莫愁赞三亚澳大利亚两火车遭电线缠住 1200名酝酿八旬六连任 麦凯恩欲2016年竞俄普斯科夫军事训练场发生爆炸 致6死中联重科午后跌幅加深 H股股价跌超6多项民调显示美国人质疑政客能力 看淡澳大利亚两火车遭电线缠住 1200名多项民调显示美国人质疑政客能力 看淡酝酿八旬六连任 麦凯恩欲2016年竞田文林:沙特抵制安理会是“茶杯里的风好声音姚贝娜有望与导师那英同登春晚杭州十大赏秋处出榜 灵隐路杨公堤龙井《中国好声音》将唱响长沙 两季学员同CBA测折返跑孙悦轻松达标 马布里场中国铁建回应“天价招待费”今年招待费美白宫称政治僵局令就业人数少增加12女子遇劫匪镇定应对 谈人生谈理想要回统计局:经济稳中有升稳中向好 不确定法国媒体再曝美国监听法国驻美和联合国广州一镇计生办“视频脱衣”检查在外工战火中的奇迹此前街道工作人员敲门或涉前区长自杀案增认10个职业的海外资格OK镜怎样配戴才OK?今日推荐平足症要早发现早治疗一蒸二拖干净晒!王小帅自爆曾是秦海璐“备胎”俄需赔尤科斯股东500亿美元21支校际街舞队火辣比舞手抄报小选手绘出“延安与梦想”优先股3400亿电视如何控制我们的大脑换全部配件的钱够买3辆新车下一篇新兵连简单三招打造深邃东方脸个人最高罚1000元沙尘暴袭来有人推墙有人照相
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘