说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

比Hive高效7倍 Facebook推新一代查询引擎Presto

HTML文档下载 WORD文档下载 PDF文档下载
Presto是Facebook最新研发的数据查询引擎,可对250PB以上的数据进行快速地交互式分析。Facebook表示,该工具将于今年秋天以开源的形式与大家见面。

在Facebook总部的一次开发者会议上,这个社交网络巨头的工程师透露,他们正在使用新的自主研发的查询引擎Presto,在已有的250PB的庞大数据仓库上进行交互式分析。

据Martin Traverso工程师透露,有超过850名Facebook工程师每天用它来扫描超过320TB的数据。在以前,我们的科学家和分析师一直依靠Hive来做数据分析。但Hive是专为批处理设计的。但随着数据越来越多,Hive已不能满足我们的需求。虽然我们还有其他比Hive更快的工具,但它们要么在功能有所限制要么就太简单,以至于无法操作我们庞大的数据仓库。而在过去的几个月中,我们一直使用Presto来填补这方面的空白。

Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。因为它主要依赖MapReduce进行运行,所以随着年龄的上升,其在速度上已不能满足日益增长的数据要求。浏览一个完整的数据集可能要花费几分到几小时,这完全是不切实际的。

Traverso还表示,使用Presto进行简单的查询只需要几百毫秒,即使是非常复杂的查询,也只需数分钟即可完成,它在内存中运行,并且不会向磁盘写入。


虽然看起来Presto如同Facebook版的Cloudera Impala SQL查询引擎,或与Hortonworks在Stinger项目中所做的事情相似,但这是按照Facebook规模为实现更快操作而定制的版本。Presto并不会与其他商业产品进行竞争,但它会很快让大数据行业产生不小的震动。并且Facebook打算在今年秋天以开源的形式发布Presto。

Facebook的工程经理Ravi Murthy表示,随着用户量地不断增长,数据仓库也在快速增长,它比四年前要大4000倍。Murthy 也表示,在接下来几年,数据将会达到艾字节。因此,为了适应这种数据规模,我们不得不重新考虑许多东西。

Presto则是其中之一,除了提高查询速度,在CPU使用效率上,这个引擎比Hive高效7倍。另外一个正在进行的项目是缩减Facebook数据中心的分析数据空间。

对于Facebook最新推出的查询引擎Presto,微博上的各位大神又有哪些看法呢?

原EMC中国研究院大数据实验室负责人大数据皮东:Facebook最新的交互式大数据查询系统Presto,类似于Cloudera的Impala和Hortonworks的Stinger,解决Facebook迅速膨胀的海量数据仓库快速查询需求。Facebook针对Exabyte规模数据正在开发新一代大数据系统,Presto是其中的数据仓库交互查询系统,应该还有海量存储系统。在这个级别,很多设计需要考虑!

新浪CTO兼联席总裁许良杰Jack:社交网络和社会化媒体催生了真正的大数据(Big Data)平台。新浪微博也不例外……

英国利兹大学计算机及语言学研究员,搜索项目博士后研究员vinW:1. presto秋季会开源;2.比hive快七倍;3.基于内存

Launch_Bruce:FaceBook不是搜索引擎,对实时性的要求更高,即使当初推出Hive,也只能是权宜之计。这属于Hadoop的基因,Hadoop必将会让很多没有深度思索盲目上马的项目最后举步维艰。但是显然Hadoop成功的生态系统也会害了不少人。

TeslaElon:加油!Big Data会衍生出很多商业机会。尤其是与最大的电商平台阿里巴巴以及最大的视频平台YOKU潜在的合作值得期待。另外Sina投资了不少微博上的火爆应用,很多机会,后面看Sina研发和管理以及销售如何做好。

搬运大数据的亨利:大约五年以前做大数据分析,我们的MPP产品就已经有这些策略了。当时,最大的问题是大数据在互联网,但这些明星企业不爱花钱购买只爱造轮子。还是电信客户好,他们愿意花钱采购而不是造轮子。

英文来自:gigaom.com

不差钱:30+收购案,170亿美元投资,IBM再度出手收购Cloudant 微软反击谷歌:Windows授权费降七成+硬件要求减少一半 [测试] 你的HTML5知识够金质吗? 基于OpenStack的虚拟机在线迁移 当64bit遇上8核心:高通发布Snapdragon 615 深圳Maker Faire创客市集:国内外创客组团来参展 腾讯正式发布QQ浏览器微信版 摩托罗拉今年推智能手表,有望提高续航能力 众筹未来必拥抱众智 果合报告:iOS趋势及手游开发六大核心策略 无视OpenStack的前车之鉴,SAP等毅然支持Cloud Foundry 轻松搞定TB级数据,开源GraphLab突破人类图计算“极限值” 英特尔至强E7 v2处理器:2倍性能提升,3倍内存容量,4倍I/O带宽 著名工业设计师Yves Béhar:“我们并不需要三星智能手表。” 跨平台的.NET运行环境 Mono 3.2.7发布! Google石博盟:抓住全球化和移动化的机遇 ShareSDK针对Unity发布社交化组件 2014 CocoaChina开发者大会将公布触控奖学金等高校合作计划 中低端智能手机热销,未来市场或主打价格战 Facebook开源flint:一个用D语言编写的C++静态代码分析器 AMD携手BlueStacks,下半年推出零售版双操作系统 历时6年 Github发布基于Web的桌面文本编辑器:Atom Ratchet:构建移动应用原型,新版支持Android 13个最狂帅炫酷的前沿科技研究项目 打动面试官的五大技能 乐视TV和NBA签约三年互联网电视版权 首度披露大屏运营策略 支撑4.5亿活跃用户的WhatsApp架构概览 免费使用Windows?微软推Windows 8.1 with Bing实验项目 C/C++开发者必不可少的15款编译器+IDE Amazon推荐,Facebook追踪,大数据时代的“狗仔队” NewSQL登场,NuoDB告诉你未来数据库什么样 五位QQ号,100块,你会要吗? 555~~~~挂了PASCAL挂了,5555~~~~我学不好DELPHI 了5555谁帮我呀!!! 有编过游戏修改器的高手吗? jinesc领分~~~ 如何使UpDown每次增加或减少0.5? 有个问题很困惑,请教 上傳后,服務器端如何接收? 各位高手好!现在有谁是正在使用 LINUX 上网的.报一下好吗!!!!!! 我快神经了,求救 各位高手好!现在有谁是正在使用 LINUX 上网的.报一下好吗!!!!!!!! 别笑我傻,又有简单问题 各位高手好!现在有谁是正在使用 LINUX 上网的.报一下好吗!!!!!!! 各位高手好!现在有谁是正在使用 LINUX 上网的.报一下好吗!!!!!!!!!!!! 各位高手好!现在有谁是正在使用 LINUX 上网的.报一下好吗!!!!!!!!! 大家都谈谈建立什么样的目录结构能更好的管理硬盘里的东东 lilo 如何设置??请赐教!! 各位高手好!现在有谁是正在使用 LINUX 上网的.报一下好吗!!!!!!!!!!!1 mts是什么? mts是什么?? 学习汇编要什么基础,要看什么样的书,有没有好的汇编的电子参考书下载呢? 腾讯的qq怎么不好用了? 有CCNA,Scjp2,高程的计算机本科生能卖多少?(答者有分,只能给33分,没办法) word的表格问题 如果开另外一个线程来进行注册码检验,是否比较难CRACK? 请问高程考试考试的难度 怎么让程序启动的时候接受参数? mts是什么??? 我也调查:这里有多少冠名以“独孤”的,为何独孤???? 菜鸟SOS 个人论:编写程序方法论(原作者,huangbeyond) 向流版主学习,戒网!戒网!成天在网上瞎转,不如下去加强学习,碰到问题再上网寻求答案,天天在网上泡得久了,看到各大PB网站的编程技巧都有些视而不见了.....到PB论坛很多人都象到自己喜爱的聊天室了,到论坛好象就是来聊天一样.....戒网!戒网! 如何编写一个集成Ms Word的控件,能够处理WEB上的文件排版 怎么不能下载呢? 我是女孩,有人信吗??嘻嘻~~ 谁知道关于用vc编游戏的书,请各位大虫们介绍介绍好吗?谢谢了!!!!!!!!!! 有关sql server不能显示中文啊?? 关于B/S动态刷新问题 想不到,摩机三年今天居然栽了 beginpaint函数有什么用? 在PowerBuilder中怎么才能得到当前程序运行的路径? Sybase PowerDesigner v7.5 的中文学习材料谁有? 哪位大虾能够作一个查看游戏图片的辅助工具 请问casl汇编和asm有什么不同??谢谢!!!!!!!!!!111 Activex Document下载问题 kingxing(在江湖上混口饭吃) 能不能让程序一直运行哪一段呢?? linux 能上csdn吗?来报个名 我想找一位root。 TERMINATE是这么用吗??? 在江湖上混口饭吃不行啊! 你哪样的,虽然可以到最底层,但是不能一直在最底层哟! 有什么办法能一直在最底层吗/? 打印一行字,如何控制字间距? 懂汇编的就行。来看下~ 英语翻译换了新版之后貌似点朗读没反映啊 英语翻译我的名字叫 关启成 怎么翻译成英文名字啊(不是翻译成汉语拼音的那种)?例如:林志颖 jimmy lin 林心如 ruby 任家萱 seina 等等 英语翻译 英语翻译他十三岁了,但他仍旧太依靠他父母.琳达外出时,你能照看她的儿子吗?我们起床早是为了赶早班车.不要花太多时间在电脑游戏上.我认为小孩子没必要学英语.你介意打开窗户吗?要学 英语翻译我的名字叫 林智健 不是拼音的哪种啊 英语翻译成汉语口语My strong point is to easily adjust to a new environment and get along well with others. -I always try to put myself in the other's shoes. so I rare get into a serious conflict with anybody. so I am very good at handling 英语翻译If boy wizard(巫师) Harry Potter uses his magic to capture(迷住) the hearts of millions of teenagers,high school students Gabriella and Troy have charmed American boys and girls with their stories of campus life.They are the leading c 英语翻译,求助!谢绝谷歌翻译在这个世界上,职业经理人永远比老板的数量多,职业经理人要想实现自己的职业理想,只能依靠老板搭建的舞台,虽然老板离不开职业经理人这个群体,但作为个体, 英语翻译我的名字是赖明珠,谁能翻译?女生的. 英语翻译The discovery,development,and clinical use of antibiotics during the 20th century have decreased substantially the morbidity and mortality from bacterial infections.The antibiotic era started with the therapeutic application of sulfonamid 英语翻译This contact proved invaluable in 2012,when,back in Syria to cover a Free Syrian Army–controlled area in Aleppo,Tomada traveled with the elite group,this time on a mission to attack an armored battalion of the Syrian regime.En route to 英语翻译我有个金山词霸,但是感觉发音太差,有没有发音准点的 英语翻译The DCS 968 series Auto start Controller is designed for use in applications involving control and safety monitoring of stationary engines.The use of the controller increases reliability and simplifies wring of the control panel. 英语翻译让想法轻松上路...就是上面这一句,希望有文采一点,好记一点. 请问有没有可以发音的英汉翻译工具 英语翻译The following is an e-mail sent to you by an administrator of "Channel [v]Thailand".If this message is spam,contains abusive or other comments youfind offensive please contact the webmaster of the board at the followingaddress:webmaster@c 英语翻译~不要谷歌百度什么的Let us take a serious, reasonable look at what the results might be if such a proposal were accepted. Families might use the time for a real family hour. Without the distraction of TV, they might sit around tog 用英语翻译:这儿很漂亮,我非常喜欢这 英语翻译I helped out a women several years ago that made mens underwear.She would send me samples to try on an I would send pic or video back to her so she could see the fitting.Would not have a problem offering you that help if you are intereste 英语翻译翻译的时候最好带点意译.熟悉各种Windows系统、Office、Excel和互联网的基本操作,并且通过全国计算机信息高新技术办公软件应用模块(Windows平台Office系列)操作员考试.有基本的药理知 我也认为它很漂亮,英文翻译这个它是个物品,比如我看到一双很漂亮的鞋子,别人说很不错的鞋子,我说,我也认为它很漂亮或者是很好看,很喜欢都可以,谢谢高手点拨 英语翻译The old lady pulled her spectacles down and looked over them about the room .Then she put them up and looked out under them.She seldom or never looked through them for so samll a thing as a boy.They were her fancy pair,the pride of her he 英语翻译我的家乡在泰山脚下,泰山是一座千古名山,动植物种类丰富,有着庞大的生态系统和许多有趣的生物链.比如,绿色植物草,苔藓等被小虫子吃,小虫子被麻雀吃,而麻雀又被蛇吃,最终蛇被 英语翻译:我觉得这里很漂亮,你们觉得呢? 英语翻译Make a periscopeHave you ever been in a crowd at a football match and wished you were much taller?Don't worry about it now.A Home-made periscope could be the answer to your wish.This is what you do...1.Look at the diagram and draw the sha 英语翻译"To think that I'm not going to use cell phone when at the same time I can still use my laptop,I still can read a paper I can stilll change my pants while driving at 65 mph.I think there is just something wrong," an offcial said.Other cri “你觉得我帅吗?” 英语翻译一下. 英语翻译Since detention of a ship is a serious matter involving many issues,it may be in the best interest of the PSCO to act with other interested parties. 英语翻译自由视野下《飘》男主人公的人生遭际内容提要:瑞德是南方名门望族中的不肖子,早期沉浸在社会自由的瑞德随心所欲地做着离经叛道的事情,继而媚兰的善良让他受欲望奴役的心 发现自己的美,求英语翻译 英语翻译lazy.I wasn't surprised to find that my worst report was from my science teacher.it's just that i find science really difficult.that‘s about all the news i have for now.send their love. 英语翻译In this case,therecommender system accumulates user ratings of items,identifies users with common ratings,and offersrecommendations based on inter-user comparison.As such,the CF recommender compares researchers’ ratings ofresources,and 英语翻译:这个俱乐部是个时髦的场所 英语翻译AVL techniques have widely been perceived as useful technologies in many APTS areas,such as automatic vehicle location,vehicle component monitoring,automatic passenger counters,electronic fare boxes,timed transfers,traffic signal preempti 英语翻译Tony 'Doc' Shiels是翻译成 托尼“医生”希尔斯 还是 托尼-多可-希尔斯 英语翻译简洁点即可、 英语翻译用机器翻译的话麻烦也稍微修改一下,意思大概正确,语句通顺即可The two factors (dependent variables) considered for this research study were the systems integration complexity (systems integration process complexity 英语翻译就是只要翻译出 的英文相似的音、 英语翻译:“我经常访问你的博客!” 英语翻译用机器翻译的话麻烦也稍微修改一下,意思大概正确,语句通顺即可 Fig.7 illustrates improvements at five different levels in the systems integration process complexity on the vertical axis as a result of the requireme 英语翻译 中文翻译英文,比较准确的,还有读音的,章 英语翻译Out of the night that covers me,Black as the pit from pole to pole,I thank whatever gods may beFor my unconquerable soul.In the fell clutch of circumstanceI have not winced nor cried aloud.Under the bludgeonings of chanceMy head is bloody 音标翻译英语,麻烦了[i:kəu] 要取英文名的,谢谢了 英语翻译要美语发音!要会念名字.有的不是单词只是名字缩写之类的它也能念!软件和在线都可以.但一定要符合上2个要求.不是的就别回答了好么~要能翻译的。全是英文的咱不会用~你那个我 英语翻译Dear Mark,New York is finally getting a real sales manager.Congratulations on your new promotion.Your marketing ability has put you well above everyone else in the company,and probably everyone else in the industry.The company will benefi 淑女英文名我想要E或C开头的要淑女又甜美的不要复制 最好是自己想的要有英文和中文唷有追分 告别时刻英文歌词的读音 用中文翻译一下,要整段歌词的 英语翻译HappinessHappiness means different things to different people.For example,some students believe that if they have much money or a large number of possessions,they will be happy.They believe that they will be able to do anything they want 淑女型英文名可以是一些有意思的东西名字~不过一定要有意义 不要太长了 let it go 英文歌词翻译中文读音的歌词.谢谢!The snow glows white on the mountain tonight;Not a footprint to be seen;A kingdom of isolation;And it looks like I'm the queen;The wind is howling like this swirling storm inside;Couldn't keep 英语翻译B:hey ,what if you did not have adventures ,I think my life is estimated to be the case.After graduating from college ,took barely a month to feed their own money,what are generally married woman,birth wanderers .Nothing exciting live to 名叫林佳丽,起什么英文名字好? 英语翻译Alex Reid Best Of Me oh oh oh ohoh best of me ohwake up all alone nownever felt so freegot caught up and it drive mywhen i thought of youwere good for mei thought what i live forunder your controlyou've left so emptybut i never felt so ha 谷歌英语在线翻译发音准不准? 佳丽求漂亮英文名. 高手翻译下英文歌词 ~~~I watch the city burnThese dreams like ashes float awayYour voice I never heardOnly silenceWhere were you when our hearts were bleedingWhere were you when it all crashed downNever thought that you'd deceive meWhere are Google在线翻译的那个英文发音算标准吗?http://translate.google.com/#就是按那个小喇叭,它会读给你听的.我感觉它英文读得蛮有味道的唉~~~没有给人一种明显是干巴巴的机器发出来的感觉.所以请问 英语翻译本人叫王宝森,男,各位帮忙翻译成英文名字,带发音, betrayal黄昏英文歌词能帮我 翻译成拼音不?我不会英文.我急.
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn