说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Cloudera透露Impala发行版新功能及开源计划

HTML文档下载 WORD文档下载 PDF文档下载
前有Drill、Dremell,后有Blobstore,所有的巨头都在肯时时SQL这块“硬骨头”。Hadoop创业公司Cloudera在今年10月也宣布Impala项目,对比Hive SQL查询速度提升3~90倍。日前,Impala项目经理Justin Erickson在博客中公布了Impala将要实现的功能、发新版时间表以及开源计划。CSDN对其进行了摘译。

【CSDN编译】Cloudera公布了Impala的发布计划以及开源计划。关于发行版,Cloudera表示当下主要工作是完善Impala在生产环境中的功能和稳定性,包括:

图:Impala的特性

  1. 增加文件格式支持——包括Avro格式和LZO压缩的文本格式。
  2. 增加操作系统支持——在CDH4版上支持对红帽企业版、CentSO 5.7、Ubuntu、Debian、SLES、Oracle Linux。
  3. 棘手问题(Straggler handling)——为实现最快的响应时间,Impala需要完成更多的工作让服务器加速,同时降低服务器速度减慢的情况。在大型的集群上,经常出现巨大的性能波动,体现在节点变得缓慢或者磁盘损坏。
  4. JDBC驱动——支持Java应用连接Impala接口。在Apache Hive的JDBC驱动基础上,针对Java应用提供一套通用的SQL接口,同时支持Impala和Hive。
  5. 数据定义语言(DDL)——支持用户通过Impala在Hive元数据共享区创建表。从Impala beta 0.3版开始,你通过Impala进行查询前,首先需要通过Hive建立表。
  6. 更快、更大、更高的内存效率——通过分割哈希连接,Impala可以分割第二个表,所以在整个集群所有的节点上只有一个表的副本被分割。目前,Impala通过与每个节点的内存做join后存储第二个表。Impala将利用表的统计信息来制定策略保证每个请求达到最高性能。
  7. 更快、更大、更多的内存聚合效率——通过分布的本地存储分担预聚集(pre-aggregation)的工作,这样就能减少协调节点(coordinator node)的内存消耗。
  8. 大面积的SQL性能最优化——通过扩展低级虚拟机(LLVM)代码生成,更多的Impala的SQL功能和嵌入,让返回结果延迟降到最低。
  9. 元数据自动刷新——对于Impala的请求实现表和数据无缝的可用性,不存在对Impala手动刷新的问题。
  10. 新的Trevni桶状文件格式——通过类似Google Dremel的ColumnIO格式——Trevni,Impala可以获得更高的性能。对于一个Hadoop用户而言,任何处理框架都可以访问Trevni格式的数据,就像今天访问Avro和顺序文件一样。

关于发行版

Justin 表示,暂定的计划是Impala 1.0通用版将在2013年Q1发布。在beta阶段,依然每2-4周进行更新。这些更新包括提升稳定性以及以上列出的各种功能。比如,两个最常见的问题、增加操作系统支持等等。

关于开源进程

Justin表示,目前Cloudera正在对核心代码以及早期beta版用户(包括Capgemini金融服务、Karmasphere、MicroStrategy、Pentaho、Qlikview和Tableau等,他们已经在Impala上做了几个月的实际产品测试。)的反馈的问题进行追踪,需要时间进行处理才能公开。并重申:

  • 最新的源码库——未来会一直提供更多最新的代码
  • 透明的问题追踪——Jira(一款集项目计划、任务分配、需求管理、错误跟踪于一体的商业软件。)将会服务Impala。(编译/包研 责编/仲浩)

原文:Cloudrea

玩转Google I/O 2015:Android M、IoT、Glass 2.0、VR、ATAP ARC中Retain Cycle揭秘 失控与逆转!企业移动化2.0时代下如何求变? 玩转物联网之MQTT 专访都灵创客教育奚炎:被忽视的Maker教育 13岁iOS开发者:Swift开发Sprite Kit游戏实践 专访豌豆荚「自动装」开发团队:无需Root即可批量点击「下一步」 iOS项目的持续集成与管理 《近匠》谛听科技,探索智慧家庭的智能网关 【简讯】Python 3.5.0b1发布 《算法的乐趣》作者王晓华访谈:多看、多做、多想是秘诀 专访李祎:Java在Testin的技术应用 React首部经典图书推荐:全程经典实例,360度剖析React.js 再做一个Android!Google发布第二代VR眼镜Cardboard Go语言开发常见陷阱,你遇到过几个? 奏响年度最强音 第七届中国云计算大会日程全公布(表) 【CTO讲堂】请在还年轻的时候,尽量多踩些坑 以细分使用场景为突破点 探究墨迹天气的体验创新 熟练成就创造——MathWorks全球副总裁Richard Rovner、产品市场经理赵志宏专访 Objective-C编码规范:26个方面解决iOS开发问题 豌豆机器小组发布最新WRTnode2R,支持华为Liteos、QQ物联与AllJoyn [新书推荐]Node.js项目实践:构建可扩展的Web应用 【简讯】Perl 5.22.0 发布,大幅改进代码! 【征文】特别策划——群雄逐鹿共话新型数据库 针对DCloud侵权质疑,APICloud发布声明 《近匠》小鱼天气,中国风与细粒度空气质量检测 Xcode 7 beta发布,Swift 2.0带来哪些新变化? 【有奖征集】MDCC 2015演讲议题征集全面启动 Swift语言那些鲜为人知的特性 《开源者说》08期:聊聊Java那些事儿 专访唐成:从小工到专家,PostgreSQL的修炼之道 关于文本框的问题 在菜单项中加入小图标 求救: 这是什么语言!!!! "::="??? 100分请教,如何将DBGrid中某字段为空的记录全部删除, 和过滤掉重复的记录? 繁体版的软件选什么字体? 关于虚拟主机的问题 DELPHI7带了一个挺不错的工具:ModalMake 6.2 如何得到文件控件中的值? SOS!!!在线等待,立即给分 关于密匙的问题? 关于Kylix unix系统有中间件吗? 架設smtp的問題??? FastNet组件 怎样在sql语句中进行数据转换啊 在线等 ,,,怎样获得汉字的编旁 在程序中用函数设置session的时效、存放路径 如何在ms-dos下降低cpu的运行速度?(汇编,C高手请进) 求解决链表问题 请教:如何在linux嵌入系统中编写外设驱动程序.谢谢 Micrsoft JDK nmake生成的EXE文件反编译问题!!! 多态问题 专业调查:军训练什么,学到什么!!????? 使用IS for Delphi 4制作安装盘.安装时时出现401号错误(字符串变量不够长) 介绍几本VC入门的好书 大家谈谈,数据库应用程序如何设计及使用类! Oracle的登录问题! 请问如何在VC中取得传入的参数? 现在的浏览器还支持不支持applet啊?高手救我!--------怎么写一个applet兼容更多的浏览器? 请问那里有这种工具??近来看看!! 请capboy等写过filter的各位前辈指点 利用DW制作一张确定最佳分辨率为800*600或者1024*768的页面, 急 求助: 怎样获得系统当前可用的字体? 如何打印FormView? 如果你是VC高手,对COM有深入了解,欢迎! 我今天看了我英语过级的公布成绩,我得了一个天险数字60。5分,请问。。。。。? 谁有linux下的mod_webapp.so DW UltraDev里rs.source="select * from stu where banci=request.QueryString("banci")这样是不是不行? Microsoft JDK nmake生成的EXE文件反编译问题!!! 各位大虾:请问谁能告诉我哪里能找到win xp home edition plus???如果能让我找到,送1000分 请问如何将PaintBox.Canvas的当前内容保存至内存, Linux下c语言程序该怎样运行? 请问:vb.net中oracle数据库能否支持blob格式? .ceb文件如何打开? 什么地方能够找到《Exploring Requiremengs:Quality Before Design》这本书? 关于制作一个classwizard的设计思路,欢迎大家讨论 weblogic server console: java.lang.NullpointerException 如何得到本局域网上所有主机的ip? 请问: 如果在网上可以通过网页上传某些文件到服务器空间上,并显示一些关于上传文件的信息~ 一段检测光软驱的程序,大家帮忙除Bug! 为何会死机? 这句话看不懂,谁能帮我分析一下~ 草履虫从细胞膜到核膜,一共有几层膜分别是哪几层 下例物质在一定条件下能跟甲烷发生取代反应的是氧气,氯化钠,溴水,氯气 给父母解释为什么叛逆的一封信 英语作文 目前我国有哪些法律法规给未成年人以特殊的保护? 请帮忙分析句子句法结构.特别是句子的"nothing...less than"nothing gets people talking than child rearing is anything less than a completely fulfilling,life-enriching experience. 古代中原指的是什么地方 在循环水系统中钝化后的碳钢管道在正式运行前还需要进行预膜吗 可降解塑料餐盒化学成分 中国古代的九州是指现在的哪些地方? 如下就是案例.热电厂循环水处理之预膜处理步骤详情咨询北京邦驰世纪水处理科技有限公司 可降解塑料餐盒怎么加工 水处理成套设备是什么 古代的"中原"到底是指哪里?在当时中原以外的地域都是不被中原政权承认属于"中国"的吗? 循环水预膜时钙离子为什么要大于50PPM? 一道物理电磁感应自招题 求教 北极燕鸥阅读题答案 草履虫是通过什么与环境进行物质交换? 一道电磁感应物理题 古代各国都在中原地区吗 能体现汉字谐音特点的古诗有什么 向鲜牛奶中掺入三聚氰胺,能增加牛奶的重量么往牛奶里添这个东西有什么用?有感于牛奶事件 中国古代西域是指哪些地区?是在何时正式并入中国版图的? 4HCl+O2=2Cl2+2H2O,在CuO/CuCl2,400℃的条件.该反应的热化学方程式 . 以牛、牛奶、三聚氰胺为话题的作文(急),以牛、牛奶、三聚氰胺为话题的作文700字,材料也可以(要整理好的)最好能信息发给我, 一根圆柱形水管,内直径为20厘米,水在管内的流动速度为每秒40厘米,每秒流过的水是()立方厘米 可逆反应2Cl2(g)+2H2O(g) 4HCl(g)+O2(g); ΔH 右图表示生长素浓度对植物 A点对应的生长素浓度对根\芽\茎都有促进作用 为什么错?芽\茎在生长素浓度较低的时候是什么状态,是促进还是抑制,还是不生长? 一根圆柱形水管,直径为40厘米,水流速度为每秒3米.这根水管每分钟可流过多少升水 把九立方米的沙垫在一个长5米,宽4米得沙坑里,可以垫多厚? 生长素浓度高为什么会杀死植物?为什么?原理? 汉子与中国心“最最能体现汉字中文的这些特别的首推中国的古典诗词“在文中起到什么作用 一个沙坑长5米,宽4米.往里放入4立方米的沙子可以垫多厚 物理题1个(关于电磁感应的)如图所示,正方形线框abcd 边长为L,线圈水平放置,固 定在磁感应强度为B,方向竖直的匀强磁场中,其中ab边是电阻为R的均匀电阻丝,其余三边电阻不计.现有一段长度 变形虫和草履虫的细胞膜基本组成成分相同吗? 一个沙坑长5米,宽4米,往里放入4立方米的沙子,可以垫多厚? 问一条关于电磁感应的物理题在倾角θ的斜面上,放置一段通有电流强度I,长度L,质量m的导体棒a(电流方向向里),如图,棒与斜面间动摩擦因数u 一个长方体游泳池,长50米,宽25米,深4米.要在游泳池每个面上抹上一层水泥,如果每方米用水泥16千克,一共需要水泥多少千克?(求算式) 有黄沙4立方米,把它垫在长5米,宽4米的沙坑里,可以垫后多少米? 下列气体中,有剧毒的是?一氧化碳 二氧化碳 氧气 氮气中华武术博大精深,中国的武术家更是数不胜数,下列候选人中,是谁具有武术家身份而投身于电影拍射,被世界所公认为一代宗师?A 独体字的结构 厅的墙我想做成镜面的玻璃幕墙,请问费用要多少啊?我在沈阳,我家厅一侧的墙体我想做成镜面的玻璃幕墙,深灰兰色那种吧,面积是2.5米*4.2米,中间带一个正常的门,推开的,或者平开的门都行,大 一道物理电磁感应题目水平面内固定一U形光滑金属导轨,轨道宽d=2m,导轨的左端接有R=0.3Ω的电阻,导轨上放一阻值为R0=0.1Ω,m=0.1kg的导体棒ab,其余电阻不计,导体棒ab用水平轻线通过定滑轮连接处 小孩子早熟怎么办? 换个手机玻璃多少钱? 一道物理电磁感应的题目...将一个正方形线框放在均匀变化的磁场中,线框平面垂直磁场,线框中产生的感应电流为I1,现在将这个线框换成同样阻值且边长为原来2倍的正方形线框,仍放在原来均 最能体现汉字中文特点的首推中国的古典诗词,一个中国孩子在很小时候就能背诵的古典诗词:冬天下雪时吟“_________________,___________________”思念家乡时吟“_________________,___________________” 玻璃险多少钱 夏天----植物的世界(阅读答案) 一个长方体的游泳池长50m,宽20m,深2m,要在四周和池底抹一层水泥,每平方米需要3千克水泥,需要多少水泥算式过程写出来 中国有多少个简体中文汉字? 体现汉字特点的古诗有那些 在汉字与中国古典诗词中,作者对汉字是一种什么样的情感 CO和H2的混合气体中含有少量CO2和水蒸气,可按下列实验步骤,证明CO和H2的存在:(1)将混合气体首先通过① ,目的是② ;(2)将由(1)得到气体,继续通过① ,实验中观察到 请分析这句话,看不懂Writing this book was anything but simple, an irony that has not been lost on me. 草履虫的表膜是细胞膜么 人类的利益不应该建立在动物的生命上.我总是觉得人类不应该吃动物.但却没人认同.你们觉得呢? 请帮我分析这句话!我看不懂!The goal should be to recapture in the universities and research labs much of the excitement that existed at top-rated departments in the past.请分析这句话的语法!我看不懂! 草履虫的细胞膜又称什么,其功能是什么 动物也是生命,为什么要吃动物的肉?如果有一天 老虎是地球的主人 那它也会吃人类吗?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘