说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Cloudera透露Impala发行版新功能及开源计划

HTML文档下载 WORD文档下载 PDF文档下载
前有Drill、Dremell,后有Blobstore,所有的巨头都在肯时时SQL这块“硬骨头”。Hadoop创业公司Cloudera在今年10月也宣布Impala项目,对比Hive SQL查询速度提升3~90倍。日前,Impala项目经理Justin Erickson在博客中公布了Impala将要实现的功能、发新版时间表以及开源计划。CSDN对其进行了摘译。

【CSDN编译】Cloudera公布了Impala的发布计划以及开源计划。关于发行版,Cloudera表示当下主要工作是完善Impala在生产环境中的功能和稳定性,包括:

图:Impala的特性

  1. 增加文件格式支持——包括Avro格式和LZO压缩的文本格式。
  2. 增加操作系统支持——在CDH4版上支持对红帽企业版、CentSO 5.7、Ubuntu、Debian、SLES、Oracle Linux。
  3. 棘手问题(Straggler handling)——为实现最快的响应时间,Impala需要完成更多的工作让服务器加速,同时降低服务器速度减慢的情况。在大型的集群上,经常出现巨大的性能波动,体现在节点变得缓慢或者磁盘损坏。
  4. JDBC驱动——支持Java应用连接Impala接口。在Apache Hive的JDBC驱动基础上,针对Java应用提供一套通用的SQL接口,同时支持Impala和Hive。
  5. 数据定义语言(DDL)——支持用户通过Impala在Hive元数据共享区创建表。从Impala beta 0.3版开始,你通过Impala进行查询前,首先需要通过Hive建立表。
  6. 更快、更大、更高的内存效率——通过分割哈希连接,Impala可以分割第二个表,所以在整个集群所有的节点上只有一个表的副本被分割。目前,Impala通过与每个节点的内存做join后存储第二个表。Impala将利用表的统计信息来制定策略保证每个请求达到最高性能。
  7. 更快、更大、更多的内存聚合效率——通过分布的本地存储分担预聚集(pre-aggregation)的工作,这样就能减少协调节点(coordinator node)的内存消耗。
  8. 大面积的SQL性能最优化——通过扩展低级虚拟机(LLVM)代码生成,更多的Impala的SQL功能和嵌入,让返回结果延迟降到最低。
  9. 元数据自动刷新——对于Impala的请求实现表和数据无缝的可用性,不存在对Impala手动刷新的问题。
  10. 新的Trevni桶状文件格式——通过类似Google Dremel的ColumnIO格式——Trevni,Impala可以获得更高的性能。对于一个Hadoop用户而言,任何处理框架都可以访问Trevni格式的数据,就像今天访问Avro和顺序文件一样。

关于发行版

Justin 表示,暂定的计划是Impala 1.0通用版将在2013年Q1发布。在beta阶段,依然每2-4周进行更新。这些更新包括提升稳定性以及以上列出的各种功能。比如,两个最常见的问题、增加操作系统支持等等。

关于开源进程

Justin表示,目前Cloudera正在对核心代码以及早期beta版用户(包括Capgemini金融服务、Karmasphere、MicroStrategy、Pentaho、Qlikview和Tableau等,他们已经在Impala上做了几个月的实际产品测试。)的反馈的问题进行追踪,需要时间进行处理才能公开。并重申:

  • 最新的源码库——未来会一直提供更多最新的代码
  • 透明的问题追踪——Jira(一款集项目计划、任务分配、需求管理、错误跟踪于一体的商业软件。)将会服务Impala。(编译/包研 责编/仲浩)

原文:Cloudrea

2014全球云计算大会中国站(CC China)精彩集锦 腾讯X5浏览服务正式开放 30多款APP成为首批受益者 Node.js设计经验谈 LeanKanban University首位中国认证讲师路宁:看板会为更多国内企业带来深刻变革 环信IM沙龙纪实:无分享不IM,无社交不未来 【工具推荐】ESL:更简洁、更高效的标准加载器 【先锋】亲加通讯云:以云服务模式为App提供社交引擎 2014中国移动开发者大调查第一批获奖名单大曝光 移动开发云服务AVOS Cloud宣布完成A轮融资 Uplinq2014:人工智能嵌入硬件 万物互联建生态 Uplinq2014:基于Vuforia的新奇智能玩具 一应俱全!开源跨平台3D应用开发框架Minko 【线下技术培训】敏捷测试实战解析和系统方案 《近匠》Ping++:简单、高效、第三方支付SDK 有关编程的12个猜想 【问底】王帅:深入PHP内核(二)——SAPI探究 【CTO俱乐部走进汽车之家】活动图文实录 只为逼格?超薄便携式无线充电设备Deuce 戴尔未来重心:云计算、大数据、移动互联与安全 【讲师】搜狐于顺治:Container在搜狐PaaS平台中的应用实践 【先锋】从代码层诊断,云端OneAPM平台让开发者专注开发 阿里将推无线领域重磅计划 阿里百川无线开放大会揭晓 提升网站转化率的四步优化方案 开发者应该了解的API技术清单! 【讲师】腾讯刘永峰:Docker时代,公有云面临的挑战和机遇 移动开发工具服务商Mob推出免费短信验证码SDK 遇见他们,MDCC 2014移动开发者大会嘉宾揭秘 揭秘全球最小无线耳机背后的技术 《最终幻想》之父访谈:我为何转战F2P游戏开发 寓教于乐 11款最适合教儿童编程的学习工具 苹果iPhone6获工信部许可 本月17日在内地发售 如何将C++中的string转变成char,我要将char变量与string中的字母作比较? 他们不上传图片也能显示图片,怪怪也.? 急!!!!REDHAT 7.2启动进不了X-windows界面,提示如下 rose2001中怎么找不到用例边界(方形)这个UML标记?有use-case package这个版型吗? __int8 _int16??菜鸟请教 哪有《Windows2000编程技术内幕》中文电子版? sql查询语句中将Null值转为0呢. 我自己编的控件为么有的机器能下载,有的不能? 如何加载控件? 强烈推荐!" 在QQ上如何弄的别人神经分裂???//owner: onice (西瓜的眼泪) " 请问如何在XML字符串中传递中文 压缩原理究竟是怎样的? 如何用javascript创建树形菜单 ftp 你的上网速度低于1m就不用看了 请问在VC中使用ADO连接Oracle数据库,如何判断连接断开 关于C++BUIDLER的学习 ====我的显示器以前好好的不知为什么现在闪呀闪的弄的我眼睛疼啊!我重装了系统又重装了显卡驱动程序,可是还是 闪!请问我该怎么办?谢 各位大哥,小弟有段初级链表程序,有些问题,请斑竹和高手解答,谢谢!!!!!! 如何让EDIT控件换行显示数据? 想考计算机系的研究生,请大家给点建议 各位大哥,小弟有段初级链表程序,有些问题,请斑竹和高手解答,谢谢!!!!!! 关于路径设置的问题,为什么没人回答呢??? 叶剑英的孙女,李泽楷和曾荫权都在追 100分送上!!我都快被ADO逼疯了!!!真他妈的服了,各位给我指点一下吧,急用呀!!! 在linux下的C对数据库编程中,嵌套SQL语句的格式 如何启动备份服务器! 如何在窗口下对datawindow的数据进行修改后保存? 火急!急!急!急!急JBuilder完全安装怎么没有InterBase,哪又怎么安装? 求救!!! 明天上班,终于结束失业期了。 一个ORACLE备份数据导入问题。请高手指点! VC和VB下好用的控件在delphi下不好用!是不是dll的问题? 明天上班了,同喜! 大家觉得POWERSOFT公司的PB9会推出WEB SERVICE功能吗? 一个ORACLE备份数据导入问题。请高手指点!!! 请教各位高手,DirectX环境下,是否可以利用各种输入法输入汉字? 急,高手帮忙。 getchar小问题,为什么程序不能中断? 我想学游戏编程,谁能指点一下?100分! 医疗管理系统 请帮忙看看这段流操作的代码错在哪里? javabean高手请进!请赐教!!! 请各位高手指点一下,什么软件开发java比较方便,效率较高? 谁能告诉我,怎样将邮箱中的信件复制到本地硬盘.谢了 需要什么权限才能在active directory里添加用户??(实际上是想添加email帐号),谢谢各位 test 请问在winXP里该如何实现如下功能呢? 再问一次,怎么在mandrake下设显示器的刷新率!怎么想给分都送不出去! 当用c++编程时,能不能不用回收内存?100分 用VC处理XML文档时遇到的一些细微而重要的问题 大家能不能给我给我点 虫洞、虫洞效应、虫洞理论,还有虫洞是不是有时光旅行这一方面,虫洞可靠吗? 光气和二氧化碳反应生成?要反应原理,算出来的给个算法 俄罗斯通古斯大爆炸到底是怎么回事?俄国军方的调查结果是什么?科学家的解释有哪些 有人说是外星人的飞船 虫洞,关于时空旅行((近光速飞行历史上最快的有人驾驶飞行器,是“阿波罗十号”.它达到每小时25000英里.但若想在时间中旅行,我们必须再快2000多倍.我们需要一部足以携带大量燃料的庞大 二氧化硫通入卤素单质(X2)的水溶液中(氯水、溴水或碘水) 有谁知道苯与甲苯,谁更易挥发呀? 时间是否会停止.宇宙外面是否还有宇宙.反物质,暗能量.究竟在何处,虫洞是否存在.宇宙是否会灭亡 卤素单质与SO2反应会褪色吗如题.SO2有漂白作用,SO2 + Br2 + 2H2O == H2SO4 + 2HBrSO2 + I2 + 2H2O == H2SO4 + 2HI但HI 、 HBr好像又有色 苯的挥发期是多长时间 铅铋混合溶液中铅铋含量测定的公式 钠和卤素单质反应方程式 苯多久能挥发完 铅铋合金中铋和铅的连续配位滴定1. 实验过程中,不使用已标定好的EDTA标准溶液,为什么还要改用金属锌作基准物质重新标定一次?2. 滴定bi3+要控制溶液酸度pH~1,酸度过低或过高对测定结果 10克10%的盐酸和10克10%的氢氧化钠溶液混合 混合后溶液能与下列物质反应的是A CuSO4溶液 BCO2 CCuO DH2SO4 苯多久能挥发净 请把碘量法测铜的具体过程和反应式列出来要正规.随便概述一下了事就不必发了. 是不是所有的金属都可以和水反应 苯如何挥发的慢 越南铅银矿石如何取样我是一名取样工作者,每次对越南铅银共生矿(原矿·铅:约60%银约3000克每干吨)总是第一次取样和第二次取的样不同:铅的含量一样,可是银的含量有200克至300克每干 铅铋混合液中铅铋连续测定中为什么要用六亚甲基四胺 金属与水反应哪些金属与能水反应,并写出方程式还有我好像记得AI与水在碱性才能反应对吗? 天津上金矿产21综合会员是什么单位 非金属单质能与酸反应吗?非金属单质能否与酸反应生成盐和氢气?如果能,请举例说明. 求硝酸铈安与银,镉的化学反应(说明反应产物)硝酸铈安分子式 (NH4)2Ce(NO3)6银 Ag镉 Ge 水银能转化为银吗,铅能转变为金吗? 一种金属单质与两种酸反应在线等哪种金属先反应比如HCl 与 AgNO3,Fe(NO3)2混合物哪个先反应 硝酸铈铵在实验室里如何鉴别? 单质和水反应能生成酸吗? H2S+H2SO3=? 下列物质中,既可与盐酸反应,又可以与氢氧化钠溶液反应的是A.NaHSO4 B.KHCO3 C.Na2CO3 D.NH4NO3 在短周期元素中,什么元素单质能与水反应生成两种酸?为什么不是Br或I 用电子式表示H2S的形成过程 硫酸会不会挥发 F 、Cl 、Br 、I四种单质与水反应容易程度为什么是F> Cl> Br >I呀 广州有没做氧化锌的厂,我们是做发泡鞋的,需要氧化锌!哪个牌子的好 【求助】如何分析滴定硝酸铈铵和硝酸混合液各组分的含量 SO2与CL单质的水溶液反应生成什么.写出化学方程式 佛山哪里有氧化锌卖,最好是厂家,我们做陶瓷原料用的 溴与二氧化硫的反应方程式 三氧化二铁 盐酸反应现象 现将含ZnO百分之50(其他成分不含锌)的矿石10吨与一定量的赤铜,木炭粉混合后加热到800度,反应完全可得到含锌百分之65的锌铜合金是多少吨?(列式计算,计算结果保留1位小数量 为什么硝酸比磷酸更易挥发 三氧化二铁与盐酸反应生成什么 可燃物本身的性质,氧气浓度的大小,可燃物与氧气的接触面积分别对燃烧有什么影响,举例说明.要举例子, 盐酸与硝酸谁更易挥发谢谢了,哪一个更易挥发啊 铅锌矿化验方法!要全面的,急.我想知道化验方法.结果的算法.还有药水的配制. 下列不属于燃烧条件的是 A. 可燃物 B. 温度 C. 氧气(空气) D. 接触面积大 硝酸易挥发而磷酸难挥发,为什么?不是键能的原因.是什么原因?是不是因为分子间作用力的大小? 铅锌矿中锌镉含量的测定的实验中 如果测铅应该怎样进行? H2S怎么制取Na2S 稀HNO3易挥发吗 ABC三种短周期元素处在同一周期,A单质与水反应时发生自身氧化还原反应,B单质雨水ABC三种短周期元素处在同一周期,A单质与水反应时发生自身氧化还原反应,B单质与水剧烈反应且B单质为还原 Na2S如何生成H2S RT 气体H2S用氢氧化钠吸收 请问整个反应过程是什么?为什么最后会生成NaHS而不是Na2S Na2S和水生成H2S吗? 通古斯大爆炸是怎么回事 世界上真有冲动吗,通过虫洞能进行时空旅行吗? Na2S和什么反应生成H2S?我应该和上一个问题一起问的.要两个方程式, 为什么会出现 通古斯大爆炸?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘