说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Cloudera透露Impala发行版新功能及开源计划

HTML文档下载 WORD文档下载 PDF文档下载
前有Drill、Dremell,后有Blobstore,所有的巨头都在肯时时SQL这块“硬骨头”。Hadoop创业公司Cloudera在今年10月也宣布Impala项目,对比Hive SQL查询速度提升3~90倍。日前,Impala项目经理Justin Erickson在博客中公布了Impala将要实现的功能、发新版时间表以及开源计划。CSDN对其进行了摘译。

【CSDN编译】Cloudera公布了Impala的发布计划以及开源计划。关于发行版,Cloudera表示当下主要工作是完善Impala在生产环境中的功能和稳定性,包括:

图:Impala的特性

  1. 增加文件格式支持——包括Avro格式和LZO压缩的文本格式。
  2. 增加操作系统支持——在CDH4版上支持对红帽企业版、CentSO 5.7、Ubuntu、Debian、SLES、Oracle Linux。
  3. 棘手问题(Straggler handling)——为实现最快的响应时间,Impala需要完成更多的工作让服务器加速,同时降低服务器速度减慢的情况。在大型的集群上,经常出现巨大的性能波动,体现在节点变得缓慢或者磁盘损坏。
  4. JDBC驱动——支持Java应用连接Impala接口。在Apache Hive的JDBC驱动基础上,针对Java应用提供一套通用的SQL接口,同时支持Impala和Hive。
  5. 数据定义语言(DDL)——支持用户通过Impala在Hive元数据共享区创建表。从Impala beta 0.3版开始,你通过Impala进行查询前,首先需要通过Hive建立表。
  6. 更快、更大、更高的内存效率——通过分割哈希连接,Impala可以分割第二个表,所以在整个集群所有的节点上只有一个表的副本被分割。目前,Impala通过与每个节点的内存做join后存储第二个表。Impala将利用表的统计信息来制定策略保证每个请求达到最高性能。
  7. 更快、更大、更多的内存聚合效率——通过分布的本地存储分担预聚集(pre-aggregation)的工作,这样就能减少协调节点(coordinator node)的内存消耗。
  8. 大面积的SQL性能最优化——通过扩展低级虚拟机(LLVM)代码生成,更多的Impala的SQL功能和嵌入,让返回结果延迟降到最低。
  9. 元数据自动刷新——对于Impala的请求实现表和数据无缝的可用性,不存在对Impala手动刷新的问题。
  10. 新的Trevni桶状文件格式——通过类似Google Dremel的ColumnIO格式——Trevni,Impala可以获得更高的性能。对于一个Hadoop用户而言,任何处理框架都可以访问Trevni格式的数据,就像今天访问Avro和顺序文件一样。

关于发行版

Justin 表示,暂定的计划是Impala 1.0通用版将在2013年Q1发布。在beta阶段,依然每2-4周进行更新。这些更新包括提升稳定性以及以上列出的各种功能。比如,两个最常见的问题、增加操作系统支持等等。

关于开源进程

Justin表示,目前Cloudera正在对核心代码以及早期beta版用户(包括Capgemini金融服务、Karmasphere、MicroStrategy、Pentaho、Qlikview和Tableau等,他们已经在Impala上做了几个月的实际产品测试。)的反馈的问题进行追踪,需要时间进行处理才能公开。并重申:

  • 最新的源码库——未来会一直提供更多最新的代码
  • 透明的问题追踪——Jira(一款集项目计划、任务分配、需求管理、错误跟踪于一体的商业软件。)将会服务Impala。(编译/包研 责编/仲浩)

原文:Cloudrea

福利来了,爱拍原创免费为iOS版手游制作宣传视频 【工具推荐】Zrender——轻量级Canvas类库,让绘图大不同! 基于Docker和CoreOS的开源PaaS平台——Deis v1.0正式发布! 微软宣布.NET开发环境开源 支持三大操作系统 爆发吧,诺基亚!前员工开发物联网新设备 详解Visual Studio Emulator for Android,微软的Mobile First! HPC China 2014完美落幕,AMD Firepro荣获好评! 揭秘微软的Container技术之一Drawbridge AWS副总裁谈数据中心网络打造 【最具价值CTO评选秀】出门问问CTO雷欣:从技术极客到核心管理的秘密 《近匠》APICloud:“云”+“端”一体的移动API提供者 Oculus移动SDK发布!John Carmack操刀、集成Unity 4.5 11月15日深圳见!深圳微信开发者大会公布全部议程 参与2014中国大数据行业大调查 BDTC门票等你拿 HTML5规范尘埃落定,5个开发工具推荐 盘点最受开发者喜爱的Android 5.0 Lollipop API IoE Day侧记:想开发智能硬件?先要弄明白这几个问题 【问底】许鹏:使用Spark+Cassandra打造高性能数据分析平台(二) 微软承诺所有Lumia WP8设备将升级至Win10,用户会买账吗? 周末,深圳微信开发者大会等您来!(参会必读+名单) 营造云安全生态链 第五届云安全联盟高峰论坛在京顺利召开 中国大数据六大技术变迁记 【最具价值CTO评选秀】当当网CTO熊长青:结合行业及技术发展,规划技术方向 社交颠覆传统,环信技术交流沙龙纪实(组图) 揭秘经典案例炼成之道 微信开发者大会精华回顾 从一家电子商务网站学到的经验教训 【最具价值CTO评选秀】极路由CTO康晓宁:极客转型CTO的感悟 盘点这些年来的“微信万能论” 《近匠》亲加通讯云:IM即时通讯API的极致服务者 TCL杯HTML5智能电视开发大赛完美落幕,8项获奖应用大揭晓! Xcode 6.2 Beta发布,支持WatchKit的iOS 8.2 SDK来了! 怎么把Demo_Adhoc分到两台机上运行 数据库更新 how to 用 insert into 把一个.zip文件保存进数据库?? 请大家推荐一个CD机吧!!!! 急,NOTES与SQL SERVER的问题 asp实例 我的Access库文件原来大小是6.78M,我清空所有记录和减少很多记录时,为什么大小没改变? 关于delphi动态加载控件,在线 代人提问:请问.dcu文件是干什么的?如何才能生成该类型文件。 怎么响应Enabled属性 asp.net做网页,运行后,<asp;....></asp:...>字段仍然存在?? 请教VB高手们一个高难问题! 请问,存储过程在VC如何调用,用ADO,ODBC。 怎么实现这个SQL? 没事瞎问~~~黑客软件能走向海外吗?(比如扫描器,键盘记录器,木马等) windows protect --error ,我装不了系统啊 DbEdit里的数据用adoquery如何更新才好? 有没有办法调试存储过程? 我是个菜鸟,请教大家,VC++和C++ Builer的优点和缺点。 请问如何改变显示文本的颜色? delphi 6 的补丁包 浏览器为NS6时如何获取屏幕分辨率? 如何控制 ValueListEditor ?有一个Help这样写道: 各位斑竹请进来,紧急求救呀!!!!! 是否可以把用asa建的数据库转变为access? 在java中如何压缩和解压文件夹? 如何在运行期把最大化,最小化按钮灰掉!? 求一句广告词 请教一个毕业设计的问题,关于在c++buileder中OLe对象调用:怎么样把word中的表格导入到数据库 请问如果在首页中加入一个论坛的登陆对话框? 这样的IIS错误信息,是什么意思,怎么解决? 问一下,vb怎么连接数据库呀`~(access)有代码吧~~给分呀` 如何画箭头? C#进行嵌入式开发,方便吗? 她为什么看上我??! 如何用BCB从mp3文件中得到歌名,歌手名,唱片集,流派等! 各位知道有关于ORACLE系统管理实例方面的书籍吗? ADO访问access数据库,怎样编辑一条记录啊? 请教各位关于win2000默认共享的问题 喜欢德国队的进来,坚韧不拔的意志和不到最后一刻不放弃的精神!!!! 如何判断图像大小 com的参数传递问题 请问:如何将pb数据库中的表倒入vf数据库中???急!!!!!! 大家好,关于数据库的问题请,大家帮忙。 一个关于button的简单问题 有没有将图片设为桌面的api函数,若有怎样用?若没有,怎样实现该功能? 我在adotable中删除数据它老是报错:”键列信息在最后读取中改变“(急用) 如何将CString类型转换为int型? wyx病毒的所有症状表现、危害性、解决方法。 在线等待--100分(很简单的问题) 急急急!! 氢离子电子式 用热的快在电壶里烧水对电壶有害没?听说那样烧久了壶就不保温了 某同学在做电解水的实验时通电一段时间后,水的质量减少了2.7g(不考虑蒸发),理论上的H2和O2质量分别是多少 两根材料相同的均匀导线x和y串联在电路中,两导线沿长度方向的电势变化情况分别如图 电壶烧水,一段时间后发现壶盖在跳动,这种现象中能是整样转化的? 苯酚钠溶液和通入二氧化碳成什么? 并联电路中的一条支路电阻变化时,各个支路的电流分配会发生变化吗?在电源不变的情况下,即电压不变 电水壶不烧水时壶身与电座分开放好吗 一根铜导线和一根镍铬合金线.长短粗细都相同.把它们并联在电路里,通过哪根导线的电流大?为什么? 并联电路各支路分到的电流大小与电阻成____,电阻越大,分到的电流就越____.并联电路各支路分到的电流大小与电阻成____,电阻越大,分到的电流就越___,并联电路的总电阻比其中任何一个电阻都 电壶烧水把电能转化为()能1.2.热能 3.机械能 NaH是一种离子化合物,其中钠显+1价.NaH与水反应放出氢气.下列叙述错误的是A.NaH还原剂,水是氧化剂B.生成的另一种产物是氢氧化钠C.NaH的氧化产物是氢气D.水的氧化产物是氢气请问答案C正确吗, AB和BC 是由同种材料制成的长度相同的两段导体,将它们串联入电路中比较通过它们的电流和电压的大小 所有的原电池中是不是都是电解质溶液中的阴离子移向负极,阳离子移向正极? 从化学角度分析,甲醇有哪些特性?有什么通途? 有同种材料制成长度相等的导线串联 AB比BC细 比较他们的电压电流数量关系 春雨的诗句15句 甲醇、丙醇是怎么命名的,就是说有什么特征,为什么这么叫还有甲酸,乙酸还有那个丙三醇, 并联电路中支路电流是怎样按支路电阻分配的 电解水反应的化学方程式为 . 氢化锂是制作氢气的来源,反应化学式为LiH+H2O=LiOH+H2↑.计算80g氢化锂与足量水反应产生氢气质量 在并联电路中,有两条支路,其中一条的电阻比另一条的电阻大,那么电阻较大的有电流通过吗?或者在串联电路中,如果其中一处断路,那连接在电路中的电压表会偏转吗?如果并联电路中部分 从电解水的化学方程式 金属氢化物可以快速与水反应制取氢气,如:氢化锂与水反应的化学方程式为LiH+H2O=LiOH+H2.若制取10克氢气,需要消耗多少克氢化锂? 英语短文(礼仪方面)大一新生做课前发言,需要一篇英语短文要求:关于礼仪的 不要低幼化不要用特别难的词(符合大1新生) 电解水的化学方程式 化学上利用氢化锂和水在常温下反应制取氢气同时生成氢氧化锂反应的化学式为LiH+H2O=LiOH+H2↑生成的氢氧化锂能和多少克质量分数为10%的稀盐酸恰好完全反应 氢气还原氧化铜的方法测定某氧化铜样品的纯度(杂质不与氢气反应),同学们设计了以第三小题我选的是A和B,正确答案是BA为什么不是正确答案?如果装置的气密性不好,那就可能会导致空气 电解水的反应的化学方程式 苯酚,NaOH,CO2怎么反应?生成物好像是水杨酸钠反应式是什么?还有反应条件~ 带电粒子在复合场(电场与磁场同时存在)中的运动的分析方法 有两根粗细相同,长短不同的锰铜线,将它们串联在电路中,那根电压大,那根电流大 采用紫外分光光度计法测定时如何选择分析波长 描写春风春雨春风的古诗名句 如果在粗细相同的铁丝和锰铜丝之间选择,你选择---做连接电路的导线,理由是 ( )C2H6OH+( )O2---点燃---( )CO2+( )H2O 氯离子与氢离子能反应吗 煤层气的采集方法可行,是不是利用它驱动燃气轮机可以发电那?如果煤层气采集方便,为什么不利用它作为燃气轮机的燃料发电,然后产生蒸汽供暖. 一句写春雨的诗句 用氯酸钾和二氧化锰制取氧气用向上排空气法收集的最佳时刻 N2H4是一种常用的火箭燃料,它与一种单质X燃烧生成氮气写出X的化学式 原电池里的盐桥里面的离子能移动到溶液中吗?同时溶液中的离子能通过盐桥吗?如果只是让离子集中在盐桥与溶液接触的部分使两边溶液保持电中性,那么突然拿掉盐桥后,盐桥里面的离子不就 酸度0.2换成ph是多少 发射卫星时可用肼(N2H4)为燃料,用二氧化氮为氧化剂,这两种物质反应生成氮气和水蒸气.已知:N2(g)+2O2(g) ═2NO2(g) △H1= +67.7 kJ•mol-1N2H4(g) +O2(g) ═N2(g)+2H2O(g) △H2=-534 kJ•mol-1 电解质溶液在原电池中有什么用?书上说“原电池一定要形成闭合回路”,我不明白“闭合回路”是什么意思?参考书里说要离子的移动来导电,为什么?电子从负极流向正极,然后在正极和水中的 广泛使用酒精、沼气,既可解决能源问题,也有利减轻温室效应怎么错了?老师说它们是清洁能源啊? 发射通讯卫星的火箭用联氨N2H4作燃料用四氧化二氮气体作助燃剂燃烧后的生成物之一是氮气写出反应化学方程发射通讯卫星的火箭用联氨(N2H4)作燃料用四氧化二氮(N2O4)气体作助燃剂,燃烧 电解水的化学方程式有几个? 温室效应和甲烷有关系吗 "为了实验安全,做氢气还原氧化铜实验时,先检验氢气纯度后再像试管中通气体"对不对啊? 电解水化学方程式表示的意义? 甲烷可以直接引起温室效应吗? 用氢气还原氧化铜时在氢气通入前应先检验什么 电解水的化学反应方程式 在原电池中,电解质的阳离子和阴离子分别向什么电源的什么极移动,盐桥中的阴阳离子呢? 在氢气还原氧化铜时,通入氢气前先检验什么,为什么? 有哪些根据化学结构计算最大紫外吸收波长的经验规则 铜的电解精炼为什么铜离子比氢离子铁离子优先得到电子RT 电壶烧水有害吗 紫外最大吸收波长是650nm的话,荧光激发波长该选什么?如果激发波长选了650nm,那根据斯托克斯定理,发射波长不是在可见光外面了?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘