说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Cloudera透露Impala发行版新功能及开源计划

HTML文档下载 WORD文档下载 PDF文档下载
前有Drill、Dremell,后有Blobstore,所有的巨头都在肯时时SQL这块“硬骨头”。Hadoop创业公司Cloudera在今年10月也宣布Impala项目,对比Hive SQL查询速度提升3~90倍。日前,Impala项目经理Justin Erickson在博客中公布了Impala将要实现的功能、发新版时间表以及开源计划。CSDN对其进行了摘译。

【CSDN编译】Cloudera公布了Impala的发布计划以及开源计划。关于发行版,Cloudera表示当下主要工作是完善Impala在生产环境中的功能和稳定性,包括:

图:Impala的特性

  1. 增加文件格式支持——包括Avro格式和LZO压缩的文本格式。
  2. 增加操作系统支持——在CDH4版上支持对红帽企业版、CentSO 5.7、Ubuntu、Debian、SLES、Oracle Linux。
  3. 棘手问题(Straggler handling)——为实现最快的响应时间,Impala需要完成更多的工作让服务器加速,同时降低服务器速度减慢的情况。在大型的集群上,经常出现巨大的性能波动,体现在节点变得缓慢或者磁盘损坏。
  4. JDBC驱动——支持Java应用连接Impala接口。在Apache Hive的JDBC驱动基础上,针对Java应用提供一套通用的SQL接口,同时支持Impala和Hive。
  5. 数据定义语言(DDL)——支持用户通过Impala在Hive元数据共享区创建表。从Impala beta 0.3版开始,你通过Impala进行查询前,首先需要通过Hive建立表。
  6. 更快、更大、更高的内存效率——通过分割哈希连接,Impala可以分割第二个表,所以在整个集群所有的节点上只有一个表的副本被分割。目前,Impala通过与每个节点的内存做join后存储第二个表。Impala将利用表的统计信息来制定策略保证每个请求达到最高性能。
  7. 更快、更大、更多的内存聚合效率——通过分布的本地存储分担预聚集(pre-aggregation)的工作,这样就能减少协调节点(coordinator node)的内存消耗。
  8. 大面积的SQL性能最优化——通过扩展低级虚拟机(LLVM)代码生成,更多的Impala的SQL功能和嵌入,让返回结果延迟降到最低。
  9. 元数据自动刷新——对于Impala的请求实现表和数据无缝的可用性,不存在对Impala手动刷新的问题。
  10. 新的Trevni桶状文件格式——通过类似Google Dremel的ColumnIO格式——Trevni,Impala可以获得更高的性能。对于一个Hadoop用户而言,任何处理框架都可以访问Trevni格式的数据,就像今天访问Avro和顺序文件一样。

关于发行版

Justin 表示,暂定的计划是Impala 1.0通用版将在2013年Q1发布。在beta阶段,依然每2-4周进行更新。这些更新包括提升稳定性以及以上列出的各种功能。比如,两个最常见的问题、增加操作系统支持等等。

关于开源进程

Justin表示,目前Cloudera正在对核心代码以及早期beta版用户(包括Capgemini金融服务、Karmasphere、MicroStrategy、Pentaho、Qlikview和Tableau等,他们已经在Impala上做了几个月的实际产品测试。)的反馈的问题进行追踪,需要时间进行处理才能公开。并重申:

  • 最新的源码库——未来会一直提供更多最新的代码
  • 透明的问题追踪——Jira(一款集项目计划、任务分配、需求管理、错误跟踪于一体的商业软件。)将会服务Impala。(编译/包研 责编/仲浩)

原文:Cloudrea

Android平台下图表绘制相关方法 Activity类的runOnUiThread方法你用过吗 Android上鲜为人知的UI控件介绍和使用 获取Android手机上的图片和视频缩略图 Android JSON解析示例代码 Android ANR介绍与避免 Windows Phone 7 SDK完善度不如Android m3 Android中使用定时器TimerTask类介绍 控制Android LED灯颜色代码 Android应用Icon大小在不同分辨率下定义 Android控件美化Shape你会用吗? Android屏幕截图之View方法 Android开发者应该保持以下特质 Android Widget开发模板 Zipalign使用方法-SDK中的APK文件优化工具 Android蓝牙控制之2.X或以上 Android数组排序常见方法 使用OpenGL开发一个指南针 Android自绘GridView控件 Android平板开发注意事项 Android控件TextProgressBar进度条上显文字 Android内存管理-SoftReference的使用 反射在Android开发中的利弊 intent调用代码总结二 Android缩略图类源代码 Android多人项目开发指导 AsyncTask对比Thread加Handler Android Drawable叠加处理方法 android.os.Debug调试工具使用方法 Android多点触控开发原理 inent调用代码总结,不断完善中 可能是installshield的Bug! 我想去北京找个工作,请大家帮帮忙,提供点信息! 装了“猫”为何还有630错误(电话线也接了)? excel 問題 各位:数据窗口有一检索变量,现在想retrieve出所有的记录,检索变量应该怎样赋值?谢谢! linux和windows是不是只能分别装在两个分区中 关于图像处理:如何使图像锐化与柔化? 帮帮我啦! 我在使用jdbc读取数据的时候,碰到了内存溢出的问题,怎么回事呀 哪里有餐饮系统的介绍?90不够的话,先欠着,多谢了! 在两个ASP程序之间怎么传递参数? ccl2000(不帅不酷的Goblin):其实你真的很酷很帅的。 大侠帮帮我啦(关于SQL语句的问题) 关于Vxd的编译问题 用VC编的程序,一运行就说“执行非法操作”,问题出在哪里?? SQL Server有病 一个关于api的简单问题 《易佳自定义报表》用后很失望 请教各位高手一个有关报表控件的问题? 小妹向大家请教!可不可以直接在本页的代码中改变该页面浏览时的属性? 家菲猫:惊悉你昨晚惨遭不幸,被窃大量钱物,今日一天无法和你联系上,估计手机和通信录已全部丢失,如果今晚无法来我处,明早8点以前请务必携猫 MM 赶到上海南站!!! MDI文档模板和应用程序调用问题请教,大侠请进! 一个c++问题???? 请问各位高手,sqlserver2k加密的存储过程是否能解密,看到它的实际的语句?可否能跟踪加密的存储过程? 我下载了一个formula one ,发现她的界面跟excel差不多,在pb中怎么用? 高分求XML 高级编程(足本)[01.pdf到10.pdf]!!!! 招聘汇编程序员 ie 中true dbgrid 的问题 急招聘汇编程序员 关于WINDONWS文件夹 WIN2000有关用户管理的问题 谁可以告诉我怎么调用已有的EXE文件。 有谁知道广州或南海的高级程序员考试的辅导点 如何把系统时间作为一个文件的保存名? TURBO C语言对磁盘操作的问题 着急招聘汇编程序员 为什么大家得的都是0分? 这行代码是什么意思: 不知怎的,不小心访问到一个网站。我已设为使用空页,可它还是要先启动,画面又恶劣,怎么办? 还是关于从字符串中提取汉字的问题,我是从*.txt取出一个字符串(readln),结果无法提取汉字 请大家帮忙,白送分的 为什么我无法安装win2000??? 如何只显示数据库中的最后一条记录?(只显示一条) delphi中编的COM控件如何在WWW服务器上使用? 如何运行时拖动一个控件,如BUTTON等。 别兴奋了,进入正题吧!老是报到什么的,快讨论呀! 着急死我了 请大家帮我编译一下这个程序吧!!! 读日志文件函数ReadEventLog怎么用,每次调为什么失败?数据结构怎么定义?怎样读已知记录号的一条日志?请检查以下函数为什么不正确? 请问怎样实现菜单的渐变?就是鼠标移动到一个菜单的时候就出现一个渐变的选单背景。谢了。以后加分。 请问哪里有下载VS.net beta2 ? 他这样做有什么目的?RT男友半个月没有理我了,我道歉他不理我(其实我好像没有错只想让步),他什么都不说连分手都不说,一个字都不说,更别说见面了!他还删除了我去他空间的到访记录,平 “理想”对于人生具有怎样的意义?十万火急, 为什么酸碱盐溶液能导电?既有正离子,又有负离子,这不就乱了套? 章目的意思是什么 说明文的定义是什么?说明对象的特征是什么? 酸碱盐的水溶液导电时,溶液中作定向移动的是 告诉我你的理想是什么 蒸馏和分馏有什么区别? 酸碱盐的水溶液导电的原因 你的目标理想是什么? 分馏和蒸馏的区别是什么? 电解质溶液导电是物理过程还是化学过程?原理是什么呢? 嘎子有哪些理想?分别是什么 分馏是什么?与蒸馏有什么不同? 电解质溶液的导电过程属于物理变化? 方向是什么意思 蒸馏与分馏有什么区别? 金属导电是物理变化吗 论文选题的目的 意义 怎么写? 过滤,结晶,分馏,萃取,分液,蒸馏的区别 为什么海水晒盐属于物理变化?为什么米饭烧焦属于化学变化? 发布文章最终目的是什么?发布文章的目的是的让百度收录就可以了是吗? 请问:分馏与蒸馏之间的区别是什么?感激不尽! 海水晒盐是物理变化还是化学变化 论文选题的目的和意义我的论文题目是《正当防卫与防卫过当》请帮我谈谈选题的目的和意义!小弟在这里谢谢你们了! 化学中【蒸馏】【分馏】【萃取】分别是什么啊?有什么区别啊? 海水晒盐是如何变化的?其中有没有化学变化? 两会是什么?两会的目的和意义是什么?作文500字 石油裂化,裂解,煤干熘,石油分熘,皂化反应,具体都是什么, 海水晒盐属于化学中的蒸发吗?我的问题不涉及海水晒盐是否属于化学变化,是想知道蒸发必须加热,而海水晒盐不需要加热,即海水晒盐属于蒸发吗? 论文的意义和目的大神们帮帮忙我写了关于社会保障与社会和谐的论文,谁能帮我写下研究这个课题的目的和意义啊 熔融状态下的氯化钠,离子键已经断了,再使它导电,不就是离子的定向移动吗.我觉得应该不是化学变化呀啊 海水晒盐是化学变化吗 互联网是哪种语言编的 NaCl水中溶解电离电离后为什么一个Cl-周围有6个水分子Na+周围有5个水分子 熔融盐和电解质溶液导电为什么是化学变化 给我的幻想打了一个零分是什么意思?其中幻想可以换成理想吗?为什么? 下列物质溶解在水中,能电离出氯离子的 A.NaCl B.HCl C.KClO3 D.AgCl这种题都怎么做的,是背下来的吗 溶液导电变化分析用如图所示装置分别进行如下实验,测定导电性变化,请按照要求选择填 空.A.导电性变化不大 B.导电性明显增强 C.导电性明显减弱 D.导电性由强到弱再到强 (1)向 AgNO3 溶 军旅题材的电影电视剧里的“十点钟方向”或是几点钟方向等等,我们常常在军旅题材的电影电视剧里听到多少多少方向的,这个方向是什么方向?如果判断、辩别? 在化学中,Nacl在水中电离时,会跟水分子,水的离子发生什么反应?又生成什么? 氯化钠溶液与硝酸钙溶液能否发生化学变化理由是( ) 理想跟目标是什么意思 看战争电影时总听到说方位在几点钟方向,具体是怎样的? 初中化学 氯化钠溶解在水中电离成氯离子和钠离子 就不是以氯化钠这个化合物的形式存在的 这是溶液的性质改变了么 还是氯化钠溶液?既然都已经散了 不是氯化钠了 怎么还是氯化钠溶液详 你奋斗一生的目标或者意义是啥? 一直闹不清楚电影中说的几点钟方向是什么意思? 氯化钠溶于水成为自由移动的离子是化学变化,那没生成新物质啊 理想是什么意思 电影中所说的几点方向是什么意思 NaCl在水溶液中电离是不是化学反应? “两个百年目标”的具体内涵是什么? 美国战争片上经常说的十点钟方向,那这个几点钟方向是什么意思?如题 氯化钠的电离把氯化钠加热到液态就能电离出氯离子和钠离子,那么继续加热到氯化钠气体是不是还能继续导电呢?为什么呢意思就是氯化钠气体是不是也能电离出钠离子和氯离子 这样做是有目的的. 理想的含义.特征及其对人生的意义? 酸碱盐的水溶液导电原因 他这样做什么目的的?我们认识半年了..期间男友的母亲不同意我们在一起...男友一直抗着..到最后男友累了...说分手..那时候他反反复习复说合又分.之后我越想越奇怪..后来我才知道..他母亲 理想集成运放具有什么特点?A.开环差模增益Aud=∞,差模输入电阻Rid=∞,输出电阻Ro=∞B.开环差模增益Aud=∞,差模输入电阻Rid=∞,输出电阻Ro=0C.开环差模增益Aud=0,差模输入电阻Rid=∞,输出电阻Ro=∞D 酸碱盐的水溶液靠什么导电?大家不要想得太麻烦.【最好给个原因啊...
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn