说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Cloudera透露Impala发行版新功能及开源计划

HTML文档下载 WORD文档下载 PDF文档下载
前有Drill、Dremell,后有Blobstore,所有的巨头都在肯时时SQL这块“硬骨头”。Hadoop创业公司Cloudera在今年10月也宣布Impala项目,对比Hive SQL查询速度提升3~90倍。日前,Impala项目经理Justin Erickson在博客中公布了Impala将要实现的功能、发新版时间表以及开源计划。CSDN对其进行了摘译。

【CSDN编译】Cloudera公布了Impala的发布计划以及开源计划。关于发行版,Cloudera表示当下主要工作是完善Impala在生产环境中的功能和稳定性,包括:

图:Impala的特性

  1. 增加文件格式支持——包括Avro格式和LZO压缩的文本格式。
  2. 增加操作系统支持——在CDH4版上支持对红帽企业版、CentSO 5.7、Ubuntu、Debian、SLES、Oracle Linux。
  3. 棘手问题(Straggler handling)——为实现最快的响应时间,Impala需要完成更多的工作让服务器加速,同时降低服务器速度减慢的情况。在大型的集群上,经常出现巨大的性能波动,体现在节点变得缓慢或者磁盘损坏。
  4. JDBC驱动——支持Java应用连接Impala接口。在Apache Hive的JDBC驱动基础上,针对Java应用提供一套通用的SQL接口,同时支持Impala和Hive。
  5. 数据定义语言(DDL)——支持用户通过Impala在Hive元数据共享区创建表。从Impala beta 0.3版开始,你通过Impala进行查询前,首先需要通过Hive建立表。
  6. 更快、更大、更高的内存效率——通过分割哈希连接,Impala可以分割第二个表,所以在整个集群所有的节点上只有一个表的副本被分割。目前,Impala通过与每个节点的内存做join后存储第二个表。Impala将利用表的统计信息来制定策略保证每个请求达到最高性能。
  7. 更快、更大、更多的内存聚合效率——通过分布的本地存储分担预聚集(pre-aggregation)的工作,这样就能减少协调节点(coordinator node)的内存消耗。
  8. 大面积的SQL性能最优化——通过扩展低级虚拟机(LLVM)代码生成,更多的Impala的SQL功能和嵌入,让返回结果延迟降到最低。
  9. 元数据自动刷新——对于Impala的请求实现表和数据无缝的可用性,不存在对Impala手动刷新的问题。
  10. 新的Trevni桶状文件格式——通过类似Google Dremel的ColumnIO格式——Trevni,Impala可以获得更高的性能。对于一个Hadoop用户而言,任何处理框架都可以访问Trevni格式的数据,就像今天访问Avro和顺序文件一样。

关于发行版

Justin 表示,暂定的计划是Impala 1.0通用版将在2013年Q1发布。在beta阶段,依然每2-4周进行更新。这些更新包括提升稳定性以及以上列出的各种功能。比如,两个最常见的问题、增加操作系统支持等等。

关于开源进程

Justin表示,目前Cloudera正在对核心代码以及早期beta版用户(包括Capgemini金融服务、Karmasphere、MicroStrategy、Pentaho、Qlikview和Tableau等,他们已经在Impala上做了几个月的实际产品测试。)的反馈的问题进行追踪,需要时间进行处理才能公开。并重申:

  • 最新的源码库——未来会一直提供更多最新的代码
  • 透明的问题追踪——Jira(一款集项目计划、任务分配、需求管理、错误跟踪于一体的商业软件。)将会服务Impala。(编译/包研 责编/仲浩)

原文:Cloudrea

【云先锋】多备份:云端数据物流平台为企业提供云备份服务 不容错过!开发者必备的十二大开发资源 为Canvas而生:开源2D HTML5渲染引擎CutJS 第九届中国互联网创业者大会在京举办 腾讯发布“三驾马车”组合拳产品 入手Beats,苹果史上最大手笔收购为哪般? Gmail有生以来最大手术 全新设计曝光 Python开发者最常犯的10个错误 博康智能副总裁张善海:活化运用大数据 实现传统交通系统间的数据融合和共享 刘刚:从互联网到传统行业 Hadoop发展迅猛! OpenFlow多级流表在云计算网络中的应用 分享大数据最佳落地实践 助力企业数据驱动型转型 怎样成为优秀的产品经理? Google发布新版AdMob 将在更多市场推出 触控ARM“结连理”,Cocos2d-x性能提速70% Per Brashers:智能、能耗、安全将是未来数据中心发展的关键! 梁博:OpenStack已在IaaS层面扮演重要角色 云计算三大主流阵营的竞争与合作 如何使用15美元每月的机器实现百万文档检索 外媒路透社:小米本周四发布首款平板电脑,八九不离十 移动支付帝国战:谷歌、苹果、Facebook、亚马逊孰胜孰负? 十大响应式Web设计框架 Giraph助力Facebook打造亿万用户间关系链 跪求出名:让应用在App Store中出人头地的12种方式 束文辉:Intel如何玩转OpenStack Facebook社交业务进军中国内地,困难重重 《近匠》透镜:代码级定位,让App性能监控更从容! 联想移动与云新战略 重点深耕企业移动方案 美国高通公司在深圳召开参考设计及无线创新峰会 提供“一站式”整合服务 友盟正式推出消息推送平台 iOS 8新功能再曝光:或推出分屏多任务功能 Framer:开源原型设计工具,巨头们的心头好 MVP是个什么概念???? linux启动不了,Bringup loopback interface时出错,请问是什么原因? 帮帮忙!! 我海军一艘潜艇失事 70名官兵不幸全部遇难!! 明天朋友结婚,征集整人的法子 是谁删除了我贴?? 而且没有跟我说一声!!! 白天工作,晚上溜狗,爽呀!比大暑天喝了冰镇雪碧还爽! 我的jsp服务器是iis+TOMCAT+win2000pro 不知怎的每次用不了多久就显示出 网页无法显示 目前访问该 Web 站点的用户过多,我只是自已用怎么 终于有星了,高兴,散分(第一次散分,请斑竹手下留情) 我的刚装的2000进入启动界面时,进度条读到2/3时就蓝屏了! 请问在运行时向ActiveX控件中添加ActiveX控件的方法是什么? 高手请进:如何在WinNT以上系统进行BIOS读取! 毕业设计的问题,请各位大哥帮小弟一个忙 备份与恢复 数据备份与恢复 我用win2k,下载了php4.3.1,extension_dir是c:\php\ext 可是里面没有php_gd.dll,怎么办,到哪里可以down一个补上? 帮我一下:解决中文问题 新手问题:怎么在用ATL COM WIZARD已生成的dll加入MFC 请问如何删除系统? warton给大家散分来了! 求助,请问哪儿提供的域名空间最好? 新手上路,VB中用ODBC连接ACCESS 关于ORACLE中(多)表的备份和恢复问题 MM``狂给分^*^ 找人一同研究JUnit对于数据库的测试架构 怎样在程序中动态生成数据库(内存库)?求救高手 请问,怎样用本机作web服务器? 这样的夜晚 想起一些故人.... 各位的jbuilder是用什么命令运行的 刚学者求问 python+CGI 如何获得客户端IP Win2000上, 对话框没能弹出到桌面顶层 在静态上下文中不能引用非静态变量? 有没有高手可以举例讲解一下self的各种用法? 一个很困惑的问题:文字处理软件中,字体大小改变时,字符的高度,宽度怎么变化? 移动硬盘在重装系统时忘记拔下来。结果给误删了,求助!没有格式化的! 怎样创建自己的 Cursor ? 请问一下 这个是什么意思 public Properties() { this(null)} 在SQL7中日志满了,如何清除日志. ?????????? 一个编程习惯上的问题 为中国争口气!投中国的长城和布达拉宫一票!!恳请置顶! 菜鸟问题4。。。。 网上现在有没有用ASP.NET做的实例 vc.net为什么没classwizard 有关CDC的一个问题,有代码,请指教! 要陪老婆,兄弟们,给我顶住,我先闪了,..... javascript 能否取得客户端的IP? 关于删除xp_cmdshell的问题 哪儿可以下载vc++.net? 那位兄台能否告诉我如何crack Together Edition for JBuilder !(本人纯属学习之用) Cypress EZ-USB 的问题 急! 求泰勒斯威夫特的新专辑red里面come back...be here,we are never ever getting back together还有还有sad beautiful tragic,以及以前的safe and sound和you belong with me,back to december的伴奏,各位有多少都发给我吧, 家里挂镜子好吗 世间安得双全法,不负如来不负卿? 指南车为何人所造? 除哪一种外都是由细胞构成的?A,狗 B,烟草花叶病毒 C,蕨 D,向日葵请说明选择理由哦! 楚王想取笑晏子,却被晏子取笑是什么谚语 7上历史题传说谁造指南车 构成向日葵的组织有 晏子的故事有哪些? 黄帝制造指南车反映出人们可能认识到什么现象? 如图所示,左侧是倾角为60°的斜面、右侧是 圆弧面的物体固定在水平地面上,圆弧面底端切线水平,一...如图所示,左侧是倾角为60°的斜面、右侧是圆弧面的物体固定在水平地面上,圆弧面底端 《我的伯父鲁迅先生》为什么说“四周围黑洞洞的,还不容易碰壁吗”? 余额宝里,在金额相同的情况下,为什么七日年化收益的利率越高,反而收益越少呢?比如说,金额相同的情况下,七日年化收益的利率是4.9940%的收益(2.35)比七日年化收益的利率是4.7960%(2.89)的 他们相爱两年了.They have___each other for 2 years, 四周黑洞洞的,还不容易碰壁忙?这句话怎么理解?(《我的伯父鲁迅先生》) 以余额宝的七日年化利率什么上涨什么下跌.a一定b可能c不可能,数学题 《我的伯父鲁迅先生》课后问题:“你想,四周黑洞洞的,还不容易碰壁吗?”找出类似的句子并解释 世间安得双全法,不负如来不负卿! 《我的伯父鲁迅先生 》四周黑洞洞比喻什么 help!math!已知abcd是正数,且满足a+b+c+d=4,用M表示a+b+c+d,c+d+a,d+a+b的最大值,则M的最小值是多少? correct副词 我的伯父鲁迅先生中“四周黑洞洞的,还不容易碰壁吗?”求理解 help!(5年纪math)有一个长方体铁盒,它的宽与高相等.如果长缩短15cm,就成为表面积是54cm^的长方体,这个长方体的宽是长的几分之几? 单给一个企业的利润表叫进行分析,主要对哪些指标分析呢?在这道题中还有上一年的利润表数据.我想应该是从盈利能力方面着手吧?能具体给几个指标么? I like this pink jacket改否定句;They like the school也改否定句并写出一般疑问句,作否定与肯定回答 MAth promble! help !Why is important to learn to communicate mathematics ? give a real-life exmple of communicating mathematics luck的动词形式,friend的动词形式、副词形式,skill的形容词、副词、动词形式及其反义词 able的名、动、副词形式,simple的名词、副词、动词、反义词 They like super robots(否定句)This pair of gloves is yellow(复数句)The are(horses)in English(提问 math help!)某水坝横截面是等腰梯形,坝顶宽6m,坝高10m,斜坡ΑB的坡度为1:2.现要加高2m,在坝顶宽度和斜坡坡度均不变的情况下,加固一条长50m的大坝,需要多少土方? A:Which sport do you prefer,basketball or baseball?B:I ___ basketball to baseball.横线上填一个单词! 我的伯父鲁迅先生++++++++++++++四周黑洞洞的比喻什么++++++碰壁比喻什么 《我的伯父鲁迅先生》中的“黑洞洞”是什么意思? People on Hainan Island like scuba diving.But do you know what makes it possible for people __26___ under water for a long time?It’s the scuba machine.Then do you know _27___ invented the machine?It was Jacques Cousteau and _28____ friend.Cousteau 如图,如果直线L 的表达式为y=kx+b,那么关于x的不等式kx+b>0的解集是______________如果直线L 的表达式为y=kx+b,那么关于x的不等式kx+b>0的解集是______________,kx+b 参加一次聚会的每两人都握了一次手,所有 人共握了10次手,有多少人参加?这种列方程题目,为什么x-1,x-1是哪里来的?而且x-1为什么和x相乘?并且还除以2? people in Hainan与people of Hainan区别 江西省新余市东山雅筑邮政编码 语文一道题;连( )带( )例;连(蹦)带(跳)英语题目;open your books(改为否定句,但意思不变哦 ) they know what each other is doing.为什么错误错在那里. bamboo的复数复制搜索说出为什么复制搜索 海带细胞中积累的碘的方式是什么? 《我的伯父鲁迅先生》问:四周黑洞洞是什么意思? 四周黑洞洞的,难道还不容易碰壁吗?《我的伯父鲁迅先生》 这句话用的是什么修辞手法 Open the gate.please 改为否定句,句意不变 Kitty is my sister 对画线提问 Kitty是画线的 5人见面,每两人握一次手,一共要握10次()判断 ------- 目前非美元与人民币汇率的波动幅度为中国人民银行公布的该货币当日交易中间价的多少?进行提问 “任意四边形都可以密铺”这句话对吗? 有个成语后面两个字是善诱,前面前是两个相同的字,是哪个成语? The dress,________ a flower on it,is very beautiful. 任意四边形都可以密铺吗 前面两个字重复的成语有哪些? 苹果含维生素C吗?或含那些维生素? 每2个参加宴会的人见面时握一次手,N个人握了几次 (翻译正确必采纳)I live,is to let people see me not pleasing to the eye of each should be! Mrs white (have)a beautiful dress 的水母、海带,陆地上的蜥蜴、小草等 生物细胞中含量最多的是 英语翻译for people to live anywhere near it.中的to是动词不定式吗不能住人,是不是应该是not to live,为什么这儿要用动词不定式呢 The beautiful dress cost her(100yuan)(把括号里的单词进行提问) 初中生物学里有哪些海洋下的食物?例:海带请说出这些的名字, 八条腿的蜘蛛和六条腿的蝉共8只,一共52条腿,蜘蛛多少只,蝉多少只? 登顶黄山 易道为松 2013易道教育武安房屋塌陷续:现场共发现6名失踪人希腊庆祝母乳喂养周 数百母亲当众哺乳传韩对朝政策或出现变化 韩当局称报道比亚迪称在美劳资情况遭失实报道美国捕获长约4米重达330公斤巨鳄【德媒:日本吃醋中德相爱 认为遭受德国英国监管报业是对过度“自由”的反弹美国务卿称美国永远不会允许伊朗有核武罗德曼力促朝篮球队访美 称金正恩是个朴槿惠就历史问题斥责日本 称元首会晤日防卫省对大规模军演限制报道让日媒集俄总统普京将访问越南 适逢俄越潜艇交法两名记者在马里遇害 遗体遍布弹孔新加坡女子用“脸书”寻亲 1个月内找日本岩手县一飞行员因骗取研修费被捕朴槿惠出席法国韩剧派对 当地民众热情夫妻生三胞胎 照顾不暇求助志愿者(图日本岩手县一飞行员因骗取研修费被捕新加坡女子用“脸书”寻亲 1个月内找加沙唯一发电站停运 民众秉烛抗议每天2014年最值得期待楼盘 (候选)月子会所指南首次发布300万角逐公益资助金消费者究竟选择谁?冷却塔纠纷未能冷却的情绪改变不了大环境就营造好小气候痴迷做志愿者卖淫团伙施美人计招嫖 男网友甘当鱼饵戒毒门诊太近 居民盼望搬离部分工地工人 还未拿到平安卡消防条例、社会建设条例获市人大常委会雪糕批发站小火灾 引发邻居诸多抱怨30人当选顺德岗位技术能手多家著名餐饮连锁走进番禺卫生局长不敢喝卫生局监管的水,我可不佛山或成大众新能源车生产基地优惠速递“限外”暂缓,别着急“喜大普奔”众杰日产金秋盛惠续保享礼包failed: 亚航:会妥善处理诉求failed: 风驰电掣
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘