说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Cloudera透露Impala发行版新功能及开源计划

HTML文档下载 WORD文档下载 PDF文档下载
前有Drill、Dremell,后有Blobstore,所有的巨头都在肯时时SQL这块“硬骨头”。Hadoop创业公司Cloudera在今年10月也宣布Impala项目,对比Hive SQL查询速度提升3~90倍。日前,Impala项目经理Justin Erickson在博客中公布了Impala将要实现的功能、发新版时间表以及开源计划。CSDN对其进行了摘译。

【CSDN编译】Cloudera公布了Impala的发布计划以及开源计划。关于发行版,Cloudera表示当下主要工作是完善Impala在生产环境中的功能和稳定性,包括:

图:Impala的特性

  1. 增加文件格式支持——包括Avro格式和LZO压缩的文本格式。
  2. 增加操作系统支持——在CDH4版上支持对红帽企业版、CentSO 5.7、Ubuntu、Debian、SLES、Oracle Linux。
  3. 棘手问题(Straggler handling)——为实现最快的响应时间,Impala需要完成更多的工作让服务器加速,同时降低服务器速度减慢的情况。在大型的集群上,经常出现巨大的性能波动,体现在节点变得缓慢或者磁盘损坏。
  4. JDBC驱动——支持Java应用连接Impala接口。在Apache Hive的JDBC驱动基础上,针对Java应用提供一套通用的SQL接口,同时支持Impala和Hive。
  5. 数据定义语言(DDL)——支持用户通过Impala在Hive元数据共享区创建表。从Impala beta 0.3版开始,你通过Impala进行查询前,首先需要通过Hive建立表。
  6. 更快、更大、更高的内存效率——通过分割哈希连接,Impala可以分割第二个表,所以在整个集群所有的节点上只有一个表的副本被分割。目前,Impala通过与每个节点的内存做join后存储第二个表。Impala将利用表的统计信息来制定策略保证每个请求达到最高性能。
  7. 更快、更大、更多的内存聚合效率——通过分布的本地存储分担预聚集(pre-aggregation)的工作,这样就能减少协调节点(coordinator node)的内存消耗。
  8. 大面积的SQL性能最优化——通过扩展低级虚拟机(LLVM)代码生成,更多的Impala的SQL功能和嵌入,让返回结果延迟降到最低。
  9. 元数据自动刷新——对于Impala的请求实现表和数据无缝的可用性,不存在对Impala手动刷新的问题。
  10. 新的Trevni桶状文件格式——通过类似Google Dremel的ColumnIO格式——Trevni,Impala可以获得更高的性能。对于一个Hadoop用户而言,任何处理框架都可以访问Trevni格式的数据,就像今天访问Avro和顺序文件一样。

关于发行版

Justin 表示,暂定的计划是Impala 1.0通用版将在2013年Q1发布。在beta阶段,依然每2-4周进行更新。这些更新包括提升稳定性以及以上列出的各种功能。比如,两个最常见的问题、增加操作系统支持等等。

关于开源进程

Justin表示,目前Cloudera正在对核心代码以及早期beta版用户(包括Capgemini金融服务、Karmasphere、MicroStrategy、Pentaho、Qlikview和Tableau等,他们已经在Impala上做了几个月的实际产品测试。)的反馈的问题进行追踪,需要时间进行处理才能公开。并重申:

  • 最新的源码库——未来会一直提供更多最新的代码
  • 透明的问题追踪——Jira(一款集项目计划、任务分配、需求管理、错误跟踪于一体的商业软件。)将会服务Impala。(编译/包研 责编/仲浩)

原文:Cloudrea

CodeCombat游戏全面开源:玩游戏也能学编程 Netflix首席云架构师Adrian Cockcroft加盟Battery Ventures Android 4.3附体:RIBX发布FB/Ti 互联网手表 IE11界面布局的秘密武器:Quero Toolbar 【开源专访】Node-Webkit作者王文睿:桌面应用的全新开发方式 CentOS归属红帽:企业级Linux领域社区与商业的融合 印度初创公司Little Eye Labs证实已被Facebook收购 雅虎收购Aviate:重在提升用户体验 SDN领域硝烟再起,Oracle将Corente收入囊中 Hadoop科普文——常见的45个问题解答 CES 2014:奥迪下一代汽车将采用NVIDIA的芯片! Cocos 3.0 Beta发布:更易用、更友好 开拓新兴市场?诺基亚或推Android手机,UI界面遭泄露 预测2014大数据值得关注的8个发展方向 霸主地位再临挑战?Salesforce CEO,我们不只有Oracle LBS应用新星、“司机好助手”微车借力移动互联网,志在打造车主的个人移动门户 新一代IDE Light Table开源:让编程工作更简单 图片应用也能高大上,看Cooliris如何玩转无人机 拥抱Spark,机遇无限——Spark Summit 2013精彩回顾 1月10日:改变世界的iPhone七岁了,你是传奇! 同洲电子推出首款手机操作系统960OS 免费授权使用 如何在Windows 8.1的IE11中打开同步选项卡? 25年老对手评价微软:换CEO可行,但是太迟了 【PPT集萃】十位一线专家分享Spark现状与未来(三) 万元奖品等你拿!2014创客118新年大Party! Firefox OS的2013回顾和2014展望 Strom8 CEO:搞好手游开发,合伙人很重要 2013年Q4全球PC出货量同比下滑6.9% 已连续下滑七个季度 一周消息树:2013年十大产品、图书、公司盘点 专访Wunderlist主设计师Jan Martin:永远不要盲目跟风流行趋势 研发周报:超实用的JavaScript技巧及最佳实践 急!!VB如何实现让windows2000休眠??? 为什么win2000 Prefessional下安装了补丁2就打印不出? 我把flash文件生成了.exe文件,但我想打开它时就是全屏显示的,请问怎么做? 谁帮我理清一下所有的修饰符的搭配情况啊?比如public不能和private连用,而static可以和native连用. 在TabCtrl对象中动态Create了一个Button(父窗口为TabCtrl对象),但是MAP的ON_BN_CLICKED (IDC_PUSHBUTTON, OnButtonClicked)消息却没有任何反应?其他对象的ON_NOTIFY消息有反应的! 第一页可根据查询条件正常显示,第二页就不受查询条件的限制,开始显示数据库里的所有内容(其实第一页的内容还没显示完)查询条件不能传到下一页 大家都会遇到的问题:程序打包以后太大!!!!请大家来讨论、解决!来着有份! JB5中的classpath! 谁可以给我一份报价文档 有人能介绍几本学习ATL的好书 javascript中调用jsp 如何显示剪贴板的内容 各位前辈好.我有个关于TCP/IP协议应用的问题,请大家指点. 除了本站好象很少有人讨论日志文件的,能介绍点好的website吧(国内外均可)谢了先 用什么软件制作和修改.chm文件阿?? 问个弱问题:web服务器和数据库服务器不用同样系列的东西会有问题吗? createbitmap()里頭有五個參數,最後一個參數怎麽設置?我看了英文和中文的解釋都理解不了,誰能給個例子出來呀 如何添加自定义的ToolBar.怎样在命令菜单被check时随意显示和隐藏该工具条?急! 在线等,为什么我的代码原来可以运行,现在不可以了????TextPad 用GetCommandLine()得到的文件名是c:\test\YTEX~1.XY,而我的实际文件名是c:\test\y.txt.XY,我该怎么办? 急急急...为什么我拨号已经拨通了,但我还是打不开网页,ping各个网站也ping不通 各位前辈好.关于TCP/IP协议应用的问题,请大家指点. ***软件加密,急急急!!!请高手指教*** 寻找与CSDN类似的社区软件 谁有SCJP SL-275的原版电子版教材? 标准C程序中调用类的编译错误 access的mdb数据库如何编程知道里面含有那几个表? 谁有瑞星的升级程序,或是授权ID什么的?现在瑞星升级很烦啊!又是注册,又是授权的。 好象很少有人讨论日志文件的,能介绍点好的website吧(国内外均可)谢了先 Ghost之后,20G只剩下一个2G的C:!!!如何恢复,请指教,多谢!!! 我是初学者,问一个比较傻的问题:既然JAVA是一种纯面向对象的语言,那么为什么int i=new int()或int i=new int(1)不能通过编译?谢谢。 哪位能讲解一下,WEB服务器启动一个PHP 脚本的过程? 哪位朋友有没有做过让asp自动生成 Access数据库中的一张表 现想做一模块,主要是对股票数据在网络(包括公司内部网或是INTERNET)进行实时的发送; 关于DcomConnection的一个问题:连接局域网其他机器的应用程序服务器时“拒绝访问” 在VisData中正常通过,但在程序中不能通过,为什么 图像的小波分解和重构,模极大值算法。 师傅不在QQ,在这里吗?有个问题.//小新的徒弟. 老千,上次的那个rose下载网站,你还记得吗?偶忘了,搜索了几遍野没找到//牛虻 在VisData中正常通过但在程序中不能通过,为什么 向各位高手请教两句:tab_1.post selecttab(3) 的作用是不是向tab发送消息,消息内容是selecttab(3)?yield()是不是从消息中查找是否有相同消息,如果有则将它拿出执行? 我很莱,谁能给我简单的解释一下线程是什么?脱壳是什么? 图象资料,轻而易举30分! 和大家交流一下泛型化编程 文件拷贝的简单问题, 大家好:请问:access的mdb数据库如何编程知道里面含有那几个表? 怎样将mysql驱动加到jbuilder中,让Database pilot能认得出,高分相送 高分求教:关于ADO实现数据库!!!!!!!!!!谢谢 请问如何一次删除数据库中的所有数据? 怎么使label框透明!帮帮我! TNMUDP问题:怎样才能知道RemoteHost连接失败??? 气缸气动缓冲和机械缓冲有什么区别 智能气动标记机压力不大,怎么调啊 汽车灯泡有几种型号前大灯 雾灯有H1 H4 H7 HB3 HB4 HB11 H3 还有其他型号的吗 麻烦大侠们给个解答 带导杆气缸有哪些优点 切纸机压力改气动我的是开印刷厂的,用的是半开拉杆切纸机,想把压力部分改成气动的,问一下这个方案可行吗?如果能改,气泵和气缸都要求什么标准的? 汽车的尾灯是不是几种灯组成的总称? 带导杆气缸有哪些? 液压机和气动压力机的区别我们客户要买压力机,英文hydraulic press,请问气动的开始固定台压力机和液压机除了动力源不一样外还有有什么区别?从功能上讲是否是一样的?哪种更先进一些?价钱 汽车前大灯都有哪几种形状?/都有哪几种类型! 驾驶装有abs 系统的机动车怎样采取紧急制动? 气动压力机,压力不足是怎么回事 汽车如何更改公里数 ABS详细的含义是什么?具体作用是什么?没有ABS系统,车辆有什么危险?意向车型:大众 朗逸比对方面:操控度 气动压力机的工作原理是什么啊? 更改汽车标志交警如何处理 气缸的公差与配合 有没有可能在外部测量汽车轮胎气压?不在轮胎内安装传感器,而是通过对轮胎的外部分析,或者直接用传感器接触轮胎表面测得轮胎的气压呢?不需要精准,只要大概数值. 互联网将如何改变汽车 气缸的圆度误差 管材压力试验机有哪些标准? 汽车是由什么生物演变而来? 什么叫汽缸的圆柱度误差?我要书面的表达,不要口头上的,因为是做试卷的, 汽车轮胎气压多少正常? 汉字车的变化过程 那个600MM长气缸怎么做到能再任意位置精确定位啊,误差不大于1毫米的.现在有没有已经成熟的产品能用在这里啊?为什么气电伺服控制器没有成品吗?百度上找不到. 为什么汽车轮胎的气压前后不一样 什么是同步器 气缸,“气缸带位置感测”请问这个“位置感测”在气缸中具体起什么作用?FESTO标准双作用气缸,型号DNC-32-380-PPV-A,型号中的A表示带位置感测 求汽车上所有控制器,和带PCB板开关、灯等得安装位置和作用. 液压油缸的推力和拉力是一样大吗? 冬天汽车轮胎气压应该在多少? 在用干电池,小灯泡开关接入的位置不同,对灯泡的控制作用是否发生变化?1.做出实验电路图2.写出实验方案过程及结论(快!) 关于油缸推力的计算?1、缸径知道(40mm);2、压强(70Mpa)知道。油缸最终推出去的受力面积不知道。能不能知道最终的受力面上承受的是多少N的力?回答者:兖矿兴隆矿 回答的对吗?不考虑 汽车轮胎一般应该是多少个气压? 在串联电路中开关的作用是--------------------------------------.开关的位置的改变会影响对各灯的控制在串联电路中开关的作用是--------------------------------------.开关的位置的改变(会不会)影响对 变速箱同步器的滑块可以不用吗 教练车最前面两个小镜子有什么用我知道是后视镜.不过其他车都没有,我想不需要看.踩下离合器踏板就行了.动力切断就行了. 汽车 前后位置灯 是什么 同步器在花键毂背面的槽里有三个金属滑块,其作用是什么本人愚钝,请详细回答, 谁能告诉下这是什么车的镜子 压力开关都有什么线 汽缸推力计算我要做一个汽缸推动装置,水平推一重250公斤的物体还要有夹紧力 ,行程60mm,汽缸的推力是多少,空压机用0.5-0.7MPA供气谢谢了! 物理论文关于车的镜子和灯水平初二左右,主要是写汽车的镜子的反射还有灯就是关于光的反射折射和传播给我个提纲 压力开关的上限和下限是什么意思 “ 变速器中同步器滑块的作用是,在挂档的初期,将同步环(铜环)推向齿轮结合齿,使同步环的锥孔与结合齿的锥轴面接触、摩擦,从而使铜环转过一个特定的角度,继续挂档运动,滑块将被压下 汽车镜子上的一道线是干什么用的 什么牌子的压力开关好 汽缸活塞推力如何计算? 气动阀门气缸优点? 汽车镜子怎么调 气动上的数显压力开关和真空压力开关有什么区别 机动车在紧急制动时abs系统会起到什么作用 汽车轮胎气压过高对车子有哪些损害?我新手,充气时气压表坏了,过了半月一测量气压600kpa,我靠.我开的是普通轿车.请问对车子有哪些损害?谢谢哥哥姐姐们 压力开关开路是什么意思 物理的压强和V派什么的计算题的公式和讲解我一辈子的事啊 节流阀和调速阀的准确区别 气缸上的调速阀是控制流量还是速度.对气缸工作影响如何.有人说调速阀控制的只是速度.通过改变气体流量来改变气缸的运行速度,对气缸出行压力并无影响.但是, 气缸使用时单向节流阀一般是出气节流,为什么?气缸运行平稳吗? 气缸------这种气动滑台怎么动作的?(图)安装方式是推杆固定呢还是缸体固定的? ------兄弟啊不要随便哪里复制个东西过来好不好啊,这样会误人的. 汽车轮胎标准气压 管接型单向向节流阀排气节流型和进气节流型效果是一样的吗
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn