说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

流计算与批处理同现:畅享大数据时代的开源实践

HTML文档下载 WORD文档下载 PDF文档下载
在2013中国大数据技术大会第二天“大数据技术”专题论坛的下午时段,大数据先锋们主要针对Tachyon、SequoiaSQL、Spark、HBase、iStream等主题进行了分享。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

在2013中国大数据技术大会第二天的“大数据”技术专题论坛的下午会议时段,分别由UCBerkeley AMPLab博士&Tachyon创始人李浩源、巨杉数据库CTO王涛、英特尔亚太研发有限公司大数据部门构架师夏俊鸾、奇虎360技术经理赵健博和阿里搜索事业部高级技术专家王峰为我们带来了精彩演讲。下午会议由ChinaHadoop社区负责人谢磊主持。


ChinaHadoop社区负责人 谢磊

李浩源:MemoryProcessing: How Far CanWe Go? 


UC Berkeley AMPLab博士、Tachyon创始人 李浩源

下午场,首先进行分享的是李浩源。他着重分享了Tachyon项目的几个主要特性:

  • 无需更改即兼容Spark和Hadoop
  • 提供Java式的文件API
  • 为raw table提供原生支持。

同时,它还提供了一个PinList功能,可以保证程序即使在内存不足的情况下也可以永远运行在内存之中。

 涛:基于Cloudera Impala的非关系型数据库SQL执行引擎


巨杉数据库CTO 王涛

第二位分享嘉宾王涛带来的则是Impala实践:SequoiaDB是一种文档类的NoSQL数据库,SequoiaSQL则是基于开源项目Cloudera Impala开发的SQL执行引擎。SequoiaSQL不仅仅是“SQL-on-Hadoop”、支持JDBC、兼容Hive驱动,相对Cloudera Impala而言,在下面4点进行了功能增强:

  • 加入SequoiaDB与关系型数据库的读写接口
  • 将metastore嵌入SequoiaDB
  • 增加Update/Delete/Merge语句
  • 查询谓词下压,利用数据库索引提升性能

测试数据表明,SequoiaSQL相对Hive的性能来说,能够达到10倍以上的提升。最后,他也分享了未来的产品计划,如支持聚合下压、排序下压、支持嵌套类型、支持数组类型等,最终将进行基于成本的性能优化。

夏俊鸾:Spark:基于内存的下一代大数据分析框架


英特尔亚太研发有限公司大数据部门构架师 夏俊鸾

随后进行分享的是夏俊鸾,通过他我们了解到,早在2011年Intel就开始贡献Spark项目。当下Intel中国已拥有Spark项目的3个提交者、7个贡献者,其贡献的patch已有70+。在详细介绍Spark之前,夏俊鸾举了一个很有意思的例子,如果把大数据系统比作是手机,那MapReduce只能算是个功能机,而随后出现的Drill、Impala、S4、Storm则是在MapRedcue上各种功能的增强。


他重点对用户在使用Spark时经常关心的几个方面进行了解释:

  • 性能:Spark基于内存,硬件条件足够,可以满足高性能的要求
  • 学习成本:Spark相对Hadoop MapReduce、Impala等来说非常轻量,代码学习成本较低
  • 稳定程度:Spark虽然处于开源社区状态,文档没有Hadoop齐全,但release版本非常稳定
  • 假如内存不足:Spark在遇到内存不足的情况下自动降级运行,减少内存占用
  • 容错:高
  • 兼容性:Spark完全兼容Hadoop

在最后的现场互动环节,被问及Intel为什么这么大力发展Spark项目时,夏俊鸾解释说,Intel会挑选部分发展趋势良好的开源项目并加入进去,这样做能让Intel在未来竞争中保持一定的话语权。当下Intel在中国的合作伙伴已包括阿里巴巴、优酷及爱奇艺。

赵健博:奇虎360超大规模HBase集群增强与改进


奇虎360技术经理 赵健博

赵健博带来了下午场第四个分享,通过他我们了解到,目前360如搜索业务(网页库、链接库、快照库)、安全业务、监控业务等都已应用了HBase集群。

他重点从7个方面对奇虎360近一年来在HBase上作出的改进进行了详细介绍:

  • 专属MetaServer
  • 启动优化
  • Scan
  • Compaction
  • 保护模式
  • 客户端超时保证
  • 索引预加载

如启动优化方面,他们面临着影响集群启动时间的问题:集群大、region多。在集群启动时间消耗中,region打开的过程占了大头。比如,对搜索集群而言,40万个region,启动时间长达3小时,region打开时间需要2小时45分钟。对此,他们给出了对应改进:多线程并行化region检查、减少单个RS region分配时的持锁时间、去除重复的NN访问等。应用这些改进后,搜索集群的启动速度得到了4倍提升。

根据奇虎360的HBase使用经验,他给大家提出了4条有帮助的建议:

  • 根据预期规模,预先创建region
  • 控制region的数量与大小
  • 控制compaction时机与数据: 低峰时操作、避免重复IO
  • 实时监控region健康情况,保持In meta与on server的一致性

未来他们仍继续结合业务在减少region的数量、随机读优化(减少读数据量)、二级索引、服务可用性等方面对HBase进行功能改进。

王峰:阿里搜索实时流计算技术


阿里搜索事业部高级技术专家 王峰

本届BDTC “大数据技术”专题论坛的最后一个分享来自王峰,他介绍了阿里搜索流计算技术iStream诞生的业务背景,其中商品搜索的时效性(秒级)要求是非常高的,比如全网商品降价后需要实时通知给订阅用户、全网商品出现优惠打折需要实时在首页推荐、全网商品抓取后需要实时处理并推送到搜索引擎等。

本次分享中,他重点从下面5个方面对iStream的计算模型进行了详解讲解,这也是一淘首次对外展示iStream计算模型:

  • 基本概念
  • 拓扑结构
  • 消息管理
  • 进度管理
  • 编程接口

iStream的设计遵循了“计算和存储分层、计算之间解耦”、“计算层间采用持久化分布式消息队列进行消息传递”的理念,上下游计算解耦、不互相阻塞进度,使得新业务更加方便接入;持久化的消息流,也方便了多业务共享数据以及问题的追查。 目前,iStream已经广泛应用到一淘和淘宝的大部分生产线上,产生了良好的效果:


最后,被问到未来iStream是否有开源计划时,王峰解释说:公司有自己的淘代码项目,但是这个项目(iStream)做的不是特别久,也正处于生产的上线观察阶段,目前还不合适开源;如果iStream系统获得足够稳定后,包括概念、算法上都没有问题后,可以对iStream进行开源。

更多精彩内容,请关注直播专题 2013中国大数据技术大会(BDTC)   ,新浪微博 @CSDN云计算

苹果继续改改改!Swift语言何时能稳定? 封闭还是开放?Android Wear离iOS究竟有多远 TIOBE 2015年3月编程语言排行榜:CoffeeScript首次进入TOP 100 2015网页摄影图的六大流行趋势 原生体验挡不住!JavaScript开源跨平台框架NativeScript 自行车,恰到好处的“智能” 联通WO+开放平台:保护消费者权益就是保护移动互联网生态 2015年Google Code Jam编程挑战赛开始报名 Impression Pi:VR头盔的进阶形态 King.com和Halfbrick Studios成功背后的21款工具 五大实用技巧 帮设计师实现高效会议沟通 机遇与挑战并存 Testin进军众测 新增多SIM卡API,Android 5.1 SDK正式发布! 谷歌代码托管平台Google Code将正式关闭 提升Sketch使用效率的6个实用技巧 界面设计原则之一篇:权衡优先级 突出焦点 划分好内容层级 开源的ResearchKit:苹果将如何颠覆未来医疗? CocoaPods 0.36正式发布,实现Swift和iOS 8动态框架支持 C++入门学习书籍推荐 GitHub是如何征服Google、微软和其它公司的 约见越狱大神!2015 MSS移动安全峰会议程披露 Spark 1.3更新概述:176个贡献者,1000+ patches 从游戏设计到星际探险,微软HoloLens全息技术将改变什么? 触摸屏技术未来?详解Apple新手段Force Touch 专访云适配CEO陈本峰:紧跟HTML5热潮,Web组件化知多少? QQ音乐5.0全新设计过程要点解析 GDC 2015感悟:从0到1,VR投入手游开发路漫漫 TestBird发布手游真人众测平台——附中国手游兼容性测试白皮书 与用户的再一次连接,微软的免费升级计划背后 颠覆App!LayaBox用Flash开发重度HTML5游戏 WinHEC:微软小娜与小冰正式登陆Windows 10平台 华泰贝通,北京创智你去那家? /***VC 6.0 的两个操作*/ 有关编译错误,百思不得其解!!(菜鸟那分) 怎么实现程序的换肤功能呢?? 怎样实现左连接(left outer join),右连接 这个网站制作费能值多少?? 怎样处理异质链表? 报表打开的时候缺省为最大化状态,怎么样为设计时候状态? 除了梅尔森式外,还有哪个比较好用的质数生成式?(要100位左右的) 如何在英文版的WINDOWS2k上输入中文? 为了提高大家专家分的质量,希望大家不要再散分了! 我在sun的网站上下了jdk1.4,请问怎么把JBuilder6的jdk升级到jdk1.4? 大家给推荐windows程序,sdk编程的入门好书(不是MFC的)言者有分 我在http://soft.jx163.com/上下载了JBuilder7但不知道怎样得到注册码 有没有其它免费空间(要支持ASP的) 为什么每次打开水晶报表都要求输入oricle数据库的密码和用户名,这些可以在程序里面完成吗?可以再crystalreportviewer空间里面实现翻页 请解释一下ASSERT()函数的作用 informix问题,紧急求救 求救!高手请进来 求助:build winsock 程序时出现 link 错误。 怎样能够将source safe link 像VC哪样集成到自己的应用程序? 关于用ASP+JMAIL开发一个像网易那种类似功能邮件系统的可行性!!!!大家来讨论一下!!! SQL Server7.0的ODBC驱动哪里有(不想安装客户端) 怎样将form中的值加入到数据库中 这个程序是在哪里和在什么时候执行的???? 急啊,我第一次用SQL SERVER,需要把ID号的属性定义为可自动编号,可是找不到相应的字符,可不可一帮帮我? 怎样使DLG的CLOSE(X)按钮变灰? ???? 关于managementserver的问题 b/s中的中文问题 关于udp发送的一些疑惑,请指点,up,gz也给分?(udp) pb的连编问题 对不起大家,内疚ing... 我的专家分怎么忽高忽低?谁给我解释解释! 各位老大,这种报表如何做啊?很急的啊!!!!!!!! 看看这样的东东有没有? win2000 server 启动巨慢,没有病毒,怎么办,症状如下: 用户权限的问题 怎样才是高效的多重循环? 紧急查找pcl-735,db-37的开发接口资料,100分!! 在VC中为什么使用MFC,好处有哪些? 放大問題!20分 高分求教,在线等待!!具体问题请进..... 为什么java出这样的问题 初学者多层分布式的问题 请问谁有从数据库填充DropDownList控件的例子, 这个DropDownList是要在DataList的EditItemTemplate中的,谢谢! 请问谁有从数据库填充DropDownList控件的例子, 这个DropDownList是要在DataList的EditItemTemplate中的,谢谢! BC++安装只用15张DISK,后面3张为什么不用? 一个小问题 weblogic+ejb高手请出来赐教 000000000000020.0000000000000000分提问:以前的加密文件现在如何查看? 我们现实生活中处处都用到数学吗?能举例说明吗?比如比较男人与女人的异同用到了那些数学知识? 请选择运用“对称”、“平移”、“旋转”、“比例”等数学知识在方格图中设计一个图案,并写一写你设计的想法和用到的方法 如图所示,在△ABC中,AB=AC,点MN分别在BC所在的直线上,且AM=AN,BM与CN相等吗?图是一个等腰三角形 顶点为A,点MBCN依次跟A相连 我儿子 手指纹十个斗 脚指十个簸箕我儿子手指纹十个斗, 脚指十个簸箕..挺有意思的..有这方面详知的.透解一下///////他爸爸十指是簸箕..不知道会不会与这个有关联//谢谢啦,知道这种是信其 高一化学题、关于氮的、具体见补充、急求!已知A是单质,A、B、C、D、E 5种物质均含同一种元素,X是地壳中含量最多的元素形成的单质,它们的相互转化关系如下图所示.试回答下列问题.  (1 点解电容是分正负极的,在电路里面怎么接呢?正负极接法有什么特殊规定吗? 手指纹是10个簸箕好不好我的是10个簸箕的 这样的指纹有什么说法吗,跟两个手指分别有1个螺的人配吗 氧气本身具不具有可燃性? 我要做的这个多普勒效应实验的其中一个部分是这个“研究匀速直线运动”,但貌似这一部分只用到了光电门,不是很明白它与多普勒效应的关系, 平抛运动 性质理论意思 类平抛运动与平抛运动的区别具体 多普勒效应实验论文 设计一种装置,能用排水法收集二氧化碳.(提供:集气瓶、导管、胶塞、水、植物油) 类平抛运动举例 在多普勒效应实验中,频率的调节是以什么为依据的,为什么? 模电和信号与系统哪门课先学 PS:我读的是生物医学工程他们的关系? 求'平抛运动和类平抛运动什么区别? 气态烃对氢气相对密度是14,也就是说它的相对分子质量是氢气的14倍,为什么这样理解?相对密度与相对分子质量有什么关系吗? 一堂生物课的启示 (选段)世界上的任何事情都不是像“树叶是绿的”那样简单,因而自己的头脑也要复杂一点,你要认识它,就要在实际中去调查了解,不能人云亦云1.说说你对这段话的理解— 高二类平抛运动一束初速不计的电子流在经过U=5000V的加速电压加速后,再距两极板等距处垂直进入平行板间的匀强电场,若板间距离D=1.0CM 板长L=5.0CM 那么,要使电子能从平行板间飞出,两个极板 如图,在三角形ABC中,AE是中线,AD是角平分线,AF是高.(1)BE=( )=二分之一(如图,在三角形ABC中,AE是中线,AD是角平分线,AF是高.(1)BE=( )=二分之一( )(2)角BAD=( )=二分之一( )(3)角AFB=( )=90°(4)S(三角 一堂生物课的启示阅读答案 生物具有什么特征生物是有生命的物体,它具有( ),摄取( ),( ),( ),( ),( )和变异等特征. 等边三角形ABC中,D,E分别是BC,CA上的点,CD=AE AD,BE交于点F,BG垂直于DF,求证FG等于二分之一BF 用线电缆和功率计算 1、 生物的种不但不会由于个体的死亡而导致该物种的绝灭.而且能保持此种生物性状的稳定,这是因为所有的生物都具有( )的特征.A.新陈代谢和遗传 B.生殖和遗传C.新陈代谢和应激性 D. 已知,如图,△ABC中,D是BC的中点,F是CA延长线上一点,连接FD交AB于E,若AE=AF,求证:BE=CF求大神们自己画图 小学生生活要乐观的事例最好是亲身经历的,普通一点的别太离谱.一定要关于“生活要乐观的”不要讲大道理或名人的事例哦!急用!要写作文的,3个钟头内得完工! 生物必须具备哪些特征 【举生活中的事例】1物体之间发生相对运动时的摩擦 2物体发生滚动时的摩擦那个 分别都要举两个事例 从容面乐观对生活的事例 求高一必修1的专题四 硫 氮和可持续发展重点和提纲~ 欧尚有卖煤油打火机的煤油吗? 洗气瓶的用途(2种)例如:干燥气体.(瓶内放H2SO4,气体从长进可干燥H2请再举两例:其一是除气体杂质 怎么样用简单的工具绘制标准的五角星?比如直尺、绳子(不能用圆规),反正是一般的木匠师傅有的工具.你们的回答怎么说呢,我要是可以画圆,或者说可以画正五边行就不用去画五角星了 多普勒效应的应用市场上有什么产品是用到多普勒效应 洗气瓶有什么作用? 怎样画标准五角星 A、B是两根竖直立在地上的木桩,轻绳系在两木桩上不等高的P、Q两点,C为光滑的质量不计的滑轮,下面悬挂着重物G.现保持结点P的位置不变,当Q点的位置变化时,轻绳的张力大小变化情况是(A 关于平抛运动做平抛运动的物体在相同时间内,速度的增值量与增值的方向如何? 某有机化合物对氢气的相对密度为30 多普勒效应在工程中有哪些应用?我在物理活动中的一个课题,希望每点能详细一些,不要解释什么叫多普勒效应,我要的是它在工程中的应用, 什么是平抛运动 已知:如图△ABC中,BM,CN是∠ABC,∠ACB的平分线,且AM⊥BM于M,AN⊥CN于N,说明:MN∥BC 关于多普勒效应人距公路约50米,一辆汽车以25m/s的速度从公路上匀速驶过,人听到的汽车的频率如何变化?若某一单一频率的声源在观察者上方匀速运动,听到的声音的频率如何变化? 关于平抛运动啦将两个质量不同的物体同时从同一地点以相同的速度水平抛出,不计空气阻力,则以下说法中正确的是( ) (单选) A.质量大的物体先着地B.质量小的物体飞出的水平距离大C.两 电解电容电路图里的正负极图示是什么样的? 四川省南充市cng气瓶贴电子标签在哪里办理?流程和手续是怎么样的?我是买的新车原装出厂的双燃料汽车,要想去加气怎么办理加气相关手续? 三相四线的功率怎么算 如图⊿ABC中BM.CN平分∠ABC,∠ACB的外角,AM⊥BM于N,AN⊥CN于M,求证MN=½(AB+AC+BC) 非主流的经典语句要长的,还要深奥的.关于爱情方面的,如忧伤,开心等等... 三相电力计量箱如何计算电量?我是新参加工作的,我片上有一个三相电力计量箱,型号为:JLSJWH-10他的电流比为:25.50/1 电压比为:10000/100 在计算它的电量的时候应该怎样计算呢.倍率是 2550倍 如何分辨电路图中27管脚电容的正负极 我是乐山一气体充装站的,我们公司要安装气瓶电子标签,我想问一下在周边地区有哪些做这个的公司,最好附上联系电话,小女子万分感谢! 将碳酸氢铵在试管中加热,使放出的气体依次通过盛有足量灼热的碳粉、灼热的氧化铜粉末、浓硫酸的容器,最后得到的气体是()A 一氧化碳B 二氧化碳C 氨气D 水写明原因, 如图,△ABC中,∠ACB=90°,AC=BC,直线MN过C点,AN⊥MN于N,BM⊥MN于M,那么MN与AN有什么关系,为什么?过程 车改气气瓶电子标签被人偷了,怎么办 将盛有氮气和二氧化氮(假设无N2O4)混合气体的试管倒立于水中,经过足够长的时间后,试管内气体的体积缩小为原来的一半,则原混合气体中氮气与二氧化氮的体积比为?【要给解释.】 请标出下列电路图中两个电容的正负极.C1 和 C2的电容正负极 说出哪段正负极即可 等边三角形ABC,点D,E分别在BC,AC上,且BD=CE,AD与BE相交于点F.证明:AE的平方=BE·EF
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘