说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

流计算与批处理同现:畅享大数据时代的开源实践

HTML文档下载 WORD文档下载 PDF文档下载
在2013中国大数据技术大会第二天“大数据技术”专题论坛的下午时段,大数据先锋们主要针对Tachyon、SequoiaSQL、Spark、HBase、iStream等主题进行了分享。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

在2013中国大数据技术大会第二天的“大数据”技术专题论坛的下午会议时段,分别由UCBerkeley AMPLab博士&Tachyon创始人李浩源、巨杉数据库CTO王涛、英特尔亚太研发有限公司大数据部门构架师夏俊鸾、奇虎360技术经理赵健博和阿里搜索事业部高级技术专家王峰为我们带来了精彩演讲。下午会议由ChinaHadoop社区负责人谢磊主持。


ChinaHadoop社区负责人 谢磊

李浩源:MemoryProcessing: How Far CanWe Go? 


UC Berkeley AMPLab博士、Tachyon创始人 李浩源

下午场,首先进行分享的是李浩源。他着重分享了Tachyon项目的几个主要特性:

  • 无需更改即兼容Spark和Hadoop
  • 提供Java式的文件API
  • 为raw table提供原生支持。

同时,它还提供了一个PinList功能,可以保证程序即使在内存不足的情况下也可以永远运行在内存之中。

 涛:基于Cloudera Impala的非关系型数据库SQL执行引擎


巨杉数据库CTO 王涛

第二位分享嘉宾王涛带来的则是Impala实践:SequoiaDB是一种文档类的NoSQL数据库,SequoiaSQL则是基于开源项目Cloudera Impala开发的SQL执行引擎。SequoiaSQL不仅仅是“SQL-on-Hadoop”、支持JDBC、兼容Hive驱动,相对Cloudera Impala而言,在下面4点进行了功能增强:

  • 加入SequoiaDB与关系型数据库的读写接口
  • 将metastore嵌入SequoiaDB
  • 增加Update/Delete/Merge语句
  • 查询谓词下压,利用数据库索引提升性能

测试数据表明,SequoiaSQL相对Hive的性能来说,能够达到10倍以上的提升。最后,他也分享了未来的产品计划,如支持聚合下压、排序下压、支持嵌套类型、支持数组类型等,最终将进行基于成本的性能优化。

夏俊鸾:Spark:基于内存的下一代大数据分析框架


英特尔亚太研发有限公司大数据部门构架师 夏俊鸾

随后进行分享的是夏俊鸾,通过他我们了解到,早在2011年Intel就开始贡献Spark项目。当下Intel中国已拥有Spark项目的3个提交者、7个贡献者,其贡献的patch已有70+。在详细介绍Spark之前,夏俊鸾举了一个很有意思的例子,如果把大数据系统比作是手机,那MapReduce只能算是个功能机,而随后出现的Drill、Impala、S4、Storm则是在MapRedcue上各种功能的增强。


他重点对用户在使用Spark时经常关心的几个方面进行了解释:

  • 性能:Spark基于内存,硬件条件足够,可以满足高性能的要求
  • 学习成本:Spark相对Hadoop MapReduce、Impala等来说非常轻量,代码学习成本较低
  • 稳定程度:Spark虽然处于开源社区状态,文档没有Hadoop齐全,但release版本非常稳定
  • 假如内存不足:Spark在遇到内存不足的情况下自动降级运行,减少内存占用
  • 容错:高
  • 兼容性:Spark完全兼容Hadoop

在最后的现场互动环节,被问及Intel为什么这么大力发展Spark项目时,夏俊鸾解释说,Intel会挑选部分发展趋势良好的开源项目并加入进去,这样做能让Intel在未来竞争中保持一定的话语权。当下Intel在中国的合作伙伴已包括阿里巴巴、优酷及爱奇艺。

赵健博:奇虎360超大规模HBase集群增强与改进


奇虎360技术经理 赵健博

赵健博带来了下午场第四个分享,通过他我们了解到,目前360如搜索业务(网页库、链接库、快照库)、安全业务、监控业务等都已应用了HBase集群。

他重点从7个方面对奇虎360近一年来在HBase上作出的改进进行了详细介绍:

  • 专属MetaServer
  • 启动优化
  • Scan
  • Compaction
  • 保护模式
  • 客户端超时保证
  • 索引预加载

如启动优化方面,他们面临着影响集群启动时间的问题:集群大、region多。在集群启动时间消耗中,region打开的过程占了大头。比如,对搜索集群而言,40万个region,启动时间长达3小时,region打开时间需要2小时45分钟。对此,他们给出了对应改进:多线程并行化region检查、减少单个RS region分配时的持锁时间、去除重复的NN访问等。应用这些改进后,搜索集群的启动速度得到了4倍提升。

根据奇虎360的HBase使用经验,他给大家提出了4条有帮助的建议:

  • 根据预期规模,预先创建region
  • 控制region的数量与大小
  • 控制compaction时机与数据: 低峰时操作、避免重复IO
  • 实时监控region健康情况,保持In meta与on server的一致性

未来他们仍继续结合业务在减少region的数量、随机读优化(减少读数据量)、二级索引、服务可用性等方面对HBase进行功能改进。

王峰:阿里搜索实时流计算技术


阿里搜索事业部高级技术专家 王峰

本届BDTC “大数据技术”专题论坛的最后一个分享来自王峰,他介绍了阿里搜索流计算技术iStream诞生的业务背景,其中商品搜索的时效性(秒级)要求是非常高的,比如全网商品降价后需要实时通知给订阅用户、全网商品出现优惠打折需要实时在首页推荐、全网商品抓取后需要实时处理并推送到搜索引擎等。

本次分享中,他重点从下面5个方面对iStream的计算模型进行了详解讲解,这也是一淘首次对外展示iStream计算模型:

  • 基本概念
  • 拓扑结构
  • 消息管理
  • 进度管理
  • 编程接口

iStream的设计遵循了“计算和存储分层、计算之间解耦”、“计算层间采用持久化分布式消息队列进行消息传递”的理念,上下游计算解耦、不互相阻塞进度,使得新业务更加方便接入;持久化的消息流,也方便了多业务共享数据以及问题的追查。 目前,iStream已经广泛应用到一淘和淘宝的大部分生产线上,产生了良好的效果:


最后,被问到未来iStream是否有开源计划时,王峰解释说:公司有自己的淘代码项目,但是这个项目(iStream)做的不是特别久,也正处于生产的上线观察阶段,目前还不合适开源;如果iStream系统获得足够稳定后,包括概念、算法上都没有问题后,可以对iStream进行开源。

更多精彩内容,请关注直播专题 2013中国大数据技术大会(BDTC)   ,新浪微博 @CSDN云计算

NoSQL的可靠性及扩展操作 最新Skype加密技术:“无声”通话能躲过FBI监听 谷歌锁死SDK,能阻止Android碎片化吗? KitCam团队专访:为应用做加法也能雄踞榜首 谷歌哭了:Replicant 4.0 SDK发布搅乱大局 忍者神龟与禅宗启示:如何突破移动广告困境 Linux会是更好的游戏平台?暴雪是这么认为的! 新型恶意软件瞄准Java服务器 AWS被纳为“战略物资”市值或可达到300亿美元? 十张图带你入门Map/Reduce 低端Android野心,Intel发布Atom Z2420处理器 淘宝网的技术发展史(一)——个人网站时代 看Pinterest如何通过架构变化将EC2成本降低了62% 内容vs渠道:法国电信商Free叫板Google 让网站成为应用:Firefox OS掀起革命风潮 屌丝伞兵的逆袭:4人+盛大+远程+最佳手游 新年头彩:Chartboost喜获1900万美元融资 高富帅跻身移动领域 福特开放车载声控API 传低端iPhone最低只要99美元 你怎么看? 辉煌不再 Encanto超级计算机可能被拆分“出售” 知己知彼 企业应用移足云端必须清楚的10大方面 NVIDIA推Android掌机:七年孕育可否成就野心? 人民日报:2013关于新媒体的8个猜想 互联网大时代成就创新小企业 移动互联网创新论坛报道 Mobile Detect:判断移动设备类型的开源PHP类 我是如何Hack Facebook Employees Secure Files Transfer服务的 投资可再生能源:Google 2亿美元投资风力农场 构筑商业生态系统 阿里巴巴集团全面变革组织架构和管理体系 美国众多银行网站遭DDoS攻击 疑似伊朗所为 构建高可扩Web架构和分布式系统实战 CES2013 AMD发布移动处理器路线图和环绕计算概念 怎样读取数码相机的照片,并将它存入sqlserver数据库中(100分) VB6菜单设计器设计的菜单跟到WINDOWSXP下面,会自动变成XP类型的菜单吗? 请问openpicturedialog的用法? 紧急求教:ScktSrvr(Borland Socket Server)设置问题????????? 关于com与asp的疑惑 怎样读取数码相机的照片,并将它存入sqlserver数据库中 JSP里连接DB2的疑问? 为什么dbgrid的网格颜色属性的更改不是每次都可以。 请教名位大虾!~怎么安装.NET?今天刚买的,却不会装,七张光盘的!~ rose 的问题, SELECT 语句中的WITH TIES作用是什么? 西南交大 农历这么转换成公历?UP有分!急用!问题解决马上给分!不够再加。 关于数组的问题!在线等,谢谢了 不从新发送信息,则无法刷新页面!!! 一个旧声卡怎么才能知道它的型号? 我使出浑身解数,还是装不上sql server2000 ,怎么办? 各位师兄,想问一本书(王国荣的)的书具体内容?! 请问该如何处理?? 请教:关于excel2000链接对象.谢谢() CBC6使用手记--鸡肋 在线等待 如何从一个数据表的某字节中只提出来N个字符!!!!(帮我看一下,谢谢) dbgrid 与 adoquery 的记录如何...? 难道没有人懂水晶报表!??? 季老大帮我搞定!!!!!!!!! 请问该如何处理??在线等 谢谢了!!! 谢谢提供需求分析、概要设计、详细设计、等步骤的样本!!! 用HWiNFO32 V1.22检测机器硬件信息,当检测到“IDE/SCSI Drive(s)”时,硬盘灯常亮并死机,请问是什么原因?是硬件的问题吗? HELP ME AGAIN! 我新买的机器,看看是不是被骗了 谢谢提供需求分析、概要设计、详细设计、等步骤的样本!!! 两个笑话,大家也来帖帖 一个算法,如何快速的从一个大字符串数组里面删除一个小的字符串数组的内容 紧急求救 http://www.driverdevelop.com 好像关了!!! 请问:构件,com,activeX,bean是不是相同的概念?com+和EJB呢? 哪有c++primer第三版? 为何sun one studio在安装模拟器中安装不了6688i 的模拟器?? ComboBox 有问题 我的毕设题目行不行啊? 如何在jsp网页中显示树形目录结构 请问一个计算机本科生出去工作要具备什么条件? 160015.txt怎么取得前面的文件名(160015) 求教高手,java和.net 比,优势在哪里?? 关于wh_callwndproc kook 截获wm-activate 消息 怎样判断两个ACCESS库的表名相同?用代码实现 TRegIniFile有bug? COMEING! D ArcInfo 怎么装不上! 硬鳄的天敌是什么 would作为will的过去式为什么用于现在时那?有哪些具体用法.请列举 His mother usually walks to the park. 改为同义句 ( )( )( )do you have to ask me中文是:你还有别的什么问题要问我吗?括号中可以填What another question吗? 一筐柑橘大约有350个,每次拿3个,每次拿4个,每次拿5个都正拿完,这筐柑橘有几个? His mother usually walks to the park改为同义句 His mother usually____to the park____改为同义句fast 学校把3立方米的沙子铺在长3m,宽2m的沙坑里,可以铺多厚?我脑子短路了 一筐柑桔大约有350个,每次拿3个 每次拿4个 每次拿5个都正好拿完 这框柑桔有几个?PS:关于最大公因数和最小公倍数的 my father usually walks to the park.用go to 改写 什么动物一叫就走? 苹果 梨 橘子各一筐6筐苹果的千克数=5筐梨的千克数 4筐梨的千克数=3筐橘子的千克数 每筐橘子比每筐苹果 30千克,每筐橘子多少千克? Jenny eats some bread and beef ()breakfast.(填介词) 参观滨江区低碳科技馆观后感 一筐桔子大约350个,每拿3,4,5次正好拿完桔子有多少 Dave's birthday party is December 6th同义句 提高孩子阅读能力探讨之二:如何教孩子做阅读题 世界上走得最慢的是什么动物? __________________?yes,his birthday is in december. 怎样教孩子阅读理解? 世界上什么动物走的最慢? his birthday is December ___(twelve).填空 为什么说O型血惹蚊子呢? 动物为什么走得慢 What is your new friend like?与What does your new friend like?有什么区别? 为什么O型血容易惹蚊子 isher lifestyle the same as yours or[ what are the [ It takes Danny about 20 minutes to get to school.英译英要用英文解释句子 O型血最惹蚊子喜欢吗? is his lifestyle the same as yours or __________?what It's u___ to cry for the spoiled milk.如题 最传绣色桃花里指的是什么生肖 烯烃氧化产物到底是什么啊 What c_____ is the milk?It's w_____. 为什么防害虫用黄色门帘? 甲乙两个仓库,存货重量相等,从甲仓运走800吨,从乙仓运走500吨,甲仓是乙仓的四分之三,甲乙两仓原有货物多少吨? 连词成句 week was at your there festival a school last food(?)急用 黄曲条跳甲是一种什么样的害虫,应该怎样防治 世界上什么动物走的最慢 运用有关哲学原理,谈谈当前反腐败的重要性以及如何反腐败才能收到实效. Mary usually has cakes for breakfast at (7 o'clock) .(对括号部分提问) 什么是世界上走的最慢的动物 Danny wants to be a ( ) .he likes driving .填空 He usually has breakfast at home为什么用breatfastHe usually has breakfast at home为什么用breatfast 前面不用 a an the 来形容 单烯烃和二烯烃有什么区别 Danny wants to be a cook .改为一般疑问句 would rather 啥词性? rather than 呢?I would rather do ………………但是可以I rather than do ………………吗? 单烯烃是什么?那有相应的多烯烃么? 为什么地震时动物搬家 would rather…than…结构中than是什么词性, Let’s invite Danny to help us put up the tree.help 与 put up两个动词之间为什么不用to? 1.he to wants to in Beijing go scool造句 2.Danny wants learn in Canada to Enalish would rather...than 后跟的词是什么词性?什么形式?prefer to后跟的词是什么词性?什么形式? 2 、在括号里填上恰当的词语( )的双唇 ( )的画笔 ( )地等候( )地散步 ( )地垂落 :It is u_____ to cry over spilt milk.横线上填相应单词的适当形式 水里面有哪些是天敌?鄂鱼有天敌吗? 苹果 梨 橘子各一筐6筐苹果的千克数=5筐梨的千克数 4筐梨的千克数=3筐橘子的千克数 每筐橘子比每筐苹果 多苹果 梨 橘子各一筐6筐苹果的千克数=5筐梨的千克数 4筐梨的千克数=3筐橘子的千 叔卤代烃和氰根离子反应生成烯烃,是怎么反应的?举个例子呗~ 什么动物最会走 ls her lifestyle the same as yours or different?怎么翻译 烯烃系统命名法 、请举例子 温州房价跌无人接盘 法院变身淘宝掌柜“万人计划”首批名单出炉记:包括3个九旬老人做十余年裸模 曾参加抗美援朝日本女人认为的治愈系男生必备10大特日本“治愈系”萌兔甜点 你舍得吃吗埃及宣布发现巨型天然气田到瓦尔德斯半岛观鲸温州房价下跌无人接盘 法院变身淘宝掌南方泵业为\"甘泉泽校\"捐赠深水泵美媒称白宫叫停监听默克尔 美监听丑闻暴风雪席卷英国罢工雪上加霜 英首相:探寻散落在世界各地的温泉奇景【高清组伊斯坦布尔欧亚海底铁路隧道开通 安倍郎朗任联合国和平使者 杨澜提问遭网民英国海军借布兰妮歌曲“吓退”索马里海叙境内23个化武设置点 21个已被禁谷歌Hangouts升级整合短信 欲日本9月份工矿业生产改善Oculus Rift将生产安卓手机\"人民币女郎\"病危就医 为新中国治污减霾刻不容缓 中国展开“呼吸保卫开发商务楼宇最高奖1000万5月二手楼成交环比涨近一成河田西路何时不“闹心”?调集一切可以动员的力量争分夺秒做好人网上说这就是广州人特征 你怎么看?什么仇什么怨?趁夜砸车盗物 4人团伙终覆灭不服事故认定书能起诉推翻吗?孔特拉:不满目前球队战绩 已向俱乐部美国机场安检“形同虚设”苹果手机丢后小心ID密码被骗游学好风气端午假期遇父亲节 孝心游受热捧国土资源和规划局挂牌中科院院士:高考数学题数量太多 不利\"珠江天使杯\"再掀创新创业热潮用餐免费停车出事故停车场担责酒家无责女游客开窗拍照 命丧狮口灾难面前,相信奇迹与人性力量烟草公司赔吸烟受害者886亿恋物癖是异常性行为
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘