说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

中国大数据六大技术变迁记

HTML文档下载 WORD文档下载 PDF文档下载
2014中国大数据技术大会(BDTC 2014)将于2014年12月12-14日在北京新云南皇冠假日酒店召开。大会召开前期,特梳理了历届大会亮点以记录中国大数据技术领域发展历程,并立足当下生态圈现状对BDTC 2014进行展望。

集“Hadoop中国云计算大会”与“CSDN大数据技术大会”精华之大成, 历届的中国大数据技术大会(BDTC) 已发展成为国内事实上的行业顶尖技术盛会。从2008年的60人Hadoop沙龙到当下的数千人技术盛宴,作为业内极具实战价值的专业交流平台,每一届的中国大数据技术大会都忠实地描绘了大数据领域内的技术热点,沉淀了行业实战经验,见证了整个大数据生态圈技术的发展与演变。

2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会协办,中科院计算所与CSDN共同承办的 2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014) 将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天,以推进行业应用中的大数据技术发展为主旨,拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办,CCF大数据专家委员会承办,南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开,并与技术大会共享主题报告。

本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者,深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展,NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势,OpenStack生态系统对于大数据计算需求的思考,以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用,分享实际生产系统中的技术特色和实践经验。

大会召开前期,特别梳理了历届大会亮点以记录中国大数据技术领域发展历程,并立足当下生态圈现状对即将召开的BDTC 2014进行展望:

追本溯源,悉大数据六大技术变迁

伴随着大数据技术大会的发展,我们亲历了中国大数据技术与应用时代的到来,也见证了整个大数据生态圈技术的发展与衍变:

1. 计算资源的分布化——从网格计算到云计算。回顾历届BDTC大会,我们不难发现,自2009年,资源的组织和调度方式已逐渐从跨域分布的网格计算向本地分布的云计算转变。而时至今日,云计算已成为大数据资源保障的不二平台。

2. 数据存储变更——HDFS、NoSQL应运而生。随着数据格式越来越多样化,传统关系型存储已然无法满足新时代的应用程序需求,HDFS、NoSQL等新技术应运而生,并成为当下许多大型应用架构不可或缺的一环,也带动了定制计算机/服务器的发展,同时也成为大数据生态圈中最热门的技术之一。

3. 计算模式改变——Hadoop计算框成主流。为了更好和更廉价地支撑其搜索服务,Google创建了Map/Reduce和GFS。而在Google论文的启发下,原雅虎工程师Doug Cutting开创了与高性能计算模式迥异的,计算向数据靠拢的Hadoop软件生态系统。Hadoop天生高贵,时至今日已成为Apache基金会最“Hot”的开源项目,更被公认为大数据处理的事实标准。Hadoop以低廉的成本在分布式环境下提供了海量数据的处理能力。因此,Hadoop技术研讨与实践分享也一直是历届中国大数据技术大会最亮眼的特色之一。

4. 流计算技术引入——满足应用的低延迟数据处理需求。随着业务需求扩展,大数据逐渐走出离线批处理的范畴,Storm、Kafka等将实时性、扩展性、容错性和灵活性发挥得淋漓尽致的流处理框架,使得旧有消息中间件技术得以重生。成为历届BDTC上一道亮丽的风景线。

5. 内存计算初露端倪——新贵Spark敢与老将叫板。Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,从多迭代批量处理出发,兼容并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。在短短4年,Spark已发展为Apache软件基金会的顶级项目,拥有30个Committers,其用户更包括IBM、Amazon、Yahoo!、Sohu、百度、阿里、腾讯等多家知名公司,还包括了Spark SQL、Spark Streaming、MLlib、GraphX等多个相关项目。毫无疑问,Spark已站稳脚跟。

6. 关系数据库技术进化—NewSQL改写数据库历史。关系数据库系统的研发并没有停下脚步,在横向扩展、高可用和高性能方面也在不断进步。实际应用对面向联机分析处理(OLAP)的MPP(Massively Parallel Processing)数据库的需求最迫切,包括MPP数据库学习和采用大数据领域的新技术,如多副本技术、列存储技术等。而面向联机事务处理(OLTP)的数据库则向着高性能演进,其目标是高吞吐率、低延迟,技术发展趋势包括全内存化、无锁化等。

立足扬帆,看2014大数据生态圈发展

时光荏苒,转眼间第2014中国大数据技术大会将如期举行。在技术日新月异的当下,2014年的BDTC上又可以洞察些什么?这里我们不妨着眼当下技术发展趋势:

1. MapReduce已成颓势,YARN/Tez是否可以再创辉煌?对于Hadoop来说,2014是欢欣鼓舞的一年——EMC、Microsoft、Intel、Teradata、Cisco等众多巨头都加大了Hadoop方面的投入。然而对于众多机构来说,这一年却并不轻松:基于MapReduce的实时性短板以及机构对更通用大数据处理平台的需求,Hadoop 2.0转型已势在必行。那么,在转型中,机构究竟会遭遇什么样的挑战?各个机构如何才能更好地利用YARN所带来的新特性?Hadoop未来的发展又会有什么重大变化?为此,BDTC 2014特邀请了Apache Hadoop committer,Apache Hadoop Project Management Committee(PMC)成员Uma Maheswara Rao G,Apache Hadoop committer Yi Liu,Bikas Saha(PMC member of the Apache Hadoop and Tez)等国际顶尖Hadoop专家,我们不妨当面探讨。

2. 时过境迁,Storm、Kafka等流计算框架前途未卜。如果说MapReduce的缓慢给众多流计算框架带来了可乘之机,那么当Hadoop生态圈组件越发成熟,Spark更加易用,迎接这些流计算框架的又是什么?这里我们不妨根据BDTC 2014近百场的实践分享进行一个侧面的了解,亦或是与专家们当面交流。

3. Spark,是颠覆还是补充?与Hadoop生态圈的兼容,让Spark的发展日新月异。然而根据近日Sort Benchmark公布的排序结果,在海量(100TB)离线数据排序上,对比上届冠军Hadoop,Spark以不到十分之一的机器,只使用三分之一的时间就完成了同样数据量的排序。毫无疑问,当下Spark已不止步于实时计算,目标直指通用大数据处理平台,而终止Shark,开启Spark SQL或许已经初见端倪。那么,当Spark愈加成熟,更加原生的支持离线计算后,开源大数据标准处理平台这个荣誉又将花落谁家?这里我们一起期待。 

4. 基础设施层,用什么来提升我们的网络?时至今日,网络已成为众多大数据处理平台的攻坚对象。比如,为了克服网络瓶颈,Spark使用新的基于Netty的网络模块取代了原有的NIO网络模块,从而提高了对网络带宽的利用。那么,在基础设施层我们又该如何克服网络这个瓶颈?直接使用更高效的网络设备,比如Infiniband能够带来多少性能提升?建立一个更智能网络,通过计算的每个阶段,自适应来调整拆分/合并阶段中的数据传输要求,不仅提高了速度,也提高了利用率。在BDTC 2014上,我们可以从Infiniband/RDMA技术及应用演讲,以及数场SDN实战上吸取宝贵的经验。

5. 数据挖掘的灵魂——机器学习。近年来,机器学习领域的人才抢夺已进入白热化,类似Google、IBM、微软、百度、阿里、腾讯对机器学习领域的投入也是愈来愈高,囊括了芯片设计、系统结构(异构计算)、软件系统、模型算法和深度应用各个方面。大数据标志一个新时代的到来,PB数据让人们坐拥金山,然而缺少了智能算法,机器学习这个灵魂,价值的提取无疑变得镜花水月。而在本届会议上,我们同样为大家准备了数场机器学习相关分享,静候诸位参与。

而在技术分享之外,2014年第二届CCF大数据学术会议也将同时召开,并与技术大会共享主题报告。届时,我们同样可以斩获许多来自学术领域的最新科研成果。

更多精彩内容,请关注CSDN云计算频道,新浪微博@CSDN云计算,CSDN大数据微信公众账号。

CSDN诚邀您参加中国大数据有奖大调查活动,只需回答23个问题就有机会获得最高价值2700元的大奖(共10个), 速度参与进来吧!


免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Impala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。

百度手机卫士正式发布 “防吸费”功能全球首创 2013年平板电脑市场竞争回顾 Apple太阳能数据中心进展顺利,但却在税负减免上备受争议 一名开发者的年度回顾 智能手表Pebble明年初推应用商店 开发者今日起可提交应用 够快科技推出企业级云存储服务“够快云库” 项目开发中,质量和速度哪个更重要? 亚马逊AWS落地中国,云计算产业圈集体发力 Node.js 2013年大事记 【开源推荐】ThinkPHP:大道至简,让Web开发更简单 IE11中的WebGL探秘:渲染速度超Chrome 数据驱动智能:百度在计算广告学领域的技术突破 UX设计师和软件开发者,谁将是2014年的老大? 爸爸去哪儿:开发知名题材手游压力山大 多平台同步 谈IE11全新功能 高通副总裁沈劲:移动是产生变革的强大原动力 高性能、高流量Java Web站点打造的22条建议 云巅:第三代虚拟技术+搜索引擎+乐高理念打造分布式桌面云 Intel:从“芯”构建下一代数据中心 WhatsApp:50名员工,月4亿活跃用户,日160亿条消息和5亿张图片 三星Galaxy Gear智能手表失利 需改进的8个方面 IE11全新的F12开发人员工具详解 研发周报:为什么开发者担心将代码公布 Hadoop YARN的发展史与详细解析 一周消息树:Firefox OS会不会成为下一个Android PhoneGap 3.3.0发布,支持Android 4.4 KitKat 移动周报:两岸三地在线编程学习网站大搜罗 有道周枫和他的“放养”团队 看IE11如何助力AAF推动公益事业 SUSE总裁Nils:将SUSE Cloud 2.0打造成“零影响的云安装程序” Windows 8之父Steven Sinofsky:2014年科技界的十大趋势 如何获得一个文件的完整URL地址? 谁能详细的讲讲我不明白的例子。我开ID送1000分。我把ID给费了。一定要搞懂 Applet从html中读取参数信息????? 在win98里可上网,但为什么不能查看网络邻居的属性?(在线等!!!) 关于超星的问题 有谁知道win2003+sql2000的问题? 怎么删除表中列的DEFAULT啊??? 高手请进,将程序加为服务 关于邮件服务器 组件编写中的问题--如何显示图标 记得以前学计算机的热情很大,并且非常希望有一台计算机,可是现在机器有了,却没有了以前的热情,经典书买了一堆却都没有看,我在想到底要不 关于超星的问题 大家装了windows server 2003么?怎么样啊?讨论一下好么!! 救救我吖!!怎样在oracle8.0.5中直接添加数据!!高分!急!! 大问题!!!装2003后网卡驱程不行,声卡装了听不到声音??? java能不能实现多文档(象VC++中)? 哪位E文好的同志能把这段话翻译出来,是RFC1928中的一段。 一个比较低级的问题-vb里面的回车换行孵的ASCII码是多少?? 奇怪!!!奇怪!!!奇怪!!!奇怪!!!快来看看! 谁知道windows的按文件名排序是怎么回事阿? ie问题 如何从一个框架调用另一个框架的方法?有办法吗?(在线) 突然觉得计算机语言有个误区 请问我用depends打开了dll文件,看到了里面的函数,但是参数表和返回值类型没有啊 水晶报表急问,大家帮帮忙看看! 请教文件查找的问题。 谁知道windows的按文件名排序是怎么回事阿? oracle难学吗 <jsp:getProperty name="userInfor" property="*"/> 出错!!(在线等待) 如何在vb中设置Combo的默认值?立刻给分 点击按纽,打开应用程序文件,并获得应用程序的窗口标题,怎么实现??? Linux遇到CORBA问题——高分有送! 新的IBM 60G硬盘(7200转)在PII上检测不到(硬盘没问题,在其他上能正常使用,有没有解决办法?) 21世纪合格人材必备7大技能 对加密感兴趣的同志请进,介绍一下有关书籍和代码。 word中的特殊数学符号无法在Authorware中显示 windows 下刪除文件是怎麼刪除的用什麼函數??? 找一部电影,《国家的敌人》 高分送高人:一个OLE和数据库的小问题 父子表的更新怎么办? 电话拨号程序,给点提示 关于调用存储过程的问题!在线,搞定就结 求问,关于BEA weblogic 7.0 100分求助Windows Server 2003 的cdk! 那位大侠帮忙谢谢! hello 大家好!不好意思又有问题了 我一直想学会的一个简单问题,谢谢! 问一个参数传递的超菜问题? 怎样才能将资源文件中的 图片 二进制文件 保存到磁盘上 请教这句是什么意思? 关于页面设计的问题?高手请教!! 100分求助Windows Server 2003 的cdk! 那位大侠帮忙谢谢! 口语宝怎么样?问学堂的口语宝口语宝怎么样?问学堂的口语宝 用过的请详细描述下 物理为什么Q吸=Q放.这是一个公式吗,有没有什么要求的.速解, 求解释第4小题 求解释38题的所有选项,和第39题 求解释第45题 骂人的词语,例如‘蛋白质’【笨蛋、白痴、神经质】稍微难一点的, 初三物理关于Q=cmt的计算题一个铁球的质量是10g,放在火炉中加热较长时间后,取出立即投入14摄氏度,质量为60g的水中,水温最终升至25摄氏度.已知铁的比热容为460J/(kg*摄氏度),求火炉中火焰 请问,第九题的选项A为什么错误? 工科数学分析求极限 关于Q吸的物理题用太阳能热水器将30Kg、温度为20℃的水加热到45℃,水吸收的热量为多少J? 我得到了启示550字以上,急,好的加分 若代数式2y平方+7的值是8,那么代数式4y平方-9的值,过程,速度 英语翻译文书有气卦生忧世位逢冲是不同欲问功名芹淑里当回窗下且藏修j 全宇宙比流离更加脑残的生物 大家知道问学堂口语宝价格多少么?想买呢,去哪里比较好呢? 如何翻译成英语 中国汉朝有句古话,家庭快乐则天下太平 我得到了启示.(扩句) 若x小于2时,求代数式x-2/ |x-2|的值, 翻译 一句中国古语~~a king shall be anxious for the misgivings before others are fear of that, and showing the happiness after others feel happyeveryone is responsible for the nation’s survive and decline 塑钢窗变黄怎么处理? 蛋白质和酶的区别 一个人应该必须具有的品质有哪些 雪地摩托-英语怎么写?在汉语中”雪地摩托”是一个词,不知道在英语应该怎么写啊?有知道的.麻烦一下.谢谢了 对于外界的压力,可以通过正面抗争去战胜它,但有时也需要像雪松那样先弯曲一下,作适当的让步,以求反弹的机会.说说你对这句话的理解. 问学堂的口语宝好用吗?朋友给孩子买的口语宝,孩子挺喜欢的,英语提高的还挺快,看看给孩子买用过的朋友来说说啊 函数不行吧谁创建的? protel99 原理图元件制作protel99 中的原理图元件自己制作时,要求元件必须在图纸坐标的中心,但是在实际操作中元件不能放在正中心是怎么回事?以前有人说可以通过调节光栅和光标捕捉尺寸设 一个人应该具有的品质有哪些? 监察和监管分别是什么意思啊 请问酪氨酸蛋白激酶和酪氨酸酶有什么区别? 一个人应该具备哪些素质写个作文 印迹清晰,即印即干.英语怎么说? 一句话介绍一位名人要写清楚国家、名字、作品 有关【错题集】我之前都没怎么做过错题集 但是一直听别人说好.所以有一些问题:.各科错题都用一个本子吗 还是一科一本【一科一本会不会太多了,书包很重伤不起.】 .是所有错题都往上 饮湖上初晴后雨 前两句比喻什么 对于外界的压力,可以通过正面抗争去战胜它,但有时也需要像雪松那样先弯曲一下,作出适当的让步……,联想古诗在今晚10点之前 一个人的成功,必须具备哪些品质. 二鸿文言文的中心思想是什么呀, 写出你所读过的课内要求外的名著的作品名称,并简要概括名著内容(一句话)? 你觉得一个人成功最需要具备的品质是什么? 阴阳眼如何开 对于外界的压力可以通过正面抗争去战胜它但有时也需要像雪松那样先弯曲一下,作适当的让步,以求反弹的机 口语宝有那么好吗?最近我听说我一个邻居给他的小孩买了口语宝,他小孩的英语成绩直线上升,就是不知道这个对我小孩有没有用. 怎么开阴阳眼(方法简便,)什么用牛眼泪,什么又,吞 乌鸦眼, 还有看过很多,都没用.我只想开开阴阳眼,回答得好 加分100...!顺便拜个会抓鬼的师傅,我想 跟他学学 送东阳马生序千古名句是哪句多写几句 口语宝好用吗? 英语翻译:她只是普通水平 将来进行时的疑问我知道是will/shall be doing sth 那么请问如果是瞬间动词,可以变成ing形式吗 某探空气球(包括其下面的吊篮)与其下方吊篮中物体的质量之比为1:2,吊篮所受的浮力和空气阻力忽略不计,气球所受的空气阻力与速度成正比,所受浮力始终保持不变,此时气球以1米/秒的 怎样靠接电池负极的开关通断来控制三极管的通断呢?如图要在电池正极和D2阳极之间接入三极管之类的,达到S1断开时,三极管截止,电池正极和D2阳极之间为断开,S1闭合时,三极管饱和,电池正极 关于将来进行时的几道题怎么写2和4题 .Q】如图附1所示为一个“W”形的容器,左边管内装有一些水,右边管中装有某种油,中间部分封闭了一些气体.则由图中数据可求得这种油的密度ρ油=_________kg/m3,封闭气体比外界大气压大_______ 把电池里面的电能输给用电器为什么还连接负极 问学堂的口语宝好不好啊? 英语翻译把中国的事情办好,本身就是我们对国际社会能尽的最重要责任我的翻译是:the most important duty China can fulfill is to deal with its own affairs well.2楼的高手翻译的好高深阿,能不能解释下, 从电源正极先经过用电器后经过开关最后回到负极用电器会亮吗? 问学堂口语宝效果好吗? 问学堂口语宝怎么样 第21和22题双选题 带有亲昵的骂人有哪些词?像,笨蛋 口语宝怎么样 [娱乐]世界上最脑残的生物是什么?这是娱乐,何必当真. 公募基金会陷转型困局:筹资难 执行效孙杨被曝年初就已无证驾驶 曾承认会开部分地区滥用官员“一票否决” 下级造岳阳3儿童上学被绑架杀害 每位死者家孙杨凌晨发微博道歉信 还在交警队接受孙杨承认无证驾驶 致歉希望给其改正错遵义落马书记廖少华曾高调反腐 刮倒一小贩街头向城管人员下跪 官方称摆摊女法国两记者在马里遭血腥杀害德美拟签互不监听协定泰国芭堤雅发生沉船事故一名中国香港籍美飞机饮水验出大肠杆菌 国内航企水箱两记者命丧马里 法总统怒了女子怀孕5月被逼接客 嫖客不忍向媒体男子求爱不成强奸心上人 女方事后未报男子嫖娼被卖淫女嫌弃 讨嫖资被拒怒砍“双十一”商家备战百态 强化消费者唯孙杨无证驾车遭公交车追尾 浙江体院证国研中心学者:土地制度改革须制订时间世界多地现日食奇景 肯尼亚部落跳舞庆迎接十八届三中全会:寻求改革“最大公港运钞车现金散落被捡走续:情侣涉嫌拾柯震东:重庆警方破获一起特大贩毒案 缴获冰毒智利街头罕见驴奶畅销 现挤现卖一小杯张艺谋妻子晒二儿子萌照张艺谋妻子晒二儿子萌照能源短缺逼乌克兰向俄施压 克里米亚遭北京警方打掉一入室盗窃团伙 赃物装满北京警方打掉一入室盗窃团伙 赃物装满台联党议员张晋婷涉选举跑票 被开除党郑州海关推介上海自贸区14项海关监管郑州海关推介上海自贸区14项海关监管凤凰体育一周看台故事第一百五十三期台称中国国产航母战力超日印 舰载机或台军称沱江舰是大陆航母杀手 台媒批勿乌克兰掐断克里米亚供电 俄媒称是对俄吃不住劲儿琼瑶诉于正案小说《谪仙记》被侵权 作家白先勇获赔要都符合那还是人吗国民党批民进党选举过程“宽以待己、严
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘