说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

中国大数据六大技术变迁记

HTML文档下载 WORD文档下载 PDF文档下载
2014中国大数据技术大会(BDTC 2014)将于2014年12月12-14日在北京新云南皇冠假日酒店召开。大会召开前期,特梳理了历届大会亮点以记录中国大数据技术领域发展历程,并立足当下生态圈现状对BDTC 2014进行展望。

集“Hadoop中国云计算大会”与“CSDN大数据技术大会”精华之大成, 历届的中国大数据技术大会(BDTC) 已发展成为国内事实上的行业顶尖技术盛会。从2008年的60人Hadoop沙龙到当下的数千人技术盛宴,作为业内极具实战价值的专业交流平台,每一届的中国大数据技术大会都忠实地描绘了大数据领域内的技术热点,沉淀了行业实战经验,见证了整个大数据生态圈技术的发展与演变。

2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会协办,中科院计算所与CSDN共同承办的 2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014) 将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天,以推进行业应用中的大数据技术发展为主旨,拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办,CCF大数据专家委员会承办,南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开,并与技术大会共享主题报告。

本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者,深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展,NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势,OpenStack生态系统对于大数据计算需求的思考,以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用,分享实际生产系统中的技术特色和实践经验。

大会召开前期,特别梳理了历届大会亮点以记录中国大数据技术领域发展历程,并立足当下生态圈现状对即将召开的BDTC 2014进行展望:

追本溯源,悉大数据六大技术变迁

伴随着大数据技术大会的发展,我们亲历了中国大数据技术与应用时代的到来,也见证了整个大数据生态圈技术的发展与衍变:

1. 计算资源的分布化——从网格计算到云计算。回顾历届BDTC大会,我们不难发现,自2009年,资源的组织和调度方式已逐渐从跨域分布的网格计算向本地分布的云计算转变。而时至今日,云计算已成为大数据资源保障的不二平台。

2. 数据存储变更——HDFS、NoSQL应运而生。随着数据格式越来越多样化,传统关系型存储已然无法满足新时代的应用程序需求,HDFS、NoSQL等新技术应运而生,并成为当下许多大型应用架构不可或缺的一环,也带动了定制计算机/服务器的发展,同时也成为大数据生态圈中最热门的技术之一。

3. 计算模式改变——Hadoop计算框成主流。为了更好和更廉价地支撑其搜索服务,Google创建了Map/Reduce和GFS。而在Google论文的启发下,原雅虎工程师Doug Cutting开创了与高性能计算模式迥异的,计算向数据靠拢的Hadoop软件生态系统。Hadoop天生高贵,时至今日已成为Apache基金会最“Hot”的开源项目,更被公认为大数据处理的事实标准。Hadoop以低廉的成本在分布式环境下提供了海量数据的处理能力。因此,Hadoop技术研讨与实践分享也一直是历届中国大数据技术大会最亮眼的特色之一。

4. 流计算技术引入——满足应用的低延迟数据处理需求。随着业务需求扩展,大数据逐渐走出离线批处理的范畴,Storm、Kafka等将实时性、扩展性、容错性和灵活性发挥得淋漓尽致的流处理框架,使得旧有消息中间件技术得以重生。成为历届BDTC上一道亮丽的风景线。

5. 内存计算初露端倪——新贵Spark敢与老将叫板。Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,从多迭代批量处理出发,兼容并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。在短短4年,Spark已发展为Apache软件基金会的顶级项目,拥有30个Committers,其用户更包括IBM、Amazon、Yahoo!、Sohu、百度、阿里、腾讯等多家知名公司,还包括了Spark SQL、Spark Streaming、MLlib、GraphX等多个相关项目。毫无疑问,Spark已站稳脚跟。

6. 关系数据库技术进化—NewSQL改写数据库历史。关系数据库系统的研发并没有停下脚步,在横向扩展、高可用和高性能方面也在不断进步。实际应用对面向联机分析处理(OLAP)的MPP(Massively Parallel Processing)数据库的需求最迫切,包括MPP数据库学习和采用大数据领域的新技术,如多副本技术、列存储技术等。而面向联机事务处理(OLTP)的数据库则向着高性能演进,其目标是高吞吐率、低延迟,技术发展趋势包括全内存化、无锁化等。

立足扬帆,看2014大数据生态圈发展

时光荏苒,转眼间第2014中国大数据技术大会将如期举行。在技术日新月异的当下,2014年的BDTC上又可以洞察些什么?这里我们不妨着眼当下技术发展趋势:

1. MapReduce已成颓势,YARN/Tez是否可以再创辉煌?对于Hadoop来说,2014是欢欣鼓舞的一年——EMC、Microsoft、Intel、Teradata、Cisco等众多巨头都加大了Hadoop方面的投入。然而对于众多机构来说,这一年却并不轻松:基于MapReduce的实时性短板以及机构对更通用大数据处理平台的需求,Hadoop 2.0转型已势在必行。那么,在转型中,机构究竟会遭遇什么样的挑战?各个机构如何才能更好地利用YARN所带来的新特性?Hadoop未来的发展又会有什么重大变化?为此,BDTC 2014特邀请了Apache Hadoop committer,Apache Hadoop Project Management Committee(PMC)成员Uma Maheswara Rao G,Apache Hadoop committer Yi Liu,Bikas Saha(PMC member of the Apache Hadoop and Tez)等国际顶尖Hadoop专家,我们不妨当面探讨。

2. 时过境迁,Storm、Kafka等流计算框架前途未卜。如果说MapReduce的缓慢给众多流计算框架带来了可乘之机,那么当Hadoop生态圈组件越发成熟,Spark更加易用,迎接这些流计算框架的又是什么?这里我们不妨根据BDTC 2014近百场的实践分享进行一个侧面的了解,亦或是与专家们当面交流。

3. Spark,是颠覆还是补充?与Hadoop生态圈的兼容,让Spark的发展日新月异。然而根据近日Sort Benchmark公布的排序结果,在海量(100TB)离线数据排序上,对比上届冠军Hadoop,Spark以不到十分之一的机器,只使用三分之一的时间就完成了同样数据量的排序。毫无疑问,当下Spark已不止步于实时计算,目标直指通用大数据处理平台,而终止Shark,开启Spark SQL或许已经初见端倪。那么,当Spark愈加成熟,更加原生的支持离线计算后,开源大数据标准处理平台这个荣誉又将花落谁家?这里我们一起期待。 

4. 基础设施层,用什么来提升我们的网络?时至今日,网络已成为众多大数据处理平台的攻坚对象。比如,为了克服网络瓶颈,Spark使用新的基于Netty的网络模块取代了原有的NIO网络模块,从而提高了对网络带宽的利用。那么,在基础设施层我们又该如何克服网络这个瓶颈?直接使用更高效的网络设备,比如Infiniband能够带来多少性能提升?建立一个更智能网络,通过计算的每个阶段,自适应来调整拆分/合并阶段中的数据传输要求,不仅提高了速度,也提高了利用率。在BDTC 2014上,我们可以从Infiniband/RDMA技术及应用演讲,以及数场SDN实战上吸取宝贵的经验。

5. 数据挖掘的灵魂——机器学习。近年来,机器学习领域的人才抢夺已进入白热化,类似Google、IBM、微软、百度、阿里、腾讯对机器学习领域的投入也是愈来愈高,囊括了芯片设计、系统结构(异构计算)、软件系统、模型算法和深度应用各个方面。大数据标志一个新时代的到来,PB数据让人们坐拥金山,然而缺少了智能算法,机器学习这个灵魂,价值的提取无疑变得镜花水月。而在本届会议上,我们同样为大家准备了数场机器学习相关分享,静候诸位参与。

而在技术分享之外,2014年第二届CCF大数据学术会议也将同时召开,并与技术大会共享主题报告。届时,我们同样可以斩获许多来自学术领域的最新科研成果。

更多精彩内容,请关注CSDN云计算频道,新浪微博@CSDN云计算,CSDN大数据微信公众账号。

CSDN诚邀您参加中国大数据有奖大调查活动,只需回答23个问题就有机会获得最高价值2700元的大奖(共10个), 速度参与进来吧!


免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Impala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。

应用内直接打车:Uber面向第三方开发者开放API 百万美元巨奖!英特尔启动感知计算挑战赛 IBM 2014技术峰会在京开幕! OpenGL 4.5规范标准发布,大大提升API性能! 更萌更贱:Flappy Bird开发者推虐心新作Swing Copters 学习的革命:AR增强现实遇到儿童应用 颠覆旧概念,IBM Bluemix开启云开发时代 专访企业QQ SaaS团队,谈企业级LNMP架构设计 《近匠》Coding:将软件开发搬到云上 小米与美视频游戏服务Ouya合作 进军国内客厅 新工具Get!轻松实现2D画面动态光影的Sprite Lamp 一周消息树:罗升阳的Android之旅 手游不易:GungHo 3.44亿美元售Supercell股权 周末去哪儿 当然是去2014微信开发者大会!(附参会提醒和名单) 开源框架Ember.js迎来1.7.0和1.8 Beta 1更新 《近匠》RealSense:几行代码,为游戏添增实感交互 MDCC游戏应用征集关键词:中小团队,3D,转型,IP 共话HealthKit:能否颠覆医疗保健生态系统? Perception Neuron系统,让动作捕捉技术不再高冷 2014年DevOps实践调查报告 .NET程序性能的基本要领 百度手机卫士宣布开放三大能力 构建互联网安全生态 火速围观,AMD APU新芯片架构A68H呼之欲出! 对于测试人员而言,TDD意味着什么? 年用电910亿度,那些庞大的数据中心该用什么支撑 走近黑客们的世界,感受网络空间的心跳 VMworld 2014 Day One:Docker、数据中心、混合云新举措 Docker和Kubernetes或将加速SDN发展 前端开发框架三剑客—AngularJS VS. Backone.js VS.Ember.js 【CTO俱乐部读书会】《流程的永恒之道》辛鹏:企业的本质就是流程运营 紧扣微信研发痛点 2014微信开发者大会吸引大量外地参会者 有关文件的问题,请教 广东省的软考有了吗? 为什么输http://www.china-java.net,会自动改为http://www.china-java.net:8081? Trident 9750 顯卡有 OpenGL 驅動嗎? 日期型的动态查询语句怎么做?是不是做成 日期列名+比较符+date('数值')? 针对微软SQL Server的无名蠕虫正在传播 请问如何模拟一次单击事件呢? ================请教怎样改变列表控件任意列的背景颜色??====================== 如何初始化控件CMSFexGrid 网页被某一搜索引擎收录后是否需要再定期提交? 请教各位javascript高手 怎样提取qrexpr1中的值???????????? 谁有Office XP Style的vcl控件,谢谢大家了,急!!! 请问如何模拟一次单击事件呢?急!急!急!急!请各位老大帮帮忙! 怎样让IIS服务器(2000 server)和域服务器的用同样的验证。 很多windows forms下面的程序都实现了XP或是VS.NET风格的菜单了,Web界面上能实现吗? 两周了,我就是不能给分!!请速解决 我要学flash啊~~,帮帮我啊~~~,那里有免费的flash下载,一定要告诉我啊!!!!!别忘了SN号啊!!!!!!不帮不行啊~~~~`,一定要帮帮我啊!! 保存COOKIE,定义了期限,然后期限内关闭IE,COOKIE仍然存在吗? 很多windows forms下面的程序都实现了XP或是VS.NET风格的菜单了,Web界面上能实现吗 如何打开dat为扩展名的数据库文件? 哪儿有IBM的visual Warehouse Manager? ~~~~~~~~~~~~帮你的程序制作奇形怪状的窗体,显现自己的风格~~~~~~~~~~~ emetrix 的软件注册号是怎样提交的?我想自己邮寄给用户好像不行的哦 烦恼的小问题 ★★★DCOM服务器的CallBack的技术怎样实现?★★★ 大虾们,救救我,十万火急!!!!!!!关于Delphi中FTP的问题 realaudio控件的问题!请高手指教 如何用table组件中canmodify属性 现在什么地方下mp3比较好 条形码阅读问题 有关鼠标单击和双击的问题,详情请进~~~~~~~~(看在偶出了一百分的份上,:-D) 很多windows forms下面的程序都实现了XP或是VS.NET风格的菜单了,Web界面上怎么实现 在实际项目中用InterBase数据库可行吗? 有关打印问题????????? win2000找98奇慢无比 template class的连接问题。请赐教 求拓扑排序的所有可能序列?50分求教 java程序员? 请问有没有介绍五子棋算法的好网站?我要做一个和机器下的程序!大家帮忙 请问在编程中的例程,行程和过程的定义是什么?以及他们的区别。 该怎么使用 action() 与 mouseDrag()?请看我的程序问题在哪? DELPHI6.0中的最小化事件是什么 marry____不只怎么办了 (★如何初始化控件CMSFexGrid★) 各位兄弟,不知哪里可以查到所有常量的值? 怎么把帽号赋给一个变量?thank 为什么WinXP激活后就不能重装? 困惑--判断颜色是否相同??? (急急急)寻找:win2000/xp/nt/9x 的可安装文件开发包(IFS Kit),送大分 如何在DB2(V5.2)下面实现表的ID自动增加功能? 帖子结不了,在送300分~~~~~~~~~~ 倾听鸟语阅读答案我爱鸟.过去在乡下,到处是树,有树就有鸟,树多鸟也多.麦泛黄时,黄鹂天不亮便亮开了嗓子,“大麦大麦黄黄,大麦大麦黄黄啦!”夏日里,布谷鸟不紧不慢地叫着“布谷—布谷— 诺言短文读过本文你对信守承诺有哪些想法对文中这个孩子的做法你的态度是什么wunianjilianxice 十五从军征 十五从军征快十五从军征 意思 阅读倾听鸟语自然,流过心灵的诗情、周庄水韵、等美文,感受大自然的美妙,作者语言文字的魅力 诺言短文读过本文你对信守承诺有哪些想法对文中这个孩子的做法你的态度是什么, <十五从军征>改写成400字左右 倾听鸟语 的文章(六年级上) 秋天的作文450字 十五从军征和出塞这两首诗各是从什么角度出发写战争 文章的第4自然段是围绕 这句话写的.(倾听鸟语) 我的爱好 100字作文要3年纪水平 十五从军征500字作文改写十五从军征作文500字 倾听鸟语 阅读短文我爱鸟.过去在乡下,到处是树,有树就有鸟,树多鸟也多.麦泛黄时,黄鹂天不亮便亮开了嗓子,“大麦大麦黄黄,大麦大麦黄黄啦!”夏日里,布谷鸟不紧不慢地叫着“布谷—布谷 作文------《我的初一生活》我是结束了初一,该上初二了,就算是总结初一的生活 最感人的感恩文章没钱时,买花的题材.急 作文 盼春节 (500字)必须体现出这个盼 初一生活作文 触动心灵的事 作文急! 急! 《盼春节》作文500字 初一人生作文要是人生目标 关于感悟.感恩.感动的作文是散文 或 诗歌或童话 最好是自己写得(好的话再加分( 盼春节作文500字左右语文五年级(上册)习作7的一个盼春节的做文 我有40财富植 先给30 在给1012月20日 快乐的初一生活作文要写的好的 心灵被什么触动 作文 写节日风俗的800字作文 生活给我自信(勇气)作文 求中国近代历史人物赏析的论文 (800字左右即可) 民风民俗作文800字! 民风民俗的作文100字 有关于中国近代历史人物的作文? 作文:在**中我得到了快乐 关于汉族的民风民俗的作文(600字,围绕一件事情写) 选择信心或勇气、诚实的作文的作文提示是这样的:遇到困难你选择了什么,面对撒谎你选择了什么…… 《我得到了快乐》500字作文 荔枝这篇文章主要写什么,表达了怎样的思想感情 在预习里的两个问题答案, 勇气是自信的筹码要求八百字 最快 这一天,我得到了快乐 这篇作文该怎么写?这种作文的开头结尾是我最薄弱的了, 《荔枝》一文主要写了什么,表达了怎么的思想感情 ( ),触动了我的心灵为题写一篇不少于600字的作文 关于历史人物的作文,不要多,600字的就够了, 求历史人物故事!400字左右的作文两篇 寻人启事 ①读寻人启事的时候,女孩正坐在长椅上,浓浓的树荫牢牢地笼罩着椅子,就像母爱,寒冷而郁闷,女孩无言.②用女孩的逻辑来讲,母亲不疼她,母亲除了爱好挣钱外,最大的偏好就是苛求她 写历史人物的作文600字, 作文 勇气我想做你的朋友 寻人启事阅读1.第14自然段,加入登了启事后,母亲仍与回音,女孩又准备写一则更详细的启示,请你为女孩起草这则启事好的话有分这是第14自然段的:14第二天,报纸上多了一则寻人启事:寻母 有没有给历史人物的一封信,必须要是国外的啊,比如拿破仑,600字论文 作文 勇气,真想做你的朋友 开头结尾快 寻人启事 金文吉读寻人启事的时候,女孩正坐在长椅上,浓浓的树荫牢牢笼罩着椅子,这就像母爱,寒冷而郁闷,女孩无言.用女孩的逻辑讲,母亲不疼她,母亲除了爱好挣钱之外,最大的偏爱就是苛求 作文 我最喜欢的历史人物项羽 600字,越多越好, 1~6年级,老师,亲人,朋友给予我勇气,鼓励的作文要快 寻找妈妈的寻人启事阅读答案①作文课.老师教完了应用文写作后,当堂给同学们布置了一个题目:假设自己的妈妈丢了,请每个人写一则寻人启事.老师还给每个同学发了一份寻人启事样本,大 读了这篇文章,你有什么想法?清朝乾隆年间,曹雪芹住在香山脚下一个风景秀丽的小村里. 然而近一年来,这里却一派荒芜萧索的景象.因为传说这儿闹鬼.每日清晨,那鬼驾着一朵云飞向山顶;日 和书做朋友 作文 以和平为话题的作文作文内容要有橄榄绿的,并且突出点 阅读短文,回答问题. 《诺言》守信和尊重一个诺言,或许要比登一座山更难. 我一直记得少年时读过的一则异国故事: 在一座城市的冬夜,一位正要赶末班车回军营的军官被一位妇女拦住,军官 老师做个朋友的作文怎么写 以”和平“为话题的作文600字左右 求一篇历史人物的作文 至少3个 1000子的要一本小说里的 《追赶承诺》短文的阅读答案 读了文章你有什么感受? 改写十五从军征 作文500字左右
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn