说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

中国大数据六大技术变迁记

HTML文档下载 WORD文档下载 PDF文档下载
2014中国大数据技术大会(BDTC 2014)将于2014年12月12-14日在北京新云南皇冠假日酒店召开。大会召开前期,特梳理了历届大会亮点以记录中国大数据技术领域发展历程,并立足当下生态圈现状对BDTC 2014进行展望。

集“Hadoop中国云计算大会”与“CSDN大数据技术大会”精华之大成, 历届的中国大数据技术大会(BDTC) 已发展成为国内事实上的行业顶尖技术盛会。从2008年的60人Hadoop沙龙到当下的数千人技术盛宴,作为业内极具实战价值的专业交流平台,每一届的中国大数据技术大会都忠实地描绘了大数据领域内的技术热点,沉淀了行业实战经验,见证了整个大数据生态圈技术的发展与演变。

2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会协办,中科院计算所与CSDN共同承办的 2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014) 将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天,以推进行业应用中的大数据技术发展为主旨,拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办,CCF大数据专家委员会承办,南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开,并与技术大会共享主题报告。

本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者,深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展,NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势,OpenStack生态系统对于大数据计算需求的思考,以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用,分享实际生产系统中的技术特色和实践经验。

大会召开前期,特别梳理了历届大会亮点以记录中国大数据技术领域发展历程,并立足当下生态圈现状对即将召开的BDTC 2014进行展望:

追本溯源,悉大数据六大技术变迁

伴随着大数据技术大会的发展,我们亲历了中国大数据技术与应用时代的到来,也见证了整个大数据生态圈技术的发展与衍变:

1. 计算资源的分布化——从网格计算到云计算。回顾历届BDTC大会,我们不难发现,自2009年,资源的组织和调度方式已逐渐从跨域分布的网格计算向本地分布的云计算转变。而时至今日,云计算已成为大数据资源保障的不二平台。

2. 数据存储变更——HDFS、NoSQL应运而生。随着数据格式越来越多样化,传统关系型存储已然无法满足新时代的应用程序需求,HDFS、NoSQL等新技术应运而生,并成为当下许多大型应用架构不可或缺的一环,也带动了定制计算机/服务器的发展,同时也成为大数据生态圈中最热门的技术之一。

3. 计算模式改变——Hadoop计算框成主流。为了更好和更廉价地支撑其搜索服务,Google创建了Map/Reduce和GFS。而在Google论文的启发下,原雅虎工程师Doug Cutting开创了与高性能计算模式迥异的,计算向数据靠拢的Hadoop软件生态系统。Hadoop天生高贵,时至今日已成为Apache基金会最“Hot”的开源项目,更被公认为大数据处理的事实标准。Hadoop以低廉的成本在分布式环境下提供了海量数据的处理能力。因此,Hadoop技术研讨与实践分享也一直是历届中国大数据技术大会最亮眼的特色之一。

4. 流计算技术引入——满足应用的低延迟数据处理需求。随着业务需求扩展,大数据逐渐走出离线批处理的范畴,Storm、Kafka等将实时性、扩展性、容错性和灵活性发挥得淋漓尽致的流处理框架,使得旧有消息中间件技术得以重生。成为历届BDTC上一道亮丽的风景线。

5. 内存计算初露端倪——新贵Spark敢与老将叫板。Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,从多迭代批量处理出发,兼容并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。在短短4年,Spark已发展为Apache软件基金会的顶级项目,拥有30个Committers,其用户更包括IBM、Amazon、Yahoo!、Sohu、百度、阿里、腾讯等多家知名公司,还包括了Spark SQL、Spark Streaming、MLlib、GraphX等多个相关项目。毫无疑问,Spark已站稳脚跟。

6. 关系数据库技术进化—NewSQL改写数据库历史。关系数据库系统的研发并没有停下脚步,在横向扩展、高可用和高性能方面也在不断进步。实际应用对面向联机分析处理(OLAP)的MPP(Massively Parallel Processing)数据库的需求最迫切,包括MPP数据库学习和采用大数据领域的新技术,如多副本技术、列存储技术等。而面向联机事务处理(OLTP)的数据库则向着高性能演进,其目标是高吞吐率、低延迟,技术发展趋势包括全内存化、无锁化等。

立足扬帆,看2014大数据生态圈发展

时光荏苒,转眼间第2014中国大数据技术大会将如期举行。在技术日新月异的当下,2014年的BDTC上又可以洞察些什么?这里我们不妨着眼当下技术发展趋势:

1. MapReduce已成颓势,YARN/Tez是否可以再创辉煌?对于Hadoop来说,2014是欢欣鼓舞的一年——EMC、Microsoft、Intel、Teradata、Cisco等众多巨头都加大了Hadoop方面的投入。然而对于众多机构来说,这一年却并不轻松:基于MapReduce的实时性短板以及机构对更通用大数据处理平台的需求,Hadoop 2.0转型已势在必行。那么,在转型中,机构究竟会遭遇什么样的挑战?各个机构如何才能更好地利用YARN所带来的新特性?Hadoop未来的发展又会有什么重大变化?为此,BDTC 2014特邀请了Apache Hadoop committer,Apache Hadoop Project Management Committee(PMC)成员Uma Maheswara Rao G,Apache Hadoop committer Yi Liu,Bikas Saha(PMC member of the Apache Hadoop and Tez)等国际顶尖Hadoop专家,我们不妨当面探讨。

2. 时过境迁,Storm、Kafka等流计算框架前途未卜。如果说MapReduce的缓慢给众多流计算框架带来了可乘之机,那么当Hadoop生态圈组件越发成熟,Spark更加易用,迎接这些流计算框架的又是什么?这里我们不妨根据BDTC 2014近百场的实践分享进行一个侧面的了解,亦或是与专家们当面交流。

3. Spark,是颠覆还是补充?与Hadoop生态圈的兼容,让Spark的发展日新月异。然而根据近日Sort Benchmark公布的排序结果,在海量(100TB)离线数据排序上,对比上届冠军Hadoop,Spark以不到十分之一的机器,只使用三分之一的时间就完成了同样数据量的排序。毫无疑问,当下Spark已不止步于实时计算,目标直指通用大数据处理平台,而终止Shark,开启Spark SQL或许已经初见端倪。那么,当Spark愈加成熟,更加原生的支持离线计算后,开源大数据标准处理平台这个荣誉又将花落谁家?这里我们一起期待。 

4. 基础设施层,用什么来提升我们的网络?时至今日,网络已成为众多大数据处理平台的攻坚对象。比如,为了克服网络瓶颈,Spark使用新的基于Netty的网络模块取代了原有的NIO网络模块,从而提高了对网络带宽的利用。那么,在基础设施层我们又该如何克服网络这个瓶颈?直接使用更高效的网络设备,比如Infiniband能够带来多少性能提升?建立一个更智能网络,通过计算的每个阶段,自适应来调整拆分/合并阶段中的数据传输要求,不仅提高了速度,也提高了利用率。在BDTC 2014上,我们可以从Infiniband/RDMA技术及应用演讲,以及数场SDN实战上吸取宝贵的经验。

5. 数据挖掘的灵魂——机器学习。近年来,机器学习领域的人才抢夺已进入白热化,类似Google、IBM、微软、百度、阿里、腾讯对机器学习领域的投入也是愈来愈高,囊括了芯片设计、系统结构(异构计算)、软件系统、模型算法和深度应用各个方面。大数据标志一个新时代的到来,PB数据让人们坐拥金山,然而缺少了智能算法,机器学习这个灵魂,价值的提取无疑变得镜花水月。而在本届会议上,我们同样为大家准备了数场机器学习相关分享,静候诸位参与。

而在技术分享之外,2014年第二届CCF大数据学术会议也将同时召开,并与技术大会共享主题报告。届时,我们同样可以斩获许多来自学术领域的最新科研成果。

更多精彩内容,请关注CSDN云计算频道,新浪微博@CSDN云计算,CSDN大数据微信公众账号。

CSDN诚邀您参加中国大数据有奖大调查活动,只需回答23个问题就有机会获得最高价值2700元的大奖(共10个), 速度参与进来吧!


免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Impala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。

【开源推荐】Nutz:Java项目中SSH框架的最佳替代品 你的数据库准备好过冬了吗 开源将成为SDN最大的风险! “大姨吗”CEO柴可:女性健康白皮书的发布与“大姨吗”的未来 看中国大学生的移动创意激情 第六届英特尔杯软件创新大赛侧记 在哪里工作更好?Facebook大胜Google WDC超链接图:涵盖35亿网页、1280亿超链接 英特尔:机器已扛不住亚洲的空气污染 IE11中全新增强的F12开发人员工具 TUP第31期报名已满 向主讲人《浪潮之巅》吴军提问征集 对话Spark核心作者Ion Stoica:我的编程之路从2KB内存开始 埃洛普出局?微软董事会称Mulally、Satya有望是下任CEO 百度开源平台上线,聚合百度开源项目 盘点TOP500:值得关注的超算,及当下趋势 【BDTC讲师】Tachyon作者:大数据存储以及处理框架经验分享 进一步称霸中国:低端设备让Android在中国每季获3%增长 低端设备撑起Windows Phone市场份额 研发周报:你的数据库准备好过冬了吗 JVM垃圾收集器使用调查:CMS最受欢迎 技术创业不能一味追求“骨感”,必要时丰富自己的5个途径 帷千动媒副总经理兰旭:整合现在,梳理未来! 11月份浏览器份额:IE继续上涨,Chrome仍不温不火 Windows 8令人担忧:8和8.1两版本份额目前仅有9.3% 一周消息树:微软还需更激进的手段——开放Windows Phone 【开源推荐】Genome.js:当DNA遇到开源 Go 1.2发布 着重语言特性的改进 微软资深IE专家邹颂兵:好产品才是竞争的关键 Web应用程序完全测试指南 Python正在取代R,成为数据科学界新宠 代号Threshold:微软将推Windows统一平台Threshold 日本任天堂掌机应用:《卢浮宫》革了谁的命? win2K pro版无法启动! QueryPerformCounter()函数的用法? 求教:如何在delphi 5 中使用HTML Help(.CHM) 神经元网络BP算法源代码? =急=急=急=这个SQL语句是什么意思?? 从数据库读出的一个问题 我昨天在使用过程中发现如下问题,希望能得到您的答复! 请教一个如何写如下的存储过程:查找'abcd',允许错两个字符(错误位置任意),例如'abef'可以, 但是'aefg'不行 小弟学习c有一段时间,究竟学到什么程度才能开始学c++呀? 各位,有没有碰到过这种情况! =急=急=急=大家来看看这个SQL语句是什么意思~~ 在ACESS2000的查询中如何/可否使用ISNULL函数。请举例。 c++ 搞什么呀?不是说有专家回答吗?人呢? blob字段的长度限制是:????? 这样的公司我呆下去还有没有意义? unix 消息队列 这是什么意思??? XML还有什么好处? 读写文本文件的问题??急 程序中每一个按钮和动作对应一个存储过程好吗? 按回车键时,在TEXT中输入大于号怎么实现,谢谢! 请问高手:怎样在interDev6.0中调试程序??? 在jb6中,如何制作包含jdbc和自定义包的jar文件。 问一个很菜的问题:怎么使用编译器? 一个让我头疼的问题,大家来帮帮我! 送分!!!送分!!!!救命救命!!一共200分 何处有单独的SQL Anywhere 5.5下载,只是驱动一下,并不用PowerBuilder开发 www.%s.co.cn如何解决? 请问怎样用VBA将office文档转换为txt文件?? 绝对超难问题,答对的话给50分!!! 为学java散分 说说borland c++的发展史吧 谁能告诉哪里能申请教育网的免费邮件地址,或你给我一个算了,100分给你! BP神经元网络算法的原代码 如何在网页上看ASP的原码? 我用另一台机的SYBASE备份文件拿到本机来恢复,居然不行!请教高手! 关于模板的问题,还请大家多多指点! 我用串口接受数据,可是??? 焦急中!!!vc里面的spin控件和editbox控件联系起来怎么编程? 简单任务,快来完成啊………… 有奖赏的 100分哪…… 我的程序把数据集另存为Excel时,在未关闭程序的情况下为何无法打开Excel.代码如下... 把一个html分成左右两个frame。现在需要使用scrolling的时候,好像是在一个页面里面一样。请问。可以用javascript实现吗? 关于从客户端访问Sybase数据库的问题??? 正在看《Visual Basic编程标准》,我想不管是新手还是老手,建议大家都看看!!!推荐!!!!!!!! ado+access更新数据时提示"缺少更新或刷新的键列信息"?为什么 一个有关用户对象的问题。 如何动态生成数据库? 哪位高手知位道什么在打开嵌入WORD文档时会出现激活对象出错? 关于actionlist的使用技巧 有没有哪位碰过C1853错误? 怎样提高高中的数学和英语成绩? 凸透镜成像虚像如何观察 Al的化合价 高中如何快速提高英语成绩现在快高三了 英语成绩基础很差满分150才考50现在有什么好的方法能够在 短时间 提高英语成绩 铝有几个化合价? Cl和S的最高化合价和最低化合价分别是多少? 谁知道如何快速提高高中各科(语文,英语,理综)的成绩?尽可能详细点 凸透镜成像规律 什么是实像什么是虚像我是说,为什么同样是凸透镜成的像,为什么有的是实像有的是虚像最好有个图,说清楚点,谢啦 电源高压电解电容两端存在310VDC-450VDC电压,请问放电电路该怎样去设计才合理? 同种元素(原子团)的化合价和离子所带的电荷,通常数值与符号都相同.这句话对吗?例如Na的化合价为1,但是它也可能失去二个电子带正电,即为Na+.与那句话相背了 某品牌合格奶粉蛋白质的含量为百分之18,含氮为百分之2.88,每100g奶粉中添加0.1g三聚氰氨,理论上能加...某品牌合格奶粉蛋白质的含量为百分之18,含氮为百分之2.88,每100g奶粉中添加0.1g三聚氰氨, 用丝绸摩擦玻璃棒产生那种电荷?为什么?用丝绸摩擦玻璃棒产生那种电荷?用毛皮摩擦玻璃棒产生那种电荷?说明原因! 计算电介质球体的退电场书上有,太简略.外电场为E. 每100g幼儿奶粉中含12—25g蛋白质 蛋白质含氮元素的平均质量分数为百分之16,三聚氰胺化学式为C3N6H6每100g奶粉中含氮元素的质量分数范围是? 牛奶和奶粉中添加三聚氰胺,是因为?但添加后会给 一细线弯成半径为R 的半圆形,其左半部分均匀分布电荷+Q右半部分均匀分布电荷-Q 求圆心处场强 关于数学的分数翻译(英文)比如说下面的分数用英语应该怎么说5-7 100g奶粉中添加0.1g三聚氰胺能增加多少g蛋白质的检测值 一根均匀带电的金属棒弯成半圆,半径为R,电荷线密度为a求圆心处的场强是多少?要求用微元法做,不能用微积分 正确么?如果在电容器两板间插一块厚为d的金属板则可看作两板间距缩小了d如果在电容器两板间插一块厚为d的金属板则可看作两板间距缩小了d应该不止d吧 在“研究凸透镜成像规律”的实验中,当烛焰位于凸透镜一倍焦距内时,眼睛通过透镜观察到的虚像可能在“研究凸透镜成像规律”的实验中,当烛焰位于凸透镜一倍焦距内时,眼睛通过透镜观察 当电容器被击穿时,b和电压表示数会如何变化 . 今天做凸透镜成像的实验 当u 在研究凸透镜成像的试验中,当烛焰离凸透镜的距离小于焦距时,眼睛通过透镜观察到得没图! 要剪切如图所示的甲、乙两种直角梯形零件,且使两种零件的数量相等,有两种面积相等的矩形铝板可供选用:第一种长500mm,宽300mm(图2);第二种长600mm,宽250mm(图3)1、填空:为了充分利用 带电球体的电场怎么求如图, 凸透镜成像:物距小于凸透镜的焦距,成的虚像像距有无范围?如果有,是什么? 光的反射定律是什么?光的折射定律是什么? 电路中接入一个平行板电容器,开关闭合瞬间,电容器视为短...电路中接入一个平行板电容器,开关闭合瞬间,电容器视为短路还是断路? 在凸透镜成像的实验中可以发现,实像和虚像的分界点是物体在_处,成放大像和缩小像的分界点是物体在_处,把物体放在__处不成像 如何用光的反射定律作平面镜成像?如题 一均匀带电球表面,半径为R,电荷为+q,求表面内外任一点场强 在探究凸透镜成像中,如何求虚像的像距啊!急需,快! 如何利用光的反射定律说明平面镜成像的原理? 在进行“研究凸透镜成像规律”的实验中,物距分别30,14,6厘米正立或倒立,放大或缩小,实像或虚像,像距的大致范围是多少 是表格. Healthman慢回弹记忆床垫好不好? 光的反射定律和折射定律的区别 半径为R的球体均匀带电q,分别计算求内,外任意一点的电势 AL 在化合时化合价的取用?+2?+3?Fe与酸反应怎样选化合价?还有其他的? 金刚石的正四面体结构与其晶胞正方体中顶点面心有碳原子的关系 什么样的原子能组成带电荷的原子集团? 在凸透镜成像的实验中,当物距_______时,一定成虚像 正方体有几个顶点?为什么?为什么会有8个顶点 凸透镜成像中的虚像的位置,虚像是否成在像同侧,而观察又是要在一侧?为什么呢? Al(NO3)3的N的化合价怎么求 一个正方体,去掉一个角后,剩下的部分有几个顶点. 写得详细点! 铝的化合价是多少 Tempur慢回弹太空枕和Healthman的哪个效果好点?拜托各位了 3Q 集成吊顶和铝扣板集成吊顶的区别?最近家里房子在装修,去看了好多集成吊顶的样板.现在很郁闷的是集成吊顶和铝扣板集成吊顶到底是什么区别?难道是一回事?很郁闷~ 虚像为什么不可以承载在光屏上 介质是如何带电的 太空记忆棉床垫怎么样,真的有说的那么好吗? 铝有负的化合价吗? A和B是两个大小相同的带电介质小球,A在B的左侧,它们是用等长绝缘细线悬挂在水平杆上,在两球连线的延长线上A球左侧放一个带正电荷的小球C时,A、B两球的悬线都保持竖直方向,则下列说法中 铝扣板吊顶和集成吊顶有区别啊?什么牌子质量好呢?RT 过球的一条半径的中点作垂直于该半径的球面,则所得的面积与球的表面积的比为? 凸透镜成像为什么没有缩小的虚像?虚像有缩小的吗? 化合价升高=化合价降低=化合价改变总数怎么理解前面俩个东西能理解,但是怎么会等于化合价改变总数?举例说明一下. 高中怎么样提高数学英语成绩? 铝有哪几种化合价 牛顿三大定律的内容
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘