说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

中国大数据六大技术变迁记

HTML文档下载 WORD文档下载 PDF文档下载
2014中国大数据技术大会(BDTC 2014)将于2014年12月12-14日在北京新云南皇冠假日酒店召开。大会召开前期,特梳理了历届大会亮点以记录中国大数据技术领域发展历程,并立足当下生态圈现状对BDTC 2014进行展望。

集“Hadoop中国云计算大会”与“CSDN大数据技术大会”精华之大成, 历届的中国大数据技术大会(BDTC) 已发展成为国内事实上的行业顶尖技术盛会。从2008年的60人Hadoop沙龙到当下的数千人技术盛宴,作为业内极具实战价值的专业交流平台,每一届的中国大数据技术大会都忠实地描绘了大数据领域内的技术热点,沉淀了行业实战经验,见证了整个大数据生态圈技术的发展与演变。

2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会协办,中科院计算所与CSDN共同承办的 2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014) 将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天,以推进行业应用中的大数据技术发展为主旨,拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办,CCF大数据专家委员会承办,南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开,并与技术大会共享主题报告。

本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者,深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展,NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势,OpenStack生态系统对于大数据计算需求的思考,以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用,分享实际生产系统中的技术特色和实践经验。

大会召开前期,特别梳理了历届大会亮点以记录中国大数据技术领域发展历程,并立足当下生态圈现状对即将召开的BDTC 2014进行展望:

追本溯源,悉大数据六大技术变迁

伴随着大数据技术大会的发展,我们亲历了中国大数据技术与应用时代的到来,也见证了整个大数据生态圈技术的发展与衍变:

1. 计算资源的分布化——从网格计算到云计算。回顾历届BDTC大会,我们不难发现,自2009年,资源的组织和调度方式已逐渐从跨域分布的网格计算向本地分布的云计算转变。而时至今日,云计算已成为大数据资源保障的不二平台。

2. 数据存储变更——HDFS、NoSQL应运而生。随着数据格式越来越多样化,传统关系型存储已然无法满足新时代的应用程序需求,HDFS、NoSQL等新技术应运而生,并成为当下许多大型应用架构不可或缺的一环,也带动了定制计算机/服务器的发展,同时也成为大数据生态圈中最热门的技术之一。

3. 计算模式改变——Hadoop计算框成主流。为了更好和更廉价地支撑其搜索服务,Google创建了Map/Reduce和GFS。而在Google论文的启发下,原雅虎工程师Doug Cutting开创了与高性能计算模式迥异的,计算向数据靠拢的Hadoop软件生态系统。Hadoop天生高贵,时至今日已成为Apache基金会最“Hot”的开源项目,更被公认为大数据处理的事实标准。Hadoop以低廉的成本在分布式环境下提供了海量数据的处理能力。因此,Hadoop技术研讨与实践分享也一直是历届中国大数据技术大会最亮眼的特色之一。

4. 流计算技术引入——满足应用的低延迟数据处理需求。随着业务需求扩展,大数据逐渐走出离线批处理的范畴,Storm、Kafka等将实时性、扩展性、容错性和灵活性发挥得淋漓尽致的流处理框架,使得旧有消息中间件技术得以重生。成为历届BDTC上一道亮丽的风景线。

5. 内存计算初露端倪——新贵Spark敢与老将叫板。Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,从多迭代批量处理出发,兼容并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。在短短4年,Spark已发展为Apache软件基金会的顶级项目,拥有30个Committers,其用户更包括IBM、Amazon、Yahoo!、Sohu、百度、阿里、腾讯等多家知名公司,还包括了Spark SQL、Spark Streaming、MLlib、GraphX等多个相关项目。毫无疑问,Spark已站稳脚跟。

6. 关系数据库技术进化—NewSQL改写数据库历史。关系数据库系统的研发并没有停下脚步,在横向扩展、高可用和高性能方面也在不断进步。实际应用对面向联机分析处理(OLAP)的MPP(Massively Parallel Processing)数据库的需求最迫切,包括MPP数据库学习和采用大数据领域的新技术,如多副本技术、列存储技术等。而面向联机事务处理(OLTP)的数据库则向着高性能演进,其目标是高吞吐率、低延迟,技术发展趋势包括全内存化、无锁化等。

立足扬帆,看2014大数据生态圈发展

时光荏苒,转眼间第2014中国大数据技术大会将如期举行。在技术日新月异的当下,2014年的BDTC上又可以洞察些什么?这里我们不妨着眼当下技术发展趋势:

1. MapReduce已成颓势,YARN/Tez是否可以再创辉煌?对于Hadoop来说,2014是欢欣鼓舞的一年——EMC、Microsoft、Intel、Teradata、Cisco等众多巨头都加大了Hadoop方面的投入。然而对于众多机构来说,这一年却并不轻松:基于MapReduce的实时性短板以及机构对更通用大数据处理平台的需求,Hadoop 2.0转型已势在必行。那么,在转型中,机构究竟会遭遇什么样的挑战?各个机构如何才能更好地利用YARN所带来的新特性?Hadoop未来的发展又会有什么重大变化?为此,BDTC 2014特邀请了Apache Hadoop committer,Apache Hadoop Project Management Committee(PMC)成员Uma Maheswara Rao G,Apache Hadoop committer Yi Liu,Bikas Saha(PMC member of the Apache Hadoop and Tez)等国际顶尖Hadoop专家,我们不妨当面探讨。

2. 时过境迁,Storm、Kafka等流计算框架前途未卜。如果说MapReduce的缓慢给众多流计算框架带来了可乘之机,那么当Hadoop生态圈组件越发成熟,Spark更加易用,迎接这些流计算框架的又是什么?这里我们不妨根据BDTC 2014近百场的实践分享进行一个侧面的了解,亦或是与专家们当面交流。

3. Spark,是颠覆还是补充?与Hadoop生态圈的兼容,让Spark的发展日新月异。然而根据近日Sort Benchmark公布的排序结果,在海量(100TB)离线数据排序上,对比上届冠军Hadoop,Spark以不到十分之一的机器,只使用三分之一的时间就完成了同样数据量的排序。毫无疑问,当下Spark已不止步于实时计算,目标直指通用大数据处理平台,而终止Shark,开启Spark SQL或许已经初见端倪。那么,当Spark愈加成熟,更加原生的支持离线计算后,开源大数据标准处理平台这个荣誉又将花落谁家?这里我们一起期待。 

4. 基础设施层,用什么来提升我们的网络?时至今日,网络已成为众多大数据处理平台的攻坚对象。比如,为了克服网络瓶颈,Spark使用新的基于Netty的网络模块取代了原有的NIO网络模块,从而提高了对网络带宽的利用。那么,在基础设施层我们又该如何克服网络这个瓶颈?直接使用更高效的网络设备,比如Infiniband能够带来多少性能提升?建立一个更智能网络,通过计算的每个阶段,自适应来调整拆分/合并阶段中的数据传输要求,不仅提高了速度,也提高了利用率。在BDTC 2014上,我们可以从Infiniband/RDMA技术及应用演讲,以及数场SDN实战上吸取宝贵的经验。

5. 数据挖掘的灵魂——机器学习。近年来,机器学习领域的人才抢夺已进入白热化,类似Google、IBM、微软、百度、阿里、腾讯对机器学习领域的投入也是愈来愈高,囊括了芯片设计、系统结构(异构计算)、软件系统、模型算法和深度应用各个方面。大数据标志一个新时代的到来,PB数据让人们坐拥金山,然而缺少了智能算法,机器学习这个灵魂,价值的提取无疑变得镜花水月。而在本届会议上,我们同样为大家准备了数场机器学习相关分享,静候诸位参与。

而在技术分享之外,2014年第二届CCF大数据学术会议也将同时召开,并与技术大会共享主题报告。届时,我们同样可以斩获许多来自学术领域的最新科研成果。

更多精彩内容,请关注CSDN云计算频道,新浪微博@CSDN云计算,CSDN大数据微信公众账号。

CSDN诚邀您参加中国大数据有奖大调查活动,只需回答23个问题就有机会获得最高价值2700元的大奖(共10个), 速度参与进来吧!


免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Impala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。

平板电脑悬了 Phablets或成为未来移动设备的主流 拿什么拯救你:黑莓今年将裁员4500人 推荐10款免费的在线UI测试工具 最好的Java IDE之争:Eclipse PK IntelliJ IDEA Intel发布E5 2600 v2处理器 开放硬件监控信息 XP寿终大限将近 微软再次呼吁用户尽早“分手” Dropbox CTO:离开办公室就焦虑的技术宅男 看雪学院“走进企业看安全”活动百度站落幕 九大设计技巧+作品赏析 激发你的创作灵感! 排名前十CEO的工资条,你怎么看? 麻省理工TR35之IT界年轻有为创新者(下) Storm的“翻版”:LinkedIn开源实时数据处理系统Samza 呼吸监测耳机:一个在“呼吸”上做文章的可穿戴设备 谷歌7年210亿美元的基础设施建设,及可供17万家庭使用的风电 Touch ID很安全?德国黑客宣布已绕过苹果指纹识别系统 纽约警方鼓励用户升级iOS 7 你想好了吗? Android开发者不可或缺的四大工具 Mozilla开源TogetherJS:让网站拥有实时协作功能 可穿戴技术专家Jawbone UP向所有开发者开放API 18款在线代码片段测试工具 Gartner咨询公司研究副总裁彼得·福斯特布鲁克:互联网安全新兴威胁与挑战 美国智库战略与国际研究中心(CSIS)詹姆斯·刘易斯:网络安全神话、传说与现实 云安全联盟中国分会理事赵粮:建设可信的云生态环境 Web前端优化最佳实践及工具集锦 2013中国互联网安全大会(ISC)9月23日隆重举行 科技界最聪明的人:Facebook首任CTO激情燃烧的岁月 继乔布斯时间胶囊出土 其儿时的家或成历史遗迹 微软向7亿Windows 7用户发布Internet Explorer 11预览版 乐视腾讯深度合作 超级电视26日易迅网首发 开源jQuery插件推荐 帮你快速构建单页网站 实时数据追踪?Salutron发布LifeTrak API 有关文档存储的问题 怎样响应WM_NOTIFY消息?我的这个做法错在哪里? 不是ASP.NET的高手不要进来, 怎样将对话框放在所有窗口的最顶部? 关于二级联动下拉列表,请教高手!! 如何获取网页中的数据,请教各位大侠??? VB编程如何实现菜单及打印等功能 ehlib 2.0表格为什么导出到Excel中是空表的? VBA操作excel 请问什么函数可以实现 类似于用note打开一个文本文件 怎样把查询结果写到缓冲里 请教一个delphi 安装问题 请问,你们都用现成的数据库还是自己定义?(大家讨论讨论) 程序员的未来! 谁有《将标准C++视为一个新语言》一文? 求助 为什么装上Framework以后不能正确运行.ASPX文件? 要想学好vb.net,首先要学好什么???? 请各位帮忙:apache 支持asp 吗? 麻烦大家帮我看看这个历遍 尴尬中..... 2000系统中 这个进程占了CPU 99% 且不能结束!!!是什么进程??? 急!!!!!!!!!!!在线等待 抱错:在获得新的之前,必须释放所有ROW句柄 如何使用ASP进行文件上传代码的编写? 哪里能找到好一点版本的江湖下载啊? 小弟初学汇编,问大家一个基础的问题,请指教! 狂风系列问题:在ASP.NET中怎样写这样的SQL语句? Ehlib或其他Grid控件, 如何实现点击表头排序 ?要求不能重新重新执行SQL语句 请大家试试,google是不是不能用了??郁闷ing.... 怎么google打不开了? 这段代码出什么问题了?大家帮看一看。 如何察看源代码? 大家好啊!我有一个非常……的问题!是一个关于主机板的CPU温度测试问题! 怎么老是游人不停的ping我的80端口 Windows位图的数据结构 我为用户做了一个员工输入模块,但客户想把excel里面的表复制进我的员工输入摸块里面去 一个小问题。急 创建启动等待窗口,工程文件要添加哪些内容 只要有人可以把狗屎说成是精神 关于windows和Linux的问题 如何调用其他事件的过程?? 如何查询员工表中所有本月所生职工 哪位老兄用过intel的jpg库? 请教一下 viewstate在 Not (IsPostBack) 情况下是读不出的? 如何用VB打包控件,以便ASP自动安装? 请问怎样实现SQL数据库再本机上的备份与恢复?救急!!! 请问C++中结构体(struct)和联合体(union)有什么区别??(内空) 请教:W2K下目录的安全权限问题,大侠帮帮看看(急!) 刚刚那个问题,已经给分,现在再来个问题,看有没高手能回答我 急求:如何在VB中用代码实现水晶报表的使用 (2011•玉溪)2006年我市在全国率先成为大面积实施“三免一补”的州市,据悉,2010年我市筹措农村义务教育经费与“三免一补”专项资金3.6亿元【由中央、省、市、县(区)四级共同投入, 什么是水景观 剑神,鬼屎,拼音怎么打 小灯泡上标有2.5V 0.3A 景观喷泉池中的水本是清的为何循环后会变浑浊,如何处理? 《春》一文中写春风图中表示视觉、听觉、嗅觉、触觉四种感觉的词语.是春风图 词语 不要搞错了! 请问“3.8V 0.3A”是灯的铭牌,表示什么意思请具体回答 以镁,铝,为电极用导线连接同时插入NaoH溶液,哪个是正极?哪个负极?电极反应方程式?电子流向?哪个上面有气泡?还有为什么? 异步电机试验中,发电机空载特性是什么,短路特性呢? 几道初一几何题,已知AC⊥BC,AV=BC,BE是∠ABC的平分线,AE⊥BF,交BE的延长线于点F,求证:AF=0.5BE.在△ABC中,AB=AC,AD=AE,∠CAD=40°,求∠EDB的度数.已知△ABC中,BD⊥AC,E为AB的中点,EF‖BC,∠A=2∠C,求证 将镁片和铝片平行插入到NaOH溶液中,用导线连接成闭合回路,该装置在工作时下列说法正确的是?A.铝是电池负极,开始工作时溶液中会立即有白色沉淀生成B.该装置开始工作时,铝片表面的氧化膜 怎样去除水中的铁离子?急 自来水中含有大量的铁离子 想把它去除还不能影响水质 怎么样才能行呢?不懂的请不要瞎回答 我想你们有急事的时候也不愿意别人这样吧可能我刚刚也没有说清楚 文学家 画家 音乐家 科学家 军事家 哲学家 思想家,每个找5个,并弄一些事迹或简介.作文素材积累用! 自行车中包含的全部物理原理有?全部呀.带视频更好! 放大镜,幻灯片,照相机,汽车观后镜,手电筒,医用额镜的光学元件分别是什么注意看清楚题目,不要答非所问,如果在3风中之内答的对的话有20个悬赏分哦,急 我想问下,塔吊臂长50米,基本高度70米的,大约多少钱? 基本尺寸为27.4按IT12级加工,其公差为±0.21? 显微镜的物镜所成的像相当于下列那种光学元件的成像 A照相机 B投影仪 C放大镜 D近视镜 小灯泡上标有3.8v 0. 怎样检查高空大气压 为什么天气预报差距好大说有雨啊!可是还有太阳啊? 小灯泡上标有“2.5V 0.3A”字样.小明问 过老师后,知道这些数字表示的意思.他想 实际测量这个小灯泡的额小灯泡上标有“2.5V 0.3A”字样.小明问过老师后,知道这些数字表示的意思.他想实际测 大小为20N、30N和40N的三个力的合力大小可能为( ) A.10N B.40N C.70N D.100N大小为20N、30N和40N的三个力的合力大小可能为( )A.10N B.40N C.70N D.100N 为什么是ABC? 天气预报的温度跟实际温度相差怎么会这么大?我每天都在看天气预报,例子 报的是31度,但是实际温度38度了,为什么会有这种情况? 德国文学家德国 名人(文学家 音乐家 科学家等,除了明星) 有哪些?请说明年代 作品 两个共力点,其中一个力的大小是40N,另一个力的大小未知,但他们的合力大小为100N,则另一未知力大小为不定项选择----A.20N B.40N C.80N D.150N 且要理由 妈妈的爱刘丙钧的诗 1 参见图1 已知S abe=1/3S abcd,S adf=2/5S abcd ,Scef=5 求Sabcd2 参见图2 已知bd=ed=ce,ag=gf=fc S abc=1 求S pecf3 参见图3 已知ae=be ad:dc=2:3 Sabc=40 求S aefd4 参见图4 图中所标数字即为相应三角面积 求S abc5 参见图1 硅含量是怎么影响锅炉水的水质的 妈妈的爱作文 土壤中水和无机盐进入根毛细胞的途径是?土壤溶液——( )——细胞膜——( )——( ) 请问这句德语表达什么意思?Das Model hat die Kleidung mit dem Futter(,das eine andere Farbe ist,) angezogen.Deshalb erscheint es einfach verschiedener als meine Fotos. 如果放大镜对准望远镜和显微镜的目镜会怎样?是不是会更模糊?就是一个放大镜对准普通望远镜和天文望远镜以及显微镜看. 得分 1、在桌面上铺一张白纸,绝纸上竖一块玻璃板作为平面镜,在纸上记下平面镜的位置; 2、把一支点燃的 得分 1、在桌面上铺一张白纸,绝纸上竖一块玻璃板作为平面镜,在纸上记下平面镜 能不能帮我找几道关于初一的几何题目? 两个共点力大小为100N,夹角为60度求其合力的大小和方向 在桌面上铺一张大白纸,纸上竖立一块玻璃板,作为平面镜.在纸上记下平面镜的位置然后把一支点燃的蜡烛放在玻璃板的前面,可以看到玻璃板后面的像.在 像 处放一只没点燃的同样的蜡烛在纸 这句德语想要表达什么?Für eine Hose brauche ich 1,40x2,30 oder 1,50x2,05.Ich bin Anfänger und frag mich,ob das geht und was das dann kostet.. 两个大小都是 5N,夹角为 120度 的共点力,其合力大小和方向为 ()A.10N,方向与其中一个力夹角为 60度B.5N,方向与其中一个力夹角为 60度C.5N,方向在两力夹角的角平分线上D.10N,方向无法确定希望有 找几道初一下的几何题越多越好, 中国的政治家.教育家.科学家.文学家有哪些? 显微镜的镜头的相关知识(目镜.物镜) 海南靠近什么海 我国的政治家、教育家、科学家、文学家有哪些 两个大小相等的共点力 当它们之间的夹角为120°时 合力为F. 它们夹角为90°时 合力大小是多少要详细点的解析 麻烦了 拜托拜托 我弄不懂. 海南岛是什么海的南面? 科学家能成为政治家么?当科学家好还是政治家好?我本立志成为一名科学家,但现在越来越发现:科学总是受制于政治,科学家有点太憋屈了, 正弦交流电路参数的测量实验误差来源 海南岛与哪个海洋濒临,最近的是哪个海?具体是西还是南太平洋呀? 中国历史上出现过的政治家、教育家、科学家、文学家都有哪些?稍多一点,要>10个,<20个就差不多, 两个大小相等的共点力F1,F2,当他们之间的夹角为90度时合力的大小为20N,则当他们之间的夹角为120°时合力大小为多少?要详细解答过程 海南那边的海就是南海么如题 有个人非要跟我争论说海南这边的海是南海 到底是不是 请问这段德语表达的是什么意思?Kann ich für den Stoff Krepp mit Erdbeeren für 23,77 mehr haben? speziell für abgebildetes Kleid Grösse 38? 电厂水处理为什么要进行二氧化硅的测定?有什么作用?比如给水,过热,高热都需要测定.但是炉水去不测定二氧化硅只有在酸性条件下也钙反应.在锅炉上水都是PH>7 高压锅的锅盖上有一个空心柱为排气孔 为什么将铝片和镁片分别投入浓naoh溶液,只有AL片表面产生h2 在照相机镜头、投影仪镜头、放大镜显微镜望远镜中成放大虚象的是什么 (2006•天津)已知关于x的方程x2-(a+2)x+a-2b=0的判别式等于0,且x= 1 2 是方程的根,则a+b的值为我想请问判别式算式(a+2)²-4(a-2b)=0 为什么不在这里下结论说a+2=0 a-2b=0 而是要展开再继 写四条尊师名言,写出作家介绍.如德国音乐家 贝多芬. 如题.
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘