说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

十大技术,十家机构,从行业制高点一览大数据

HTML文档下载 WORD文档下载 PDF文档下载
大数据宽泛的概念很难深刻地理解,只有掌握行业最前沿的技术,了解该行业的领头人,才能对整个行业有一个总的认识。站在制高点,你将获得更敏锐的洞察力。

大数据在各行各业中取得了迅猛发展,许多组织都被迫寻找新的创造性方法来管理和控制如此庞大的数据,当然这么做的目的不只是管理和控制数据,而是要分析和挖掘其中的价值,来促进业务的发展。着眼大数据,过去几年内产生了许多颠覆性技术,比如Hadoop、MongDB、Spark、Impala等,了解这些前沿技术还有助于你更好的把握大数据发展趋势。诚然,想了解一件事物,首先要了解与该事物有关的人。因此,要想了解大数据,光了解技术是远远不够的,本文中大数据领域的十个巨头,将有助于你更深入掌握大数据这个行业的发展形势。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

大数据领域的十大开源技术

根据最新的思科全球云指数报告,预计到2017年年底,全球数据中心年均IP流量将达到7.7ZB。总体而言,数据中心IP流量在2012年到2017年之间将以25%的复合年均增长率(CAGR)增长。

现在增长的速度更快,而且组织需要依靠大量的数据集帮助它们运营、量化和发展业务。在过去几年里,大型数据库经历了从GB到TB再到PB级的发展过程。

此外,数据也不再是存储在一个地方,随着这些数据的增长以及云计算的发展,这些数据实现了分布式存储。

几乎所有行业都在发展大数据和数据科学

  • 科学:大型强子对撞机每秒大约进行6亿次碰撞。因此,只有当传感器流数据小于0.001%的时候才有效,从四个大型强子对撞机实验中产生的数据意味着每年将产生25PB的数据(统计于2012年),此外备份还会产生大量数据,备份后的数据有可能达到200PB。
  • 研究:美国航空航天局的气候模拟中心(NCCS)在其超级计算机平台上存储了约32PB的气候观测和模拟数据。
  • 私有/公共:亚马逊每天处理的后端操作达数百万,此外还有超过50万个第3方卖家的查询操作。亚马逊的核心技术运行在基于Linux的数据库系统上,截至2005年,亚马逊拥有世界上三个最大的Linux数据库,容量分别达到了7.8TB、18.5TB、24.7TB。

组织被迫寻找新的创造性方法来管理和控制如此庞大的数据,目的不只是为了整理数据,而是要分析和挖掘数据来进一步发展业务,因此,一些开源大数据技术值得考虑:

Apache HBase:这个大数据管理平台建立在谷歌强大的BigTable管理引擎基础上。作为具有开源、Java编码、分布式多个优势的数据库,Hbase最初被设计应用于Hadoop平台,而这一强大的数据管理工具,也被Facebook采用,用于管理消息平台的庞大数据。

Apache Storm:用于处理高速、大型数据流的分布式实时计算系统。Storm为Apache Hadoop添加了可靠的实时数据处理功能,同时还增加了低延迟的仪表板、安全警报,改进了原有的操作方式,帮助企业更有效率地捕获商业机会、发展新业务。

Apache Spark:该技术采用内存计算,从多迭代批量处理出发,允许将数据载入内存做反复查询,此外还融合数据仓库、流处理和图计算等多种计算范式,Spark用Scala语言实现,构建在HDFS上,能与Hadoop很好的结合,而且运行速度比MapReduce快100倍。

Apache Hadoop:该技术迅速成为了大数据管理标准之一。当它被用来管理大型数据集时,对于复杂的分布式应用,Hadoop体现出了非常好的性能,平台的灵活性使它可以运行在商用硬件系统,它还可以轻松地集成结构化、半结构化和甚至非结构化数据集。

Apache Drill:你有多大的数据集?其实无论你有多大的数据集,Drill都能轻松应对。通过支持HBase、Cassandra和MongoDB,Drill建立了交互式分析平台,允许大规模数据吞吐,而且能很快得出结果。

Apache Sqoop:也许你的数据现在还被锁定于旧系统中,Sqoop可以帮你解决这个问题。这一平台采用并发连接,可以将数据从关系数据库系统方便地转移到Hadoop中,可以自定义数据类型以及元数据传播的映射。事实上,你还可以将数据(如新的数据)导入到HDFS、Hive和Hbase中。

Apache Giraph:这是功能强大的图形处理平台,具有很好可扩展性和可用性。该技术已经被Facebook采用,Giraph可以运行在Hadoop环境中,可以将它直接部署到现有的Hadoop系统中。通过这种方式,你可以得到强大的分布式作图能力,同时还能利用上现有的大数据处理引擎。

Cloudera Impala:Impala模型也可以部署在你现有的Hadoop群集上,监视所有的查询。该技术和MapReduce一样,具有强大的批处理能力,而且Impala对于实时的SQL查询也有很好的效果,通过高效的SQL查询,你可以很快的了解到大数据平台上的数据。

Gephi:它可以用来对信息进行关联和量化处理,通过为数据创建功能强大的可视化效果,你可以从数据中得到不一样的洞察力。Gephi已经支持多个图表类型,而且可以在具有上百万个节点的大型网络上运行。Gephi具有活跃的用户社区,Gephi还提供了大量的插件,可以和现有系统完美的集成到一起,它还可以对复杂的IT连接、分布式系统中各个节点、数据流等信息进行可视化分析。

MongoDB:这个坚实的平台一直被很多组织推崇,它在大数据管理上有极好的性能。MongoDB最初是由DoubleClick公司的员工创建,现在该技术已经被广泛的应用于大数据管理。MongoDB是一个应用开源技术开发的NoSQL数据库,可以用于在JSON这样的平台上存储和处理数据。目前,纽约时报、Craigslist以及众多企业都采用了MongoDB,帮助他们管理大型数据集。(Couchbase服务器也作为一个参考)。

在我们这个DOD(data-on-demand)社会,每天都有大量的数据产生,并且大量的数据被收集在主要IT系统中。无论是社交媒体的照片还是国际商店交易信息,大量高质量、可量化的数据每天都在爆炸性增加,应对的唯一方法就是快速部署一个高效的管理方案。

切记,除了要对数据进行快速的分类和组织,IT管理人员必须具有挖掘信息并将其应用到业务中的能力。商业智能和数据量化背后的科学将继续发展和扩大,企业取得竞争优势的关键在于能否对它们的数据进行很好的管理。

历数大数据领域不可忽视的十大巨头

Amazon Web Services

Forrester将AWS称为“云霸主”,谈到云计算领域的大数据,那就不得不提到亚马逊。该公司的Hadoop产品被称为EMR(Elastic Map Reduce),AWS解释这款产品采用了Hadoop技术来提供大数据管理服务,但它不是纯开源Hadoop,经过修改后现在被专门用在AWS云上。

Forrester称EMR有很好的市场前景。很多公司基于EMR为客户提供服务,有一些公司将EMR应用于数据查询、建模、集成和管理。而且AWS还在创新,Forrester称未来EMR可以基于工作量的需要自动缩放调整大小。亚马逊计划为其产品和服务提供更强大的EMR支持,包括它的RedShift数据仓库、新公布的Kenesis实时处理引擎以及计划中的NoSQL数据库和商业智能工具。不过AWS还没有自己的Hadoop发行版。

Cloudera

Cloudera有开源Hadoop的发行版,这个发行版采用了Apache Hadoop开源项目的很多技术,不过基于这些技术的发行版也有很大的进步。Cloudera为它的Hadoop发行版开发了很多功能,包括Cloudera管理器,用于管理和监控,以及名为Impala的SQL引擎等。Cloudera的Hadoop发行版基于开源Hadoop,但也不是纯开源的产品。当Cloudera的客户需要Hadoop不具备的某些功能时,Cloudera的工程师们就会实现这些功能,或者找一个拥有这项技术的合作伙伴。Forrester表示:“Cloudera的创新方法忠于核心Hadoop,但因为其可实现快速创新并积极满足客户需求,这一点使它不同于其他那些供应商。”目前,Cloudera的平台已经拥有200多个付费客户,一些客户在Cloudera的技术支持下已经可以跨1000多个节点实现对PB级数据的有效管理。

Hortonworks

和Cloudera一样,Hortonworks是一个纯粹的Hadoop技术公司。与Cloudera不同的是,Hortonworks坚信开源Hadoop比任何其他供应商的Hadoop发行版都要强大。Hortonworks的目标是建立Hadoop生态圈和Hadoop用户社区,推进开源项目的发展。Hortonworks平台和开源Hadoop联系紧密,公司管理人员表示这会给用户带来好处,因为它可以防止被供应商套牢(如果Hortonworks的客户想要离开这个平台,他们可以轻松转向其他开源平台)。这并不是说Hortonworks完全依赖开源Hadoop技术,而是因为该公司将其所有开发的成果回报给了开源社区,比如Ambari,这个工具就是由Hortonworks开发而成,用来填充集群管理项目漏洞。Hortonworks的方案已经得到了Teradata、Microsoft、Red Hat和SAP这些供应商的支持。

IBM

当企业考虑一些大的IT项目时,很多人首先会想到IBM。IBM是Hadoop项目的主要参与者之一,Forrester称IBM已有100多个Hadoop部署,它的很多客户都有PB级的数据。IBM在网格计算、全球数据中心和企业大数据项目实施等众多领域有着丰富的经验。“IBM计划继续整合SPSS分析、高性能计算、BI工具、数据管理和建模、应对高性能计算的工作负载管理等众多技术。”

Intel

和AWS类似,英特尔不断改进和优化Hadoop使其运行在自己的硬件上,具体来说,就是让Hadoop运行在其至强芯片上,帮助用户打破Hadoop系统的一些限制,使软件和硬件结合的更好,英特尔的Hadoop发行版在上述方面做得比较好。Forrester指出英特尔在最近才推出这个产品,所以公司在未来还有很多改进的可能,英特尔和微软都被认为是Hadoop市场上的潜力股。

MapR Technologies

MapR的Hadoop发行版目前为止也许是最好的了,不过很多人可能都没有听说过。Forrester对Hadoop用户的调查显示,MapR的评级最高,其发行版在架构和数据处理能力上都获得了最高分。MapR已将一套特殊功能融入其Hadoop发行版中。例如网络文件系统(NFS)、灾难恢复以及高可用性功能。Forrester说MapR在Hadoop市场上没有Cloudera和Hortonworks那样的知名度,MapR要成为一个真正的大企业,还需要加强伙伴关系和市场营销。

Microsoft

微软在开源软件问题上一直很低调,但在大数据形势下,它不得不考虑让Windows也兼容Hadoop,它还积极投入到开源项目中,以更广泛地推动Hadoop生态圈的发展。我们可以在微软的公共云Windows Azure HDInsight产品中看到其成果。微软的Hadoop服务基于Hortonworks的发行版,而且是为Azure量身定制的。

微软也有一些其他的项目,包括名为Polybase的项目,让Hadoop查询实现了SQLServer查询的一些功能。Forrester说:“微软在数据库、数据仓库、云、OLAP、BI、电子表格(包括PowerPivot)、协作和开发工具市场上有很大优势,而且微软拥有庞大的用户群,但要在Hadoop这个领域成为行业领导者还有很远的路要走。”

Pivotal Software

EMC和Vmware部分大数据业务分拆组合产生了Pivotal。Pivotal一直努力构建一个性能优越的Hadoop发行版,为此,Pivotal在开源Hadoop的基础上又添加了一些新的工具,包括一个名为HAWQ的SQL引擎以及一个专门解决大数据问题的Hadoop应用。Forrester称Pivotal Hadoop平台的优势在于它整合了Pivotal、EMC、Vmware的众多技术,Pivotal的真正优势实际上等于EMC和Vmware两大公司为其撑腰。到目前为止,Pivotal的用户还不到100个,而且大多是中小型客户。

Teradata

对于Teradata来说,Hadoop既是一种威胁也是一种机遇。数据管理,特别是关于SQL和关系数据库这一领域是Teradata的专长。所以像Hadoop这样的NoSQL平台崛起可能会威胁到Teradata。相反,Teradata接受了Hadoop,通过与Hortonworks合作,Teradata在Hadoop平台集成了SQL技术,这使Teradata的客户可以在Hadoop平台上方便地使用存储在Teradata数据仓库中的数据。

AMPLab

通过将数据转变为信息,我们才可以理解世界,而这也正是AMPLab所做的。AMPLab致力于机器学习、数据挖掘、数据库、信息检索、自然语言处理和语音识别等多个领域,努力改进对信息包括不透明数据集内信息的甄别技术。除了Spark,开源分布式SQL查询引擎Shark也源于AMPLab,Shark具有极高的查询效率,具有良好的兼容性和可扩展性。近几年的发展使计算机科学进入到全新的时代,而AMPLab为我们设想一个运用大数据、云计算、通信等各种资源和技术灵活解决难题的方案,以应对越来越复杂的各种难题。

相关链接:

Open Source Technologies Provide Cloud-Ready Big Data Control

Nine Hadoop companies you should know(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
果粉的又一个节日:新iPad或于10月22日发布 新车间李大维:到集装箱里来看创客嘉年华 亚马逊推“登录与支付”功能 直接冲击PayPal Google编程之夏新里程碑:5000万行源代码 8500名学生开发者 非常实用的15款开源PHP类库 Runnable:一站式代码片段服务平台,打造编程界的YouTube 谷歌向所有开发者开放Google App Engine PHP Runtime “沟通”电子表格和矢量图形的“桥梁”:在线可视化工具Raw Facebook北极圈数据中心,Open Compute Project的力作! 最后三天!4折抢购2013移动开发者大会门票 电子书追踪统计,App Annie for eBooks上线 先驱还是模仿者?细数海外移动应用推广平台 IDC:PC出货量下滑终于放缓 联想销量再次第一 为什么说,用一块屏幕玩游戏是远远不够的? 编写代码?先熟悉一下编程语言界限吧! Spanner vs. F1:谷歌两大数据管理利器的整体对比及关联 移动设计需摒弃的几大PC应用设计方法 响应式导航设计案例解析(多图) 所见即所得:七大无需编程的DIY开发工具 前Google员工发布无痕搜索产品,阻老东家财路 VMware推出vCloud Suite及vSphere新版:可用性及性能双丰收 TIOBE 2013年10月编程语言排行榜:Groovy首次挤进Top 20 Cookie时代将结束:微软将开发跨PC、移动和Xbox跟踪技术 Web设计里需要避免的八大糟糕趋势 Groupon从ROR迁移至Node.js,响应速度大幅提升 腾讯云的Container实现 专为物联网打造的数据库TempoDB获得320万美元投资 MongoDB成为首位10亿美元初创,功臣可归功于Oracle? 程序员遇到Bug后的30种常见反应 扎克伯格豪掷3000万美元购四套房 梅耶尔和拉里佩奇也居于此 IBM研究人员:仅200条微博 就可构建人格剖析图 创建不了C#Web项目,急!!!(刚学C#) [求助] 用fopen函数读不出URL文件? 怎么判断listview是否有一个item被选中? 请说一下硬盘容量和内存容量的关系! ▄▅▆▇█ 水园的大背景离不开吵架 █▇▆▅▄ 请教mm有个问题! linux下的编程问题 以Oracle为例说明如何通过ODBC将数据库中的指定表导出到MDB数据库。(原创) 关于一种特殊按钮 SQL语句小问题!!在线等待! 想学ColdFusion 请看我的转载的贴子 Troj_Hacline.A是什么病毒? 关于XML的问题,150分赠送,急 dll问题。很简单。 感慨!!!(潜水一年,吐个泡,顺便发表一点意见) 帮个忙 怎么在Installshield中创建对话框,并操作ACCESS数据库? 连续给分:邮件服务器防病毒问题! 我想编译一个像API一样的dll 启动rose就出错,高手来看,100分 关于打印的一个问题 急!!!请提供一段设置Session的全部代码,谢谢!! 请问,从第二帧开始播放的代码的什么??? 老师要求编写五子棋的程序可是我实在想不出该怎么设定估价函数啊帮帮忙啊? 感觉压力比较大,活不下去,想跳楼自杀的进来侃侃 一个关于php提交表单的问题。 各位大侠,要命问题! 怎么在Installshield中创建对话框,并操作ACCESS数据库? win2000server的管理员密码让人改了,怎么办呀! 太气愤了,帮帮我? 用BDE连接MS SQL SERVER,为什么运行后出现未知用户名或密码的错误? datagrid中能不能进行统计 如何编写“outlook”风格的界面 如何实现flash截图?我研究了好久也不明白,希高手指点!(在线等待) 程序调用的DLL 在delphi中,用ADO如何实现将SQL中多表导出到一个Access中? 无聊啊无聊 想考软工???? Socket奇怪的问题! foxpro中如何实现按一按钮启动word和excel,并且直接弹出打开文件对话框? 关于分级权限管理(300分) 紧急求救!!!!!!!! 客户端web服务是否需要别的控件支持 帮帮我,朋友们请进.... Datareport问题! [cclq]竞选斑主,附我的方针! 用VB编写自己的服务器端组件 DAO问题,CDaoRecordset::addnew()和CDaoQueryDef::Execute插入一条记录,哪个更快? 谁能解释一下这个比较模糊的问题?关于地图窗口HWND。 闲人免进!如何增加信誉分! 如何改变Mem控件中插入符的形状? 人非生而知之者后一句是什么? 一水一浮生是什么意思 改善的英语怎么讲?要四个空 人非生而知之者的下一句是什么 怎样区分初次分配与再分配请举几个例子 如图所示,三条直线AB,CD,EF相交于点O,角AOF=3角FOB,角AOC=90°,求角DOF 怎样计算 木片夹住木块的弹力?我觉得这里的弹力和摩擦力的方向根本是不一样的啊? 三角形的斜边怎么算周长 动能和势能是怎么计算的 人非生而知之者 下一句 重结晶,蒸发浓缩冷却结晶,蒸发结晶.三个有什么区别吗?主要是第一个和后两个区别我想问下 怎么算电势能 人非生而知之者,孰能无惑?怎么改成陈诉句 用三这个字组词 两个字的比如 三秒 三夏 越多越好 、不要瞎说哟 两种溶液混合,体积会增大吗,一般体积增大还是减小,请举例 阴影长方形的面积是多少 三角形的斜边计算在直角三角形中.已知一个角是度数和一个直边,如何求出斜边. 原核生物启动子的结构特点及功能 人非生而知之者,孰能无惑?出自谁? 初次分配与再分配的具体内容是什么?区别是? 两种溶液混合,体积会比体积和增大吗,一般体积和增大还是减小,请举例 人非生而知之者,岂能无师?出自那篇文章的一句话 初次分配与社会再分配的区别 什么是强启动子? 怎么样分辨塑胶与橡胶 如图,已知EF/FC=DF/BE,AE/DE=3/2,AD=BC,BF=15cm,求DF的长?希望在8点10分前给我答案,我急用,快 怎么理解初次分配和再分配? 是否存在一个平移,它把点(1,2)移到(3,4)且把点(0,1)移到(-1,0)? 我叫mt怎么装easy助手?非越狱的iphone 什么叫做初次分配与再分配 是否存在一个平移,它把点(0,-1)移至(1,0),且把点(-1,3)移至(0,4)? 我叫mt辅助easy助手1111111111 请问什么是初次分配和再分配? 怎样区别初次分配和再分配我看了概念还是不清楚有什么简便方法吗不要复制一大段 猛将气体有毒么? 如图,直线AB CD EF相较于点O,已知;∠AOF=3教FOB,∠AOC=100°,求∠EOC的度数 初次分配与再分配区别 米和占这两个字,同加上一个什么字,使两个字都能组成一个新字 我叫mt辅助easy助手, 再分配和初次分配怎么区分? 坐、对两个字分别加偏旁组成新字,每个字必须组出两个新字 华为版的我叫mt属于哪个版本,我想用easy助手,可是不知道载哪个 燃烧匙中的红鳞可以换成硫或木炭?燃烧匙中的红鳞越多水位上升越高为什么错?题目是怎样的 做空气中氧气含量测定的试验装置如下图 大概你么你想象的那种 下列有关说法正确的是A作用红 门 小 日 口 从 生 大 十任选两个字组成新字不能重复组成四个新字 等腰梯形、长方形、平行四边形中哪个不是对称图形? 人非生而知之者的下一句? IOS 4.3.1跟IOS 5有什么区别? 甲:我说出两个字. 乙:我就能把它组成一个新字,并且能说出新字的意思.甲:上下不正 乙:歪——不正斜甲:小土飞扬 乙:__________甲:人被拘禁 乙::__________甲:水中捕鱼 乙:__________甲:门里藏日 人非生而知之者,( ) 一鼓作气,(人非生而知之者,( ) 一鼓作气,( ),三而( ) 第一个答对给好评! 4.3.5版的iphone4,ios如何升级? 把一个圆任意朝不同方向对折,每条折痕都一定通过圆心,对折后,两边完全重合吗? 爱的深恨的就深对吗 如何将IOS 5.0降级到IOS 4.3.3. ab平行cd,bc平行ad,de⊥be,df=ef,甲从b出发,沿着bc→ce→ef的方向运动,如果两人的速度是相同的 为什么爱得很深,而最后也恨得更深? 2013年9月如何将ios 4.3.3的iphone4升级到5.1.1我有备份SHSH5.1.1, 宇宙中存在比 光速 快的 质量/势能 》c ,有发现存在吗? 为什么嫩江不是松花江源头要算长白山为源头 直线AB,CD,EF,相交于O点,∠AOE=3∠FOB,∠AOC=90°,求∠EOC的度数是这幅图 在太空中,一般选择无穷远处为零势能点所以,物体在太空中的势能为:Ep=-GMm/r这是怎么推出来的?设无穷远处为零时能点是什么意思? 洛杉矶机场发生枪击案致1死7伤 嫌犯委总统微博掉粉 谴责国际右翼势力插手斯诺登密会德议员 称愿为NSA窃听事美国一长约4米重达330公斤巨鳄被捕媒体揭秘美国监听手段:大使馆屋顶材料五角大楼否认美日制定“钓鱼岛共同防卫放宽对华签证国家持续增多 目前已有1杭州昨雾天多个监测点PM2.5超标 日参议员违禁访朝促改善日朝关系 或将中国多地同现雾霾 华北再中“霾伏”局北京遭5级以上重度“霾伏” 一周发4北京继续被雾霾笼罩 前门PM2.5居德国与巴西共同向联合国提交有关反监控斯诺登致信默克尔:“讲实话并不犯法”泰国入境税对中国影响几何委内瑞拉总统谴责推特强删其推特粉丝汤加附近海域发生6.4级地震斯诺登密会德议员 称愿为NSA窃听事伊拉克总理会晤奥巴马 望美售武对抗“王毅夫人发起扶贫义卖 筹款用于解决云王毅夫妇掏腰包助阵“国际义卖”(图)武警开展“魔鬼周”训练“华商头条”榆林频道一周新闻排名寇剑成:血站里的献血英雄骑上新型清扫保洁电动车 人一下子轻松聚丰“花千谷”惊艳大宝鸡崆峒山至西安旅游专线开通幻想买彩票发横财 已婚男偷“女友”父公办校园新建 未来3年再投入上亿元轻信“富婆千里寻缘”6旬老汉被骗94西安市胸科医院开展结核病义诊咨询活动88辆新型保洁电动车 为环卫工人减负要投诉新房未入住 地板咋没了“魔鬼周”训练买火车票离家出走人生最后一站的护送者4月8日前或将出现局部地区短时停电内分泌科专家梁崇上西安爱知中学率先开设英语浸入式实验班妩媚了城市“我是无偿献血受益者!”
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘