说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

十大技术,十家机构,从行业制高点一览大数据

HTML文档下载 WORD文档下载 PDF文档下载
大数据宽泛的概念很难深刻地理解,只有掌握行业最前沿的技术,了解该行业的领头人,才能对整个行业有一个总的认识。站在制高点,你将获得更敏锐的洞察力。

大数据在各行各业中取得了迅猛发展,许多组织都被迫寻找新的创造性方法来管理和控制如此庞大的数据,当然这么做的目的不只是管理和控制数据,而是要分析和挖掘其中的价值,来促进业务的发展。着眼大数据,过去几年内产生了许多颠覆性技术,比如Hadoop、MongDB、Spark、Impala等,了解这些前沿技术还有助于你更好的把握大数据发展趋势。诚然,想了解一件事物,首先要了解与该事物有关的人。因此,要想了解大数据,光了解技术是远远不够的,本文中大数据领域的十个巨头,将有助于你更深入掌握大数据这个行业的发展形势。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

大数据领域的十大开源技术

根据最新的思科全球云指数报告,预计到2017年年底,全球数据中心年均IP流量将达到7.7ZB。总体而言,数据中心IP流量在2012年到2017年之间将以25%的复合年均增长率(CAGR)增长。

现在增长的速度更快,而且组织需要依靠大量的数据集帮助它们运营、量化和发展业务。在过去几年里,大型数据库经历了从GB到TB再到PB级的发展过程。

此外,数据也不再是存储在一个地方,随着这些数据的增长以及云计算的发展,这些数据实现了分布式存储。

几乎所有行业都在发展大数据和数据科学

  • 科学:大型强子对撞机每秒大约进行6亿次碰撞。因此,只有当传感器流数据小于0.001%的时候才有效,从四个大型强子对撞机实验中产生的数据意味着每年将产生25PB的数据(统计于2012年),此外备份还会产生大量数据,备份后的数据有可能达到200PB。
  • 研究:美国航空航天局的气候模拟中心(NCCS)在其超级计算机平台上存储了约32PB的气候观测和模拟数据。
  • 私有/公共:亚马逊每天处理的后端操作达数百万,此外还有超过50万个第3方卖家的查询操作。亚马逊的核心技术运行在基于Linux的数据库系统上,截至2005年,亚马逊拥有世界上三个最大的Linux数据库,容量分别达到了7.8TB、18.5TB、24.7TB。

组织被迫寻找新的创造性方法来管理和控制如此庞大的数据,目的不只是为了整理数据,而是要分析和挖掘数据来进一步发展业务,因此,一些开源大数据技术值得考虑:

Apache HBase:这个大数据管理平台建立在谷歌强大的BigTable管理引擎基础上。作为具有开源、Java编码、分布式多个优势的数据库,Hbase最初被设计应用于Hadoop平台,而这一强大的数据管理工具,也被Facebook采用,用于管理消息平台的庞大数据。

Apache Storm:用于处理高速、大型数据流的分布式实时计算系统。Storm为Apache Hadoop添加了可靠的实时数据处理功能,同时还增加了低延迟的仪表板、安全警报,改进了原有的操作方式,帮助企业更有效率地捕获商业机会、发展新业务。

Apache Spark:该技术采用内存计算,从多迭代批量处理出发,允许将数据载入内存做反复查询,此外还融合数据仓库、流处理和图计算等多种计算范式,Spark用Scala语言实现,构建在HDFS上,能与Hadoop很好的结合,而且运行速度比MapReduce快100倍。

Apache Hadoop:该技术迅速成为了大数据管理标准之一。当它被用来管理大型数据集时,对于复杂的分布式应用,Hadoop体现出了非常好的性能,平台的灵活性使它可以运行在商用硬件系统,它还可以轻松地集成结构化、半结构化和甚至非结构化数据集。

Apache Drill:你有多大的数据集?其实无论你有多大的数据集,Drill都能轻松应对。通过支持HBase、Cassandra和MongoDB,Drill建立了交互式分析平台,允许大规模数据吞吐,而且能很快得出结果。

Apache Sqoop:也许你的数据现在还被锁定于旧系统中,Sqoop可以帮你解决这个问题。这一平台采用并发连接,可以将数据从关系数据库系统方便地转移到Hadoop中,可以自定义数据类型以及元数据传播的映射。事实上,你还可以将数据(如新的数据)导入到HDFS、Hive和Hbase中。

Apache Giraph:这是功能强大的图形处理平台,具有很好可扩展性和可用性。该技术已经被Facebook采用,Giraph可以运行在Hadoop环境中,可以将它直接部署到现有的Hadoop系统中。通过这种方式,你可以得到强大的分布式作图能力,同时还能利用上现有的大数据处理引擎。

Cloudera Impala:Impala模型也可以部署在你现有的Hadoop群集上,监视所有的查询。该技术和MapReduce一样,具有强大的批处理能力,而且Impala对于实时的SQL查询也有很好的效果,通过高效的SQL查询,你可以很快的了解到大数据平台上的数据。

Gephi:它可以用来对信息进行关联和量化处理,通过为数据创建功能强大的可视化效果,你可以从数据中得到不一样的洞察力。Gephi已经支持多个图表类型,而且可以在具有上百万个节点的大型网络上运行。Gephi具有活跃的用户社区,Gephi还提供了大量的插件,可以和现有系统完美的集成到一起,它还可以对复杂的IT连接、分布式系统中各个节点、数据流等信息进行可视化分析。

MongoDB:这个坚实的平台一直被很多组织推崇,它在大数据管理上有极好的性能。MongoDB最初是由DoubleClick公司的员工创建,现在该技术已经被广泛的应用于大数据管理。MongoDB是一个应用开源技术开发的NoSQL数据库,可以用于在JSON这样的平台上存储和处理数据。目前,纽约时报、Craigslist以及众多企业都采用了MongoDB,帮助他们管理大型数据集。(Couchbase服务器也作为一个参考)。

在我们这个DOD(data-on-demand)社会,每天都有大量的数据产生,并且大量的数据被收集在主要IT系统中。无论是社交媒体的照片还是国际商店交易信息,大量高质量、可量化的数据每天都在爆炸性增加,应对的唯一方法就是快速部署一个高效的管理方案。

切记,除了要对数据进行快速的分类和组织,IT管理人员必须具有挖掘信息并将其应用到业务中的能力。商业智能和数据量化背后的科学将继续发展和扩大,企业取得竞争优势的关键在于能否对它们的数据进行很好的管理。

历数大数据领域不可忽视的十大巨头

Amazon Web Services

Forrester将AWS称为“云霸主”,谈到云计算领域的大数据,那就不得不提到亚马逊。该公司的Hadoop产品被称为EMR(Elastic Map Reduce),AWS解释这款产品采用了Hadoop技术来提供大数据管理服务,但它不是纯开源Hadoop,经过修改后现在被专门用在AWS云上。

Forrester称EMR有很好的市场前景。很多公司基于EMR为客户提供服务,有一些公司将EMR应用于数据查询、建模、集成和管理。而且AWS还在创新,Forrester称未来EMR可以基于工作量的需要自动缩放调整大小。亚马逊计划为其产品和服务提供更强大的EMR支持,包括它的RedShift数据仓库、新公布的Kenesis实时处理引擎以及计划中的NoSQL数据库和商业智能工具。不过AWS还没有自己的Hadoop发行版。

Cloudera

Cloudera有开源Hadoop的发行版,这个发行版采用了Apache Hadoop开源项目的很多技术,不过基于这些技术的发行版也有很大的进步。Cloudera为它的Hadoop发行版开发了很多功能,包括Cloudera管理器,用于管理和监控,以及名为Impala的SQL引擎等。Cloudera的Hadoop发行版基于开源Hadoop,但也不是纯开源的产品。当Cloudera的客户需要Hadoop不具备的某些功能时,Cloudera的工程师们就会实现这些功能,或者找一个拥有这项技术的合作伙伴。Forrester表示:“Cloudera的创新方法忠于核心Hadoop,但因为其可实现快速创新并积极满足客户需求,这一点使它不同于其他那些供应商。”目前,Cloudera的平台已经拥有200多个付费客户,一些客户在Cloudera的技术支持下已经可以跨1000多个节点实现对PB级数据的有效管理。

Hortonworks

和Cloudera一样,Hortonworks是一个纯粹的Hadoop技术公司。与Cloudera不同的是,Hortonworks坚信开源Hadoop比任何其他供应商的Hadoop发行版都要强大。Hortonworks的目标是建立Hadoop生态圈和Hadoop用户社区,推进开源项目的发展。Hortonworks平台和开源Hadoop联系紧密,公司管理人员表示这会给用户带来好处,因为它可以防止被供应商套牢(如果Hortonworks的客户想要离开这个平台,他们可以轻松转向其他开源平台)。这并不是说Hortonworks完全依赖开源Hadoop技术,而是因为该公司将其所有开发的成果回报给了开源社区,比如Ambari,这个工具就是由Hortonworks开发而成,用来填充集群管理项目漏洞。Hortonworks的方案已经得到了Teradata、Microsoft、Red Hat和SAP这些供应商的支持。

IBM

当企业考虑一些大的IT项目时,很多人首先会想到IBM。IBM是Hadoop项目的主要参与者之一,Forrester称IBM已有100多个Hadoop部署,它的很多客户都有PB级的数据。IBM在网格计算、全球数据中心和企业大数据项目实施等众多领域有着丰富的经验。“IBM计划继续整合SPSS分析、高性能计算、BI工具、数据管理和建模、应对高性能计算的工作负载管理等众多技术。”

Intel

和AWS类似,英特尔不断改进和优化Hadoop使其运行在自己的硬件上,具体来说,就是让Hadoop运行在其至强芯片上,帮助用户打破Hadoop系统的一些限制,使软件和硬件结合的更好,英特尔的Hadoop发行版在上述方面做得比较好。Forrester指出英特尔在最近才推出这个产品,所以公司在未来还有很多改进的可能,英特尔和微软都被认为是Hadoop市场上的潜力股。

MapR Technologies

MapR的Hadoop发行版目前为止也许是最好的了,不过很多人可能都没有听说过。Forrester对Hadoop用户的调查显示,MapR的评级最高,其发行版在架构和数据处理能力上都获得了最高分。MapR已将一套特殊功能融入其Hadoop发行版中。例如网络文件系统(NFS)、灾难恢复以及高可用性功能。Forrester说MapR在Hadoop市场上没有Cloudera和Hortonworks那样的知名度,MapR要成为一个真正的大企业,还需要加强伙伴关系和市场营销。

Microsoft

微软在开源软件问题上一直很低调,但在大数据形势下,它不得不考虑让Windows也兼容Hadoop,它还积极投入到开源项目中,以更广泛地推动Hadoop生态圈的发展。我们可以在微软的公共云Windows Azure HDInsight产品中看到其成果。微软的Hadoop服务基于Hortonworks的发行版,而且是为Azure量身定制的。

微软也有一些其他的项目,包括名为Polybase的项目,让Hadoop查询实现了SQLServer查询的一些功能。Forrester说:“微软在数据库、数据仓库、云、OLAP、BI、电子表格(包括PowerPivot)、协作和开发工具市场上有很大优势,而且微软拥有庞大的用户群,但要在Hadoop这个领域成为行业领导者还有很远的路要走。”

Pivotal Software

EMC和Vmware部分大数据业务分拆组合产生了Pivotal。Pivotal一直努力构建一个性能优越的Hadoop发行版,为此,Pivotal在开源Hadoop的基础上又添加了一些新的工具,包括一个名为HAWQ的SQL引擎以及一个专门解决大数据问题的Hadoop应用。Forrester称Pivotal Hadoop平台的优势在于它整合了Pivotal、EMC、Vmware的众多技术,Pivotal的真正优势实际上等于EMC和Vmware两大公司为其撑腰。到目前为止,Pivotal的用户还不到100个,而且大多是中小型客户。

Teradata

对于Teradata来说,Hadoop既是一种威胁也是一种机遇。数据管理,特别是关于SQL和关系数据库这一领域是Teradata的专长。所以像Hadoop这样的NoSQL平台崛起可能会威胁到Teradata。相反,Teradata接受了Hadoop,通过与Hortonworks合作,Teradata在Hadoop平台集成了SQL技术,这使Teradata的客户可以在Hadoop平台上方便地使用存储在Teradata数据仓库中的数据。

AMPLab

通过将数据转变为信息,我们才可以理解世界,而这也正是AMPLab所做的。AMPLab致力于机器学习、数据挖掘、数据库、信息检索、自然语言处理和语音识别等多个领域,努力改进对信息包括不透明数据集内信息的甄别技术。除了Spark,开源分布式SQL查询引擎Shark也源于AMPLab,Shark具有极高的查询效率,具有良好的兼容性和可扩展性。近几年的发展使计算机科学进入到全新的时代,而AMPLab为我们设想一个运用大数据、云计算、通信等各种资源和技术灵活解决难题的方案,以应对越来越复杂的各种难题。

相关链接:

Open Source Technologies Provide Cloud-Ready Big Data Control

Nine Hadoop companies you should know(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
使用Vb5制作Easter Egg 使用VB实现所见即所得功能 使用VB中的SERIPTING RUNTIME LIBRARY VB使用Win95的动画光标 VB使用Windows内建的图标 VB使用Word的“艺术字”工具 VB使用WriteFile 块读/写数据 VB使用枚举变量 VB使用数组做属性 VB使用未安装的字体 输入限制确认-VB资料 熟悉VB的集成开发环境 鼠标取词-VB资料 谈变VB中APP.PAHT的注意事项 探讨高效的排序合并算法-VB资料 剔除INI文件中的注释部分-VB资料 提取可执行文件中的图标-VB资料 添加记录到文档菜单-VB资料 突破 SendKeys 的限制-VB资料 突破SendKeys的限制 -VB资料 圖面背景透明的技巧-VB资料 退出并关闭 Windows-VB资料 托盘程序详解(二) -VB资料 托盘程序详解(一) -VB资料 我怎样确定我的程序是否在运行?-VB资料 无重复随机数序列产生器 -VB资料 显示打开方式对话框建立文件的关联 -VB资料 显示动画鼠标图标-VB资料 修复VB5启动时可能出现的一个bug 修改IE的环境菜单-VB资料 修改安装向导生成的缺省安装目录 -VB资料 关于在PB上实现错误事件处理!!! 关于组件的停靠 用VB.NET连接数据库老是连不了,快精神分裂了,救命啊! 关于SendMessage(高分相送,紧急) 急!!!高手进! 在查找结果中如果某一字段的值相等,只取出其中一条的问题! squid的安装问题???????????????????? SQL语句问题? 冒昧求救,光驱不能使用,不能boot 我的主机总收到外面发的广告信息? 高分求助急!!! 见鬼了,我添加一个TServerSocket控件,然后编译出现:Declaration terminate incorrectly 有谁知道用哪款打印机比较好呢? 按钮BitBtn1上有图片,在图片上写字的问题。(在先给分!) cystal reports 8.5 english显示繁体问题,急,等待 Unix下用什么源代码检测工具比较好? 我的电脑出什么问题了?各位帮帮忙 界面导航如何分类? 怎样得到本机的网卡号??? %¥#问个小问题,知道的都来抢分啊 谁知道哪儿有支持认证的SMTP组件下载? 有什么软件能查看PE文件的? ADO问题!!!! 100分求购最简单的串口程序!需要详细注释! 怎么给大家份呀?to wyz_csdn等(500分诚征wav 转换到MP3的源程序(VC++的例子)) 在directshow中,不知道怎样对播放的画面的亮度进行控制? 如果深愛的人要離開你,是變心還是死亡好一點?(讨论) 贴了二次为什么没有人指教? 戒水快两年了,如今回来看看,物不是人非啦 新手一问 关于datagrid 修改数据的问题,帮我看看,多谢 谁有这两本书,请帮忙发到我的邮箱里,100分相送 到底应该怎么办? 大家好,如何打开DLL文件? 建议成立一个程序员协会 关于IE中图片的保存 VB 语言支持问题 高分求李维《delphi5.xDELPHI5.X ADO/MTS/COM+高级程序设计》示例源码!!!! 请yangshu进来!给妳点分!!!倒分! 请教各位如何实现dbgrid中按住shift多选的问题? 请问把sql-server7中的数据文件copy出来行吗? 找不到类,请大家帮忙解决,谢谢 异常处理问题 怎样恢复被损坏的"本地用户和组" 小弟在线等待,一小问题,,大家来帮忙?? 求jsp树的原代码 最好是jsp+js+xml 执行效率要高。(从数据库中动态生成的)在线 关于多层结构中事务处理的问题. VB6.0升级到VB.NET的问题。 在ASP中使用ActiveX Control ADOTable表名如何在运行时“递进” 这样的待遇能招到人吗? 二氧化碳不从毛细血管进入肝细胞的原因 傅雷在第一封信中对儿子寄予了怎样的期望 吾尝终日不食 终夜不寝 已死无益 不如学也 同种物质的分子性质相同,不同种物质的分子性质不同 这句话对吗 了解傅雷这封家书是在什么情况下写给儿子的.2,傅雷想通过这封书信告诉儿子什么 子曰:吾尝终日不食,终夜不寝,以思,无益,不如学也. 同种物质的分子性质相同,不同物质的分子性质不同.这句话对吗 傅雷在这封信中对儿子寄予了怎样的期望' 用烤箱时烤鸡翅的油滴到加热管上要紧吗? 同种物质的分子性质相同、不同种物质的分子性质不同、这种说法对吗、为什么、 傅雷先生的信写给哪个儿子《傅雷家书》 孔子曰:吾尝终日不食,终夜不寝,以思无益,RT.并讲明了什么学习道理?温故而知新的“温故”和“知新”顺序能否调换?为什么?“学而时习之,不亦说乎?有朋自远方来,不亦乐乎?人不知而不愠, 同种物质的分子性质相同,不同种物质的分子性质不同判断对错,不要太深 联合国吧世界上的国家分为两大类一是.2是.中国属于哪一类 宋太祖杯酒释兵权的目的是 “同种物质的分子性质相同,不同种物质的分子性质不同”这句话正确吗?为什么?这是初三化学书的习题 文言文中“为所结构” 除表被动,意思是? 北宋建立后,宋太祖杯酒释兵权的主要目的是什么? "同寝,中夜闻鸡鸣"包括怎样的成语 联合国把世界上的国家大致分为两大类,一是什么,二是什么.我们中国属于什么 为什么宋太祖要“杯酒释兵权” 为什么二氧化碳不能穿过毛细血管? θ=arctan(4/3)=53.13° 怎么算出53.13°的 怎样改变共射放大器的偏置电路来改变组合放大器的性能 co2不从毛细血管进入胰腺组织细胞的原因是?答案说co2不从毛细血管进入胰腺组织细胞的原因是胰腺产生co2,且浓度高.胰腺怎么会产生co2,为什么要产生co2?毛细血管不就是淋巴吗?最好不都是要 世界有几个字 赵匡胤为什么杯酒释兵权? 用酚酞作指示剂 用酚酞作指示剂 盐酸滴定Na2co3 达到滴定终点 离子浓度关系为什么达到滴定终点时恰好完全反应生成NaHco3和Nacl? 谁能给我看一个世界上笔画最多的字? 宋太祖 杯酒释兵权 那些权臣为什么听他的呢? 工业上制备纯硅反应的热化学方程式如下:SiCl4(g)+2H2(g)⇌Si(s)+4HCl(g);△H=+QK工业上制备纯硅反应的热化学方程式如下:SiCl4(g)+2H2(g)⇌Si(s)+4HCl(g);△H=+QKJ/mol(Q> 古文中的“以”翻译成“把”表什么?比较翻译成“用”表方式.比如 A=arctan1/2 工业制备纯硅的反应为SiCl4(g)+2H2(g)=Si(s)+4HCl(g);△H=+240.4J/mol,生成的HCl 通入100ml/mol 的NaOH溶液恰好反应,则反应过程中( )(填吸收或释放)的热量为( )kj.需要两空的详解哦,不求多,但要易 钠和酸反应时是不是也先跟水反应先的啊 现有某钢样10g,在充足的氧气中燃烧后,生成二氧化碳0.22g,求钢样的含碳量比率写出方程式及主要过程 液化气热水器在用个几分钟后为什么火会熄灭后马上又自动点燃,并如此重复,是怎么回事? 文言文中被动句往往会有哪些标志? 它的主谓宾有什么特点? 韩信,张良,萧何各是哪个时代的人,成就是什么RT 找一个成语含有寝 睡觉( ) 钠先和水反应还是先和酸反应? 大家认为张良;萧何;韩信,你会更信任谁?我最喜欢张良,信任他简单或具体说明原因 带有“寝”的成语 7、8、9、10、11 文言文 为表被动时这时候为连带的介词结构 做状语么?例句 吾从板外相为应答 "祖逖北伐"中的成语?所有的 足量钠钠与盐酸反应中,先与酸反应还是先与水反应,化学方程式怎么写,写两个还是合在一起写,什么样的两个方程式可以合在一起,最好举个例子, 英语翻译《三峡》“素湍绿潭,回清倒影. 谁有Apple ID 由古文《孙权劝学》引出的成语是什么?一定要准确无误! 奥尔良烤鸡翅的做法我想用烤箱做奥尔良烤鸡翅,佐料怎么拌? 谁可以借我apple ID啊 孙权劝学和祖逖北伐中的成语 1、一块蔬菜基地,种着4种蔬菜,其中西红柿有105亩,占总面积的35%,另外三种蔬菜,黄瓜90亩,芹菜45亩,青菜60亩.问另外三种蔬菜占总面积的百分之几?2、 CO2 不从毛细血管进入胰腺组织细胞的原因是? Arctan的反运算怎么算不用科学计算器 口算 比如arctan1=45‘ 那arctan6.441=多少度 吾尝终日不食,终夜不寝,以思,无益,不如学也.的意思 CO2会不会从毛细血管进入胰腺组织细胞,为什么? arctan(-1)=-π/4,怎么算的? 终夜不寝的寝的意思 卜拉希米访叙将劝反对派统一组团参加日暴风袭击西欧大部致德国七人死亡 英法以色列将释放第二批26名在押巴勒斯坦印媒:印度调整中国战略因不喜欢给中国英首相:媒体爆料美监听丑闻是“资敌”韩国向美国求证是否监听朴槿惠 美方尚12岁黑客入侵加拿大政府网站 辩称仅《纽约时报》著名专栏作家托马斯:上海被控杀死杰克逊者出狱 称为谋生计想当圣马力诺执政官会见王毅王毅同圣马力诺外长瓦伦蒂尼会谈美国对监听国家分“三六九等”纽约手机可接收紧急警报韩国向美国求证韩总统是否遭窃听 但美猫鼬欲擒毒蛇当美食遭反击败阵(组图)中国赴刚果(金)维和工兵分队顺利通过羊晚集团派工作组对新快报存在问题进行美国在罗马尼亚的反导基地开建纽约手机可接收紧急警报强风暴过境德国致多地交通瘫痪美国与新西兰恢复联合军演冠军:一竿钓起30斤鳡鱼四季度解禁市值 环比降三成电视剧《领袖》今晚登陆贵州卫视设想让自己当个局外人小车河急流冲走金毛犬萌娃的一年级生活列车员 卫生间里捡到钻戒赵蕊蕊33岁生日为云南灾区祈福 祈愿沅陵改制组建“沅陵农商行”驾照被注销 司机称不知免税额由2万元提至3万元松贷后二线楼市速暖博彩等将被严控尤文后防受伤病困扰才是对历史忠诚我省规范农村自来水收费谎称可帮学生上名校诈骗钱财全新改版变身“全家秀”国企“变法”的在场性推衍iPhone6可在底特律换一套房越要增强忧患意识越要从严治党
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘