说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

一网打尽13款开源Java大数据工具,从理论到实践的剖析

HTML文档下载 WORD文档下载 PDF文档下载
Java Code Geeks联合创始人Byron Kiourtzoglou近日发表文章,从理论到实践剖析了大数据的4个V,并于文章最后分享了Java工程师可能会需要的13个主流开源大数据工具。

大数据几乎已成为所有商业领域共有的最新趋势,然而大数据究竟是什么?是噱头、泡沫,又或是真如传言一样的重要。

事实上,大数据是个非常简单的术语——就像它所说的一样,是非常大的数据集。那么究竟有大多?真实的答案就是“如你所想的那么大”!

那么为什么会产生如此之大的数据集?因为当今的数据已经无所不在并且存在着巨大的回报:收集通信数据的RFID传感器,收集天气信息的传感器,移动设备给社交网站发送的GPRS数据包,图片视频,在线购物产生的交易记录,应有尽有!大数据是一个巨大的数据集,包含了任何数据源产生的信息,当然前提是这些信息是我们感兴趣的。

然而大数据的含义绝不只与体积相关,因为大数据还可以用于寻找新的真知、形成新的数据和内容;我们可以使用从大数据中提取的真知、数据和内容去使商业更加灵活,以及回答那些之前被认为远超当前范畴的问题。这也是大数据被从以下4个方面定义的原因:Volume(体积)、Variety(多样)、Velocity(效率)以及Veracity(Value,价值),也就是大数据的4V。下面将简述每个特性以及所面临的挑战:

1. Volume

Volume说的是一个业务必须捕获、存储及访问的数据量,仅仅在过去两年内就生产了世界上所有数据的90%。现今的机构已完全被数据的体积所淹没,轻易的就会产生TB甚至是PB级不同类型的数据,并且其中有些数据需要被组织、防护(窃取)以及分析。

2. Variety

世界上产生的数据有80%都是半结构化的,传感器、智能设备和社交媒体都是通过Web页面、网络日志文件、社交媒体论坛、音频、视频、点击流、电子邮件、文档、传感系统等生成这些数据。传统的分析方案往往只适合结构化数据,举个例子:存储在关系型数据库中的数据就有完整的结构模型。数据类型的多样化同样意味着为支持当下的决策制定及真知处理,我们需要在数据储存和分析上面进行根本的改变。Variety代表了在传统关系数据库中无法轻易捕获和管理的数据类型,使用大数据技术却可以轻松的储存和分析。

3. Velocity

Velocity则需要对数据进行近实时的分析,亦称“sometimes 2 minutes is too late!”。获取竞争优势意味着你需要在几分钟,甚至是几秒内识别一个新的趋势或机遇,同样还需要尽可能的快于你竞争对手。另外一个例子是时间敏感性数据的处理,比如说捕捉罪犯,在这里数据必须被收集后就完成被分析,这样才能获取最大价值。对时间敏感的数据保质期往往都很短,这就需求组织或机构使用近实时的方式对其分析。

4. Veracity

通过分析数据我们得出如何的抓住机遇及收获价值,数据的重要性就在于对决策的支持;当你着眼于一个可能会对你企业产生重要影响的决策,你希望获得尽可能多的信息与用例相关。单单数据的体积并不能决定其是否对决策产生帮助,数据的真实性和质量才是获得真知和思路最重要的因素,因此这才是制定成功决策最坚实的基础。

然而当下现有的商业智能和数据仓库技术并不完全支持4V理论,大数据解决方案的开发正是针对这些挑战。

下面将介绍大数据领域支持Java的主流开源工具

1. HDFS

HDFS是Hadoop应用程序中主要的分布式储存系统, HDFS集群包含了一个NameNode(主节点),这个节点负责管理所有文件系统的元数据及存储了真实数据的DataNode(数据节点,可以有很多)。HDFS针对海量数据所设计,所以相比传统文件系统在大批量小文件上的优化,HDFS优化的则是对小批量大型文件的访问和存储。

2. MapReduce

Hadoop MapReduce是一个软件框架,用以轻松编写处理海量(TB级)数据的并行应用程序,以可靠和容错的方式连接大型集群中上万个节点(商用硬件)。

3. HBase

Apache HBase是Hadoop数据库,一个分布式、可扩展的大数据存储。它提供了大数据集上随机和实时的读/写访问,并针对了商用服务器集群上的大型表格做出优化——上百亿行,上千万列。其核心是Google Bigtable论文的开源实现,分布式列式存储。就像Bigtable利用GFS(Google File System)提供的分布式数据存储一样,它是Apache Hadoop在HDFS基础上提供的一个类Bigatable。

4. Cassandra

Apache Cassandra是一个高性能、可线性扩展、高有效性数据库,可以运行在商用硬件或云基础设施上打造完美的任务关键性数据平台。在横跨数据中心的复制中,Cassandra同类最佳,为用户提供更低的延时以及更可靠的灾难备份。通过log-structured update、反规范化和物化视图的强支持以及强大的内置缓存,Cassandra的数据模型提供了方便的二级索引(column indexe)。

5. Hive

Apache Hive是Hadoop的一个数据仓库系统,促进了数据的综述(将结构化的数据文件映射为一张数据库表)、即席查询以及存储在Hadoop兼容系统中的大型数据集分析。Hive提供完整的SQL查询功能——HiveQL语言,同时当使用这个语言表达一个逻辑变得低效和繁琐时,HiveQL还允许传统的Map/Reduce程序员使用自己定制的Mapper和Reducer。

6. Pig

Apache Pig是一个用于大型数据集分析的平台,它包含了一个用于数据分析应用的高级语言以及评估这些应用的基础设施。Pig应用的闪光特性在于它们的结构经得起大量的并行,也就是说让它们支撑起非常大的数据集。Pig的基础设施层包含了产生Map-Reduce任务的编译器。Pig的语言层当前包含了一个原生语言——Pig Latin,开发的初衷是易于编程和保证可扩展性。

7. Chukwa

Apache Chukwa是个开源的数据收集系统,用以监视大型分布系统。建立于HDFS和Map/Reduce框架之上,继承了Hadoop的可扩展性和稳定性。Chukwa同样包含了一个灵活和强大的工具包,用以显示、监视和分析结果,以保证数据的使用达到最佳效果。

8. Ambari

Apache Ambari是一个基于web的工具,用于配置、管理和监视Apache Hadoop集群,支持Hadoop HDFS,、Hadoop MapReduce、Hive、HCatalog,、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同样还提供了集群状况仪表盘,比如heatmaps和查看MapReduce、Pig、Hive应用程序的能力,以友好的用户界面对它们的性能特性进行诊断。

9. ZooKeeper

Apache ZooKeeper是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、命名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

10. Sqoop

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库中数据导入Hadoop的HDFS中,也可以将HDFS中数据导入关系型数据库中。

11. Oozie

Apache Oozie是一个可扩展、可靠及可扩充的工作流调度系统,用以管理Hadoop作业。Oozie Workflow作业是活动的Directed Acyclical Graphs(DAGs)。Oozie Coordinator作业是由周期性的Oozie Workflow作业触发,周期一般决定于时间(频率)和数据可用性。Oozie与余下的Hadoop堆栈结合使用,开箱即用的支持多种类型Hadoop作业(比如:Java map-reduce、Streaming map-reduce、Pig、 Hive、Sqoop和Distcp)以及其它系统作业(比如Java程序和Shell脚本)。

12. Mahout

Apache Mahout是个可扩展的机器学习和数据挖掘库,当前Mahout支持主要的4个用例:

  • 推荐挖掘:搜集用户动作并以此给用户推荐可能喜欢的事物。
  • 聚集:收集文件并进行相关文件分组。
  • 分类:从现有的分类文档中学习,寻找文档中的相似特征,并为无标签的文档进行正确的归类。
  • 频繁项集挖掘:将一组项分组,并识别哪些个别项会经常一起出现。

13. HCatalog

Apache HCatalog是Hadoop建立数据的映射表和存储管理服务,它包括:

  • 提供一个共享模式和数据类型机制。
  • 提供一个抽象表,这样用户就不需要关注数据存储的方式和地址。
  • 为类似Pig、MapReduce及Hive这些数据处理工具提供互操作性。

原文链接: What is Big Data – Theory to Implementation (编译/仲浩 审校/包研)

“  第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名!

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加!

采集颜色、自动同步,还有比这更牛叉的儿童触控笔么? AppCan移动平台:为企业移动化进程加速 学生强则国强,访天猫推荐算法大赛Top 9团队 Mozilla与三星之子——Servo特性解读 360天巡启动公测 打造新一代企业级无线安全解决方案 继Storm和Spark之后,Hortonworks添加对Kafka的支持 一周消息树:国产操作系统最快10月发布,并支持应用商店 技术团队看板方法实践的难点分析 SAP云服务加速转型:调动资源瞄准中国市场 开发测试全承包!移动应用开发工具Telerik平台 火火火火火!看HomeKit如何改变物联网和智能家居? MDCC应用与工具关键词:平台、社交、垂直、解决方案 Leap Motion正式入华 将发布第二代软件SDK 120万操作/秒Redis Cloud 集群单一服务器非基准测试程序 2014微信开发者大会顺利结束 TOP10优秀微信开发商名单公布 【最佳实践】通过DevOps确保可靠和有效的信息安全 2048 Hello World:跨平台快速应用开发Python框架Kivy Forrester:关于私有云的10个事实 2014年8月操作系统份额:Win 8.x大涨,Linux继续下跌 0代码、不编程—交互式网页设计工具VXPLO 揭秘Instagram Hyperlapse背后的技术 【CTO俱乐部在线教育研讨会】用互联网技术深入创新教育产品 降低门槛!Hybrid应用开发框架LigerMobile 下一代IT革命:微服务器和雾计算 使用Mongo Connector和Elasticsearch实现模糊匹配 时隔8个月,物联网联盟AllSeen如今怎样? 《近匠》简网:开发零门槛 快速建原生App MDCC免费展位申请超预期 大会内容初曝光 在服务器与交换机定制之后,谷歌着手量子计算机CPU设计 电信天翼开放平台鲍占斌:优质能力 分成比例高 艾格拉斯副总裁王晓波:手游定价如何设计 转换代码高分相送!2000分 这是什么意思?大家教下我! 软件开发的基本步骤? SQL查询 紧急求教!! 孤独的SB——写给水园的死者. 请问如何在一个SQL的Select中得到一个Boolean字段的中文名称? outlook如何载入来自文本文件的大量邮件地址列表 请问我想吧dbgrid里面的内容保存到一个string变量里面怎么做, net中ToolbarItem集合编辑器使用 怎么得到ms sql server的本地实例(或服务)列表? IIS如何控制目录访问权限? asp.net 我不懂的问题,不是很难啊。 有关mysql出错的问题?? 牛人们,帮我看看~~~~~~ 调试INTERDEV中的PROJECT? 请问 GetCellDigital返回值有误 目录树记忆属性实现的讨论 关于用户自定义类的问题 自制控件问题 静态链接库中的资源 Xml的查询定位问题? 小高求助! 关于JAVA文件执行时出现的错误 如何在Datagrid中取得当前记录的某字段值? 如何取得下拉菜单项? 目录树记忆属性实现的讨论 我想去中国网通申请域名,他们是不是很吊,有没人用过啊 Help 删除一条记录?? 在研究软件加密 “咱们把最好的粮食给城里人吃,又进城帮助他们盖起了高楼大厦,他们为什么还瞧不起我们呢?” 老板今天叫我签合同 有关于TImage的图像显示速度 怎样让 Title 的显示时间延长????????? !!!!!!!!!格式化数据列 怎么这么慢啊 请问:如何在打印之前设定该次打印纸张的大小(很急,老板催货了,帮忙顶一下,谢谢)? 有什么办法可以把class文件反编译回java文件? 如何写到文件? 自己写一个函数,把2,3,4加到1,2,3中去,不重复 Netscape打印中文网页为什么不成功? 英文XP中装了东亚语言包,能显示中文了,如何输入汉字呢。。。。 接到一个电话 哪位大哥大姐教教我啊? Dll如何同控制台程序通信 RedHat Linux7.2下如何挂上RealTek8139网卡驱动????高分相送哦!在线等待!!! TreeView问题 求register_globals = On和register_globals = Off的不同用法(原代码) 斑竹,我是因为升级才散分的,有个穿红裤衩的支持俺了…… 一个新手的加急求救!谁先回答,就先给谁份,希望大家说的详细点! 十字轴式万向节有何传动特点?如何实现其等角速度传动? 不完全液体润滑滑动轴承的主要失效形式是什么? 动压润滑和静压润滑有什么优缺点,比如:如果动压润滑,在启动时会不会产生干摩擦,启动后才能产生油膜 独角仙那里有 液体摩擦滑动轴承的计算应限制什么?为什么? 数字式万用表的表笔是红正黑负吗?以前用指针万用表,电阻档黑表笔接的是电池正极,听说数字式万用表电阻档的表笔正负和指针表极性是相反的, 独角仙有毒吗尤其是它排出的液体、他是不是还有个俗称叫阴天乐? 梅子留酸软齿牙,芭蕉分绿与窗纱.日长睡起无情思,闲看儿童捉柳花.的意思 万用表上面COM口接黑表笔还是红表笔? 有个英文名字读"咦令"(类似于"依琳"..) 怎么拼写的阿?.. 如何验证溶液中含有亚铁离子? 解释下文化是什么?最好是举例说明, 托玛琳杯有什么作用 十字轴式万向节等角速度传动的条件是什么,有何特点? 属于光反射现象的是 A 小孔成像 B 激光引导掘进机沿直线前进 C 在地球上可以看到日食和月食 D 教室里不同位置的同学都可以看到黑板上的字 我国特别行政区基本法规定(),五十年不变 A不实行社会主义制度B不实行社会主义政策C保持原有资本D生活 静电能看见 能听见 但没感觉摸到金属 能看见明显的电流 能听见明显的PIA一声但就是不疼 甚至一点感觉都没 太奇怪了我没骗你们阿 我真的一点感觉都没有 只看见和听见以前问过科学老 日长睡起无情思,闲看儿童捉柳花.描写哪个季节? 香港的资本主义制度到2047是否要改成社会主义?小平说过香港实行“一国两制”50年不变,那50年后香港要实行社会主义吗?如果2047年后真要改社会主义共产党是否要接管特区政府?要知道社会主 马蹄铁型(u型)磁铁磁感线 可以从两极之间切割么? [多选题]1.下列各项中,属于要约邀请的有(  ).[多选题]1.下列各项中,属于要约邀请的有(  ).A.规定投标人应具有特定资质条件的招标公告B.某公司向一商业伙伴寄出的自己已经签字盖 为什么香港那么厉害?是因为资本主义制度吗?香港的学术方面远比大陆好,港大,港中文大学都居世界前列把北大清华远远甩在后面还有就是香港的电影业,电视业.好多大陆人熟知的巨星为何都 在U型磁铁有两个的情况下,进行切割磁感线运动会有电流产生吗?但是如果人为地将两个U型磁铁同极与同极地捆在一起,然后进行切割磁感线运动,会出现什么情况? 商业广告在什么情况下属于要约,在什么情况下属于要约邀请?越详细越好!谢谢啦! 为什么香港和澳门回归后仍然实行资本主义制度?RT 我经常在cnbeta里到新闻后的评论总会扯到景德镇,使用率还很高,说瓷都什么的就别回了,地球人都知道有那个个地方. 磁场和引力磁场的实体存不存在,如果存在请回答下列问题,如果不存在请说明理由.当人类能把不能再分的原子打出了质子,中子,电子,甚至跨克时,我们不得不怀疑物质的组成本质到底是什么, 祖国内地是实行社会主义制度,香港和澳门是实行资本主义制度 (简介社会主义制度与资本主义制度)写得明白点 格式是:社会主义制度是……资本主义制度是…… 景德镇的陶瓷、特别薄、请问属于哪一种类?RT另:这种属不属于薄胎瓷?特薄特轻……现在这种大概值多少钱、 已知电压220v功率4800w求电流. 钾是自然界最活泼的金属吗 巴勒斯坦和梵蒂冈为什麽是联合国观察员国?是联合国观察他们还是他们挂差联合国? 电脑端有没有检测电压的软件.检测家庭电压的.我怀疑电压严重低于220V 自然界最活泼的金属是什么,非金属呢? 巴勒斯坦真正立国的时间是什么时候.最近他们成了联合国观察员,说明已经被世界认可,但什么时候立的国. 求相关合同法多选题答案多选1.甲方违约,给对方乙造成损失15万元,合同规定违约金比例为货款总额的10%,货款总额为200万元,则下面的说法不正确的是()A.甲应赔偿乙15万元B.甲应赔偿乙200万 不活泼金属和不活泼非金属以( )和( )存在于自然界中 巴勒斯坦为什么只是观察员国地位他不早就是了吗 一道关于合同法保证的选择题 多选甲向乙借款5万,乙要求甲提供担保,甲分别找丙,丁,戊,己,下列构成保证的是A 丙在借据上签署“保证人丙”B丁向乙出具字据“如甲到期不向乙还款,本人愿代 托玛琳能量杯 还有水润这一类的水杯真的有有用吗 有用过的吗 巴勒斯坦凭什么加入联合国 诸葛亮上知天文,阴谋诡计,周瑜自愧不如.(修改病句) 钾是活泼的碱金属若将KO2加热至600℃部分分解得到产物A,6.3g产物A充分吸收二氧化碳生成碳酸钾并产生氧气1.6g 试确定A中钾氧两种原子个数比 若A中只喊两种化合物 写出所有可能的化学式比计 英国为什么反对巴勒斯坦加入联合国?模拟联合国大会要用到.代表英国,议题为巴勒斯坦的入会问题.麻烦大家了.我急用.请尽量从英国的角度回答这个问题.可以官方点. 帮忙回答几个关于合同法的问题,谢谢1、一方当事人以缔结合同为目的,向对方当事人所作的意思表示.是( )A、 要约 B、要约邀请 2、承诺是受要约人对要约的内容表示基本同意和接 王充求学中王充的性格 三个词王充字仲任,会稽上虞人也,其先自魏郡元城徙焉.充少孤,乡里称孝.后到京师,受业太学,师事扶风班彪.好博览而不守章句.家贫无书,常游洛阳市肆,阅所卖书,一见辄 东盟有无超越国家的权力机构? 诸葛亮上知天文,阴谋诡计,周瑜自愧不如.这句话的病在哪.(修改病句) 为什么fe(scn)3是配合物fecl3不是学生我需要你们的帮助回答啊 好听的英文名,帮我取一个好听的英文名,、、?中文名:赵依琳 .性:女. 谁能帮我?修改病句:诸葛亮上知天文,阴谋诡计,周瑜自愧不如. 牛的“年轮”在身体的哪个部位? 哪里有废旧的节能灯玻璃卖,我想回收 那位知道生物学分类的界门纲目科属种的拉丁语各是如何翻译的? 独角仙的脚断了,脚还长的出来? 一般性国际组织的定义,以及相对定义 谁知道攀枝花(木棉)在生物学中的分类的位置啊?我只知道属木棉科的 无锡有独角仙吗?怎么抓独角仙?有没有高手养的?生的宝宝,可以购买吗 已知反应CO(g) +H2O(g) =CO2(g) + H2(g)在1259K达到平衡,平衡常数K=1,求1,求n(H2O)/n(CO)为1时,CO的平衡转化率?2,求n(H2O)/n(CO)为3时,CO的平衡转化率?3,从计算结果说明浓度对平衡遇到的影响? 引力和磁场之间存在相互关系吗? 伦敦唐人街罢市抗议“歧视性执法”冷空气今起渗透影响 杭州明后天早晨稍美核导弹值更官开门睡觉英王室将拍四世同堂照泰咖啡店主挑战星巴克智能手机或将遥控空袭韩首名宇航员学MBA挨批京津冀等六省联防大气污染 北京抓八大韩亚空难最后一名留医伤者出院 共留医美国“监控门”又酿新风波 德法意等国默克尔电话疑遭美安全机构窃听 致电奥拯救英国最胖男子澳科学家“查叶探金”印度灾民仅获1美元政府补偿美欧操纵非洲转基因论战乳腺筛查有误区人大代表:现在村干部随身带公章 不给专家:收入分配是改革大问题 应降垄断颐和园被指随意拆老物件 回应系修缮石北漂保安自学半年考取律师 帮千余农民季建业落马内幕披露 出事后被免职速度三中全会前瞻:勇于担当绘蓝图凝聚共识台湾高铁断电找出肇因 因海边盐分湿度习近平湘西考察扶贫高晓松女儿不敢上《爸爸去哪儿》害怕被陕西公安厅副厅长陈里任中央政法委宣教媒体证实孙杨已被警方带走小学老师3次下水连救3人 穿湿衣骑行张培萌晒与刘翔合影:期待翔飞人王者归中国纺织业生产增速将继续放缓2013年全国象棋锦标赛福建石狮开幕两岸峰会南京召开 多件寓意两岸和平瓷英女王御用画师到台湾参访 将为马英九第十五批护航编队靠泊沙特开始第三轮补贾斯汀 比伯被曝夜访巴西里约热内卢最广场舞综合治理难掩健身场所稀缺现实江苏98家会计师事务所将举行校园招聘南医大食堂菜价全部提前一个月网上预告中大医院招募原发性高血压患者第十五批护航编队靠泊沙特开始第三轮补阿富汗总统批评美无人机炸死巴塔头目时首条定制公交拟下周一开通
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘