说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

九头蛇与大象之争,Hydra或将取代Hadoop

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop是一个面向批处理的系统,对数据实时处理的支持较差,这将会成为其未来发展的瓶颈,而Hydra从设计之初就考虑了数据实时处理的需求,宣布开源后,得到了越来越多的支持,未来Hydra很有可能取代Hadoop。

【编者按】Hadoop被认为是最好的大数据分析平台,本身就具有较好的性能,还有活跃的开源社区支持,Hadoop创始人Doug Cutting也曾预言未来Hadoop不仅仅用于大数据处理,还将成为数据平台的系统内核,将用于在线事务处理……Hadoop的发展前景似乎一片光明,却没有注意到竞争者的出现,Hydra在某些方面甚至具有比Hadoop更加优越的性能,宣布开源以后,Hydra得到了越来越多的支持,未来Hydra极有可能成为Hadoop强劲的竞争对手,Datanami的主编Alex Woodie为我们带来了详细分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

Hydra(九头蛇),分布式任务处理系统,由社交标签服务提供商AddThis六年前开发,现在已得到Apache的开源许可,就像Hadoop一样,只是还没有Hadoop那样的知名度和声势。Hydra的创造者称,该“多头”平台非常擅长处理一些大的数据任务——对非常大的数据集进行实时处理,这样的任务恐怕会让那只大象(Hadoop)很头疼。

Hadoop仍然是一个储存大量数据的优秀平台,但很多公司面临着另一个问题,我们将数据存储到Hadoop之后如何去分析数据,无论是Hive还是Pig都需要方便地访问Hadoop中的数据,才能从中获得的价值。正如我们看到的:Hadoop用于实时分析并不合适。

Hydra是一个大数据存储和处理平台,由MattAbrams和他的AddThis同事们共同开发完成。AddThis也就是过去的Clearspring,是开发Web服务器窗口小部件的公司,使访问者可以通过Twitter、Facebook、Pintrest、Google +或者Instagram轻松共享他们的数据。


当AddThis开始逐渐扩大其业务时,它对越来越多的用户数据渐渐感到无能为力。该公司需要一个可扩展的分布式系统,对其用户共享的这些数据进行实时分析。那时Hadoop无法满足AddThis的需求,所以它开发了Hydra。

那么,Hydra到底是什么?简而言之,它是分布式的任务处理系统,可以同时支持流处理和批处理。它利用一种基于树的数据结构来存储和处理具有数千个节点集群的数据。它具有一个基于Linux的文件系统,这使得它可以与ext3、ext4甚至ZFS兼容;它还具有作业/集群管理组件,可以自动为集群分配新的作业和平衡已有的作业;系统还可以自动将数据备份,并自动处理节点故障。

Hydra包括很多的组件:跨异构集群处理任务的分布式作业执行系统、可网络访问的文件服务系统,还有本地备份及远程备份(考虑到难以预防的节点故障)。

基于树形结构使它可以在同一时间处理流数据并进行批处理作业。AddThis工程部门的一位成员Chris Burroughs在他1月23日的博客中首次宣布Hydra开源,还提供了对于Hydra精辟的描述:“它摄取流数据(比如日志文件),并生成聚合树、摘要树或者数据转换树,这些树可用来探索(小型查询),作为机器学习的一部分(大型查询)、或者在网站上支持实时控制台(大量的查询)。”

Hydra最初是用以帮助AddThis解决自身问题,供内部使用,以及为网站运营商提供服务。典型的问题包括:“上个月有多少用户访问网站?”以及“网站从不同国家和浏览器获得访问量分别有多大?”

AddThis继续使用Hydra来处理其大规模的数据流量,分析其客户得到网站的发展趋势。AddThis可以了解人们在线分享了什么,哪些话题比较热门。社交标签服务被超过1300万的网站使用,一个月有13亿用户访问,平均每天30亿访问量产生10TB数据,现在Hydra在AddThis的上千个网络节点上运行着。

Abrams通过邮件告诉Datanami:“我们处理大型数据集已经很长时间了,Hydra一直以来对我们都非常有用,我们觉得它以独特的方式解决了分布式数据处理的问题。”

传统的Hadoop面向批处理,而Hydra可以同时支持批处理和实时流处理。Abrams说:“Hydra支持的批处理主要侧重流分析和增量数据处理,能够使用树形数据结构描述数据,对自然数据进行压缩及高效查询和访问。Hydra可以从HDFS中生产和接受数据,但它在本机文件系统上完成操作,这使其可以在Hydra上灵活地使用其他服务。”

现在Hydra已经开源,Abrams希望该软件会被更加广泛的使用,并得到更好的发展。“这将需要一些时间,但我们相信未来我们将建成一个完善的Hydra开源社区,这样AddThis和OS(开源)社区都可以从Hydra未来的发展中受益。在华盛顿特区已经有一些其他公司在使用Hydra了,我们很期待Hydra社区得到进一步的发展。”

2013秋天,Doug Cutting,Hadoop的创始人也是Cloudera的首席架构师感叹Hadoop缺乏替代品——那时Cutting说:“我多么期待能有更多像Hadoop一样的系统出现……”虽然如今Hadoop在大数据界占据了主导地位,但谁又能说它会是唯一的一个大数据分布式计算平台?相信未来Hydra的发展不会令他失望,对于未来Hydra的发展,我想引用Cutting的另一句话:“天空才是极限。”

原文链接:Hadoop Alternative Hydra Re-Spawns as Open Source(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
2014 CocoaChina开发者大会将公布触控奖学金等高校合作计划 中低端智能手机热销,未来市场或主打价格战 Facebook开源flint:一个用D语言编写的C++静态代码分析器 AMD携手BlueStacks,下半年推出零售版双操作系统 历时6年 Github发布基于Web的桌面文本编辑器:Atom Ratchet:构建移动应用原型,新版支持Android 13个最狂帅炫酷的前沿科技研究项目 打动面试官的五大技能 乐视TV和NBA签约三年互联网电视版权 首度披露大屏运营策略 支撑4.5亿活跃用户的WhatsApp架构概览 免费使用Windows?微软推Windows 8.1 with Bing实验项目 C/C++开发者必不可少的15款编译器+IDE Amazon推荐,Facebook追踪,大数据时代的“狗仔队” NewSQL登场,NuoDB告诉你未来数据库什么样 2014 Unity亚洲开发者大会·中国站:技术课程全面解析 与其坐以待毙不如主动出击 软件如何避免惨遭淘汰 一周消息树:程序员想找好工作?那就学好Linux! 移动周报:开发者必须了解的10大跨平台工具 一周热点:领先Google 150年的数据可视化及WhatsApp架构解析 R语言为Hadoop注入统计血脉 海外游戏市场:Google与“开心农场”谈破局 2014年2月操作系统份额:Windows仍在增长 Win 7以47.31%稳居第一 2014年2月份浏览器份额:IE 8仍全球最受欢迎,Firefox跌破18%大关 跨平台2D游戏引擎V-Play:3天开发一款原生游戏 Appery.io:无编程经验,自己也能DIY移动应用 SAP携手Xamarin和Service2Media 提供移动应用开发框架 8个超实用的jQuery技巧攻略 美国国防部战略:大规模、分布式,构建数字化防御体系 针对小白的Python入门教程——Python使用说明书 耗资460亿美元,天价Olympic上广受诟病的监控和4G LSI AIS ASIA首次登陆中国 探讨最新大数据技术 关于C语言 寻找将 AUTOCAD 文件格式转换成 PDF 格式的软件 谁有包含开发接口的OCR软件? 求助:没有紧急修复软盘,怎样恢复win2kserver的双启菜单。 请问怎么得到DATAGRID1中记录的总条数! 转发:一粒沙子的爱情故事 公司發過年禮物了 ,哎 ,原來是一塊石英表 ,雖然是情侶表 ,卻只發一塊 ,不是一對 ,你們呢!..... ??有解密高手吗?或者哪里有这样的论坛?? 怎样用多线程显示多个form? VB串口发送大数据量时其他程序没有反应? 这句sql语句怎么写?低手请教! 数据库高手请进,报表问题!!! 请介绍VC测试内存泄漏的好工具. select number from table需要分别得到所有的值,如果做? 请问如何将下载的控件加到delphi的控件面板上?先谢谢了!!! 一个form里面如何将6个radiobottom 分成两组? 开开关关IE窗口的小程序 请各位高手介绍一下win2K,wingate,sygate这些做上网服务器各使用什么技术?NAT?SOCK5? WIN2000 PRO. 怎样才能通过 NT4+MSPROXY 上网? ASP中如何实现等待几秒再执行下一步的功能? 数据库的烦恼之二 如何在程序中播放Power Point? 散分,帮我看看主机链接是否正常 BDE数据库的问题。 win2000中怎样配置开机启动文件(如98下的Msconfig) 痛苦的人请看 http://www.csdn.net/expert/topic/425/425671.shtm (UP者有分!) 关于strlen函数 高手请进 vc中是否有函数readline(),该如何调用, 如何将我写好的.java文件编译在单片机的系统中? 下载的.rar格式的文件怎样打开 怎么是查询(select)不受更新(update)的阻塞? 请老大帮帮我啊 怎样获得WIN98系统的日期格式啊? 超级终端的传输格式 关于strlen函数的问题 请教:关于soft-ice软件的问题 谁有Exange 2000操作手册之类的东东?还有下载ftp地址和密码,谢谢!收到马上给分!急用! NetUserAdd怎么用,我下面是否用错了,结果会蓝屏,dump!!(KMODE_EXCEPTION_NOT_HANDLED) 以超级终端YModem协议传输文件时,数据包的格式 想知道到底有多少公司用到ejb,j2ee,rmi? asp:HyperLinkColumn中的DataNavigateUrlFormatString如何带多个参数? 有关DataReport的使用 我怎样通过dcom调用applationserver上的方法 请问inter c++ compiler的头文件定义问题 请问哪些行业用Powerpoint比较多? 关于处理文件的问题,请指点…… 请问有谁知道只封锁ctrl+alt+del的方法. 很适合回去好好研究!欢迎指正!! 需要帮助,针对ActiveX OCX怎么能够对其数字签名从而降低其在IE中的安全性? 高分求一条 SQL 简单语句 ! tomcat4.0.1+oracle 昆虫有哪些会咬人? 一共有240千克水果糖,每袋装四分之一千克.装了总量的四分之三.已经装完了几袋 是先有鸡还是先有蛋,要理由.正经点的,不许答脑筋急转弯的答案 虽说我是男生,但我怕虫子,尤其是带有自然保护色的虫子我更害怕,我怕它们咬我...我想问虫子在什么情况下咬人?我不会杀死它们,因为它们也是地球上的一员,即使是最不起眼的蚂蚁 什么蚊子咬人特别痒?什么蚊子咬人特别痒,咬的地方肿的有大又红,肿的和瓶盖一样,知道的一定要告诉我, 世界上先有鸡还是先有蛋,理由? 请问这是什么虫 被蚊子叮咬后为什么会红肿发痒?我要的是具体原因. 先有鸡还是先有蛋,给我道理 到底是鸡生蛋还是蛋生鸡?先有鸡还是先有蛋? 是先出来的鸡还是先来的蛋 世上是先有鸡还是先有蛋 理由 先是鸡生蛋还是蛋生鸡 鸡和蛋那个先出来 先有鸡还是先有蛋?说明理由. 究竟是鸡生蛋还是蛋生鸡呢? 奶糖每斤2.8元巧克力糖每斤3.15元,买巧克力糖6斤我奶糖若干斤混合后,平均每斤3元奶糖买了几斤 蚊子,为什么要吸人血? 是鸡生蛋还是蛋生鸡蛋或鸡 是鸡先出来还是蛋先出来 蚊子为什么要吸人血?拜托了各位 谢谢 是蛋生鸡还是鸡生蛋? 有一堆糖果,其中牛奶糖有180颗,巧克力占总数的3分之1,花生糖的颗数是这两种糖果总颗数的5分之1.这堆糖果一共有多少颗?()m增加它的5分之2后是35m.一个数的5分之4是8,这个数的4分之3是( ). 蚊子为什么要吸人血呢?一到夏天,蚊子就出来咬人,为什么要吸人的血呢? 食品店分装糖果,每袋装有0.25千克酥糖,装有0.15千克水果糖.当水果糖用去5.4千克时,酥糖用去多少千克? 有两包糖,每包糖内装有奶糖、水果糖和巧克力糖.已知:(1)第一包糖的粒数是第二包糖的3倍:(2)在第一包糖中,奶糖占20%,在第二包糖中,水果糖占40%; (3)巧克力糖在第一包糖所占的百 为什么蚊子要吸血?它会只是吸人血吗? 到底是鸡生蛋,还是蛋生鸡? 先出鸡 还是先出蛋 蚊子为什么要吸血? 到底是蛋生鸡,还是鸡生蛋. 鸡吃蛋怎么办 蚊子在吸过一次血后就死亡吗?人们说母蚊子吸血,那公蚊子靠什么维持生命?它若不吸血吃什么? 成语什么鸡什么蛋 到底是鸡生蛋还是蛋生鸡呢? 蚊子飞入耳朵会有什么后果昨天晚上睡觉时有蚊子飞到耳朵里,能清楚听到蚊子在耳朵里的嗡嗡叫声,后来我用掏耳朵的掏,掏了之后就没反应了,可是可以确定蚊子并没被掏出来,可耳朵没任何 ( )鸡( )蛋 一个成语! 到底是鸡生蛋还是蛋生鸡啊 蚊子飞到耳朵里面怎么办?今天下午放学回家以后(本人6年级)在洗手间洗手,突然一只蚊子,一只讨厌的蚊子!飞到我耳朵里去了,刚飞到耳边时拼命的动,我马上去挠,结果进去了,我非常担心,但 是先有鸡呢,还是先有鸡蛋? 解释一下. 到底是鸡生蛋吗?还是蛋生鸡? 小虫子飞进耳朵里怎么办? 食堂买来青菜和胡萝卜,青菜2分之1吨,买来的青菜比胡萝卜多10分之3,萝卜多少吨? 为什么被蚊子咬后会痒?只有母蚊子咬人么? 这是什么?蚊子不像蚊子,蜘蛛不像蜘蛛, 食堂运来青菜比萝卜多2/3,萝卜比青菜少2/3吨,大白菜比胡萝卜少1/7吨运来大白菜多少吨?【快. 被蚊子叮咬后为什么会痒呢? 小明有一盒巧克力糖,7粒7粒数余4个,5粒5粒数少3个,3粒3粒数正好没剩余.这盒巧克力糖有多少粒?1L的 别抄袭了 蛋鸡下软壳蛋是什么原因,如何才能避免是冷的吗 母鸡为什么会下软壳蛋? 小明有一盒巧克力糖,7粒7粒地数余4粒,5粒5粒地数余2粒,这和巧克力糖最少有几粒? 我现在有黄瓜西红柿豆芽豆腐白菜胡萝卜红辣椒这些材料能做什么素食么. 花蚊子一定就比普通蚊子咬人厉害吗?我在家发现花蚊子咬的包比普通的包大, 为什么鸡生蛋后把自己的蛋吃了 第一中学食堂运来白菜420千克,比萝卜的80%还多30千克,运来萝卜多少千克' 蚊子在叮咬人的时候,为什么感觉不到疼痛 脸上被虫子(可能是蚊子)咬的红点怎么快速去除?被咬后不疼不痒的 只是这小红点很久都没消退表提到钱币 我没那条件 实在不行就提吧 我不会怎么样您的 现在我都快被毁容了TAT请大家一 请问:这是什么虫子?前两天我妈胳膊上莫名其妙的长了10多个红疙瘩,很痒,然后我在她被子里发现了这个虫,有绿豆大吧.在这之前我们去广州来着,是不是从那里带回来的虫子?在广州我也长过 咬人的蚊子气温达到多少度就不出来咬人了? 为什么蚊子喜欢吸人血?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn