说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

九头蛇与大象之争,Hydra或将取代Hadoop

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop是一个面向批处理的系统,对数据实时处理的支持较差,这将会成为其未来发展的瓶颈,而Hydra从设计之初就考虑了数据实时处理的需求,宣布开源后,得到了越来越多的支持,未来Hydra很有可能取代Hadoop。

【编者按】Hadoop被认为是最好的大数据分析平台,本身就具有较好的性能,还有活跃的开源社区支持,Hadoop创始人Doug Cutting也曾预言未来Hadoop不仅仅用于大数据处理,还将成为数据平台的系统内核,将用于在线事务处理……Hadoop的发展前景似乎一片光明,却没有注意到竞争者的出现,Hydra在某些方面甚至具有比Hadoop更加优越的性能,宣布开源以后,Hydra得到了越来越多的支持,未来Hydra极有可能成为Hadoop强劲的竞争对手,Datanami的主编Alex Woodie为我们带来了详细分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

Hydra(九头蛇),分布式任务处理系统,由社交标签服务提供商AddThis六年前开发,现在已得到Apache的开源许可,就像Hadoop一样,只是还没有Hadoop那样的知名度和声势。Hydra的创造者称,该“多头”平台非常擅长处理一些大的数据任务——对非常大的数据集进行实时处理,这样的任务恐怕会让那只大象(Hadoop)很头疼。

Hadoop仍然是一个储存大量数据的优秀平台,但很多公司面临着另一个问题,我们将数据存储到Hadoop之后如何去分析数据,无论是Hive还是Pig都需要方便地访问Hadoop中的数据,才能从中获得的价值。正如我们看到的:Hadoop用于实时分析并不合适。

Hydra是一个大数据存储和处理平台,由MattAbrams和他的AddThis同事们共同开发完成。AddThis也就是过去的Clearspring,是开发Web服务器窗口小部件的公司,使访问者可以通过Twitter、Facebook、Pintrest、Google +或者Instagram轻松共享他们的数据。


当AddThis开始逐渐扩大其业务时,它对越来越多的用户数据渐渐感到无能为力。该公司需要一个可扩展的分布式系统,对其用户共享的这些数据进行实时分析。那时Hadoop无法满足AddThis的需求,所以它开发了Hydra。

那么,Hydra到底是什么?简而言之,它是分布式的任务处理系统,可以同时支持流处理和批处理。它利用一种基于树的数据结构来存储和处理具有数千个节点集群的数据。它具有一个基于Linux的文件系统,这使得它可以与ext3、ext4甚至ZFS兼容;它还具有作业/集群管理组件,可以自动为集群分配新的作业和平衡已有的作业;系统还可以自动将数据备份,并自动处理节点故障。

Hydra包括很多的组件:跨异构集群处理任务的分布式作业执行系统、可网络访问的文件服务系统,还有本地备份及远程备份(考虑到难以预防的节点故障)。

基于树形结构使它可以在同一时间处理流数据并进行批处理作业。AddThis工程部门的一位成员Chris Burroughs在他1月23日的博客中首次宣布Hydra开源,还提供了对于Hydra精辟的描述:“它摄取流数据(比如日志文件),并生成聚合树、摘要树或者数据转换树,这些树可用来探索(小型查询),作为机器学习的一部分(大型查询)、或者在网站上支持实时控制台(大量的查询)。”

Hydra最初是用以帮助AddThis解决自身问题,供内部使用,以及为网站运营商提供服务。典型的问题包括:“上个月有多少用户访问网站?”以及“网站从不同国家和浏览器获得访问量分别有多大?”

AddThis继续使用Hydra来处理其大规模的数据流量,分析其客户得到网站的发展趋势。AddThis可以了解人们在线分享了什么,哪些话题比较热门。社交标签服务被超过1300万的网站使用,一个月有13亿用户访问,平均每天30亿访问量产生10TB数据,现在Hydra在AddThis的上千个网络节点上运行着。

Abrams通过邮件告诉Datanami:“我们处理大型数据集已经很长时间了,Hydra一直以来对我们都非常有用,我们觉得它以独特的方式解决了分布式数据处理的问题。”

传统的Hadoop面向批处理,而Hydra可以同时支持批处理和实时流处理。Abrams说:“Hydra支持的批处理主要侧重流分析和增量数据处理,能够使用树形数据结构描述数据,对自然数据进行压缩及高效查询和访问。Hydra可以从HDFS中生产和接受数据,但它在本机文件系统上完成操作,这使其可以在Hydra上灵活地使用其他服务。”

现在Hydra已经开源,Abrams希望该软件会被更加广泛的使用,并得到更好的发展。“这将需要一些时间,但我们相信未来我们将建成一个完善的Hydra开源社区,这样AddThis和OS(开源)社区都可以从Hydra未来的发展中受益。在华盛顿特区已经有一些其他公司在使用Hydra了,我们很期待Hydra社区得到进一步的发展。”

2013秋天,Doug Cutting,Hadoop的创始人也是Cloudera的首席架构师感叹Hadoop缺乏替代品——那时Cutting说:“我多么期待能有更多像Hadoop一样的系统出现……”虽然如今Hadoop在大数据界占据了主导地位,但谁又能说它会是唯一的一个大数据分布式计算平台?相信未来Hydra的发展不会令他失望,对于未来Hydra的发展,我想引用Cutting的另一句话:“天空才是极限。”

原文链接:Hadoop Alternative Hydra Re-Spawns as Open Source(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
ADO三大对象的属性、方法、事件及常数(三)-VB资料 ADO三大对象的属性、方法、事件及常数(一)-VB资料 Data 控件使用有密码的 Access 数据库 -VB资料 Excel、Access、VB的结合应用 Microsoft SQL Server 7.0安装问题(二)-VB资料 主题: MDB文件的导出 使用 DAO-VB资料 Microsoft Access秘密、技巧和陷阱-VB资料 SQL的基本操作(1.数据类型) -VB资料 SQL的基本操作(2.数据库的相关操作)-VB资料 SQL的基本操作(3.表的相关操作) -VB资料 SQL的基本操作(4.数据的检索)-VB资料 SQL在VB中的使用及访问远程数据库 Text 转换为 Access MDB -VB资料 VB5.0数据库基础 非编程方式访问数据库-VB资料 VB用编程方式访问数据库 VB 5.0数据库设计技术讲座(4) VB5.0数据库编程经验小集 VB5在处理数据库时的几个“BUG” VB6.0中的几个新增数据库工具 VB处理数据库时求数据表记录总数的最佳方法 VB访问数据库的方案比较 VB数据库编程经验两则 VB数据库编空字段的处理 VB数据库多字段记录的录入 VB数据库记录查询四法 vb应用程序访问sql server方法探讨 VB中超长OLE数据库字段的操纵方法 VB中将数据转换为数据库文件 VB中远程数据库的访问 Visual Basic 的数据库编程 可以在 NT 登录以前在客户端创建 DCOM 实例吗? 被背叛的遗嘱 能提供C++制表的源程序吗?THANK YOU!!!!!!!! 还有6天 关于Socket编程的几个问题 哪里有莫文蔚的《the way you make me feel》国语版的? 切~~~~~~~~菜~~~~~~~~~ 斑竹,我觉得这几天CSDN上很无聊,怎么老有人弱智地问重复的或者以前已有答案的问题?他们不知道可以search先? 谁知道哪里有bmp图片可以下载,给个详细网址,多谢 VC 兼职? 荷兰国旗问题 ASP刚学,用什么方式好吗 斑竹!!!!!!!!!!!!!!!! 关于IE浏览 请问vb如何访问foxpro 6.0的数据库,最好有源程序,谢谢. he_cti@163.net 算了,散分 我散,我散,我散散散 散3 发分!!!! 发分!!!!! 发分!!!!!!!! 发分!!!!!!!!!!!! 发分!!!!!!!!!!!!!!!!!!! 请问如何去掉测试版软件的“购买”提示框???急急急急!!! 有关获取HTML中Frames的问题? 给分!!!!!啊 给分!!!!!啊!! 给分!!!!!啊!!!!!! 给分!!!!!啊!!!!!!!!!!!!! 给啊!!!!!!!!!!!!! 不是俺蓄意谋两位帮主的反,实在是 ... APPLET连接数据库。。。(我已经每粉了) 千分散尽不复来!!! 千分散尽不复来!!!! 千分散尽不复来!!!!! 千分散尽不复来!! 千分散尽不复来!!!!!!!! 千分散尽不复来!!!!!!!!! 千分散尽不复来!!!!!!!!!!!!! 用分把灌水乐园咽死!!!!! 千分散尽不复来!!!!!!!!!!!!!!!!! 千分散尽不复来!!!!!!!!!!!!!!!!!! 千分散尽不复来!!!!!!!!!!!!!!!!!!! 千分散尽不复来!!!!!!!!!!!!!!!!!!!!! 千分散尽不复来~ 千分散尽不复来~! 请教数据窗口的问题 千分散尽不复来? 千分散尽不复来?! 有LVS_OWNDATA属性的CListCtrl 加图标的问题,25分 在做会员注册时,在添加新数据页,程序一运行就在RS.updata出错,为什么(原程序) 甲数的60%相当于乙数的45%,已知乙数是30,甲数是多少? 甲数的五分之三等于乙数的三分之二 甲数是60乙数是多少 甲数的16%,等于乙数的32%,甲数是80,乙数是( ),如果乙数是80,甲数是( ) 急,要明白的甲的45%等于乙的60%,乙是甲的( )%? 甲数的五分之一等于乙数的三分之一,甲数是60.乙数是多少 已知甲数的五分之二等于乙数的二十五分之八,甲乙两数的比是多少?如果甲数是80则乙数是多少 甲数的45%等于乙数的105%,甲数( )乙数填大于小于或等于 甲数的3分之2等于乙数的5分之4,乙数是60,甲数是( ) 已知甲数的5分之2等于乙数的25分之8,甲数是80,则乙数是几?要全 (选择题)如果甲数的60%等于乙数的2/3,那么( ) 甲数的20%与4的和等于乙数的3分之2,甲数是80,求乙数? 甲数是24,乙数的3分之1等于甲数的8分之1,乙数是多少 如果甲数的3/4等于乙数的2/3,那么甲数与乙数的比是多少? 甲数比乙数多60%,乙数比甲数少百分之几? 甲数的4分之3等于乙数的5分之3,甲数是80,乙数是()是100还是150或者80 如果甲数的3倍等于乙数的2分之一,那么甲数与乙数的比是几比几. 32吨比60吨少百分之几?(百分号前保留一位小数);甲比乙多40,乙是80,甲比乙多百分之几?甲数是20,乙数是30,乙数比甲、乙两数的和少百分之几? 今天1元人民币等于多少日元? 甲数的2/3等于乙数,那么甲数比乙数=( ) 甲数是80的5分之4,乙数的百分之60是12,甲数比乙数多多少 现在4万日元等于多少人民币 甲数是乙数的80%,乙数比甲数多百分之几? 甲桶油是乙桶油的80%,乙桶是甲桶的百分之几?甲桶油比乙桶油少百分之几?乙桶比甲桶多百分之几? 今日日元汇率 1日元等于多少人民币? 1到9的数字,十字形9个格子,如何让横竖都等于24 甲数是乙数的百分之八十,乙数比甲数多百分之几? 甲数是乙数的倒数,乙数扩大10倍后是50,甲数是() 数学10+20+30+50+80+70+60+40+90 甲数比乙数多百分之60,乙数比甲数少百分之几急用 甲数是50,比乙数大10,甲数是乙数的( )%,乙数是甲数的( )%;甲数比乙数多()%;乙数比甲数少() 数字1~9,放到三行三列的九个空格里,横相加、竖相加、斜相加都等于10. 若甲数比乙数多百分之六十,则乙数比甲数少百分之几 为什么 甲数是乙数的倒数,乙数扩大到原来的10倍后是50,甲数是 把10 、20、 30、 40、 50五个数填在空格(3*3),横竖相加都相等,如何填?把10 、20、 30、 40、 50五个数填在空格(3*3),使每一横行、竖列三个数相加的和相等,如何填?这些数可以重复使用 甲数比乙数多百分之60,乙数比甲数少多少 甲数的5分之1等于乙数的6分之1,乙数是10,求甲数 那两个数相乘等于750 ,相加等于-40? 甲数比乙数多百分之六十,乙数比甲数少多少怎么列式最好? 甲数的50%等於乙数的5分之4,如果甲数是10,乙数书多少?如果乙数是10,甲数是多少? 正负数如何相加?这几个数字相加等于多少?+5 -4.3 +8 -2.8请列出算式 甲数是20,乙数比甲数多百分之60,甲数比乙数少百分之几 甲数是50,甲数的10分之1和乙数的2分之1相等,乙数是多少 三个数相加等于14 三个数相乘等于40 求这三个数分别是多少 求详细步骤 甲数的3/8是乙数的80%,乙数是60,乙数比甲数少百分之几 甲数的50%等于乙数的5分之4,如果甲数是10,乙数是多少?如果乙数是10,甲数是多少?要列式计算,不要方程 三个数相乘是40,三个数相加等于14,并没有两个数相等.求这三个数分别是多少 60比20多百分之几?,32千米比80千米少百分之几?,甲数是28,是乙数的80%,乙数是多少?. 5是10的50%,10是5的()% 甲数是40,乙数是50,甲数是乙数的(). 多少相乘等于16相加等于14! 甲数是60,比乙数多百分之50,乙数是多少? 已知甲数的8分之1等于乙数的10分之1甲数是80则乙数是多少 2+6+10+14+...+210+214等于几? 甲数是乙数的60%乙数比甲数多百分之几 甲乙两个两位数,甲数的9分之8等于乙数的80%,甲数最大是(),乙数最小是() 甲数的45%等于乙数的60%,乙数是甲数的( )%快快快!回答后加悬赏 已知甲数的4分之1等于乙数的3分之2,如果乙数是60,那么甲数是几 甲数是乙数的80%,乙数是甲数的()%我要式子, 甲数的45%等于乙数的60%,乙数是甲数的百分之几? 甲数的三分之二等于乙数的60%,那么甲数与乙数的比是( ):( ) 甲数是乙数的125%,那么乙数是甲数的80%,请能仔细讲解为什么是甲数是5,乙数是4,怎么算的
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn