说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

九头蛇与大象之争,Hydra或将取代Hadoop

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop是一个面向批处理的系统,对数据实时处理的支持较差,这将会成为其未来发展的瓶颈,而Hydra从设计之初就考虑了数据实时处理的需求,宣布开源后,得到了越来越多的支持,未来Hydra很有可能取代Hadoop。

【编者按】Hadoop被认为是最好的大数据分析平台,本身就具有较好的性能,还有活跃的开源社区支持,Hadoop创始人Doug Cutting也曾预言未来Hadoop不仅仅用于大数据处理,还将成为数据平台的系统内核,将用于在线事务处理……Hadoop的发展前景似乎一片光明,却没有注意到竞争者的出现,Hydra在某些方面甚至具有比Hadoop更加优越的性能,宣布开源以后,Hydra得到了越来越多的支持,未来Hydra极有可能成为Hadoop强劲的竞争对手,Datanami的主编Alex Woodie为我们带来了详细分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

Hydra(九头蛇),分布式任务处理系统,由社交标签服务提供商AddThis六年前开发,现在已得到Apache的开源许可,就像Hadoop一样,只是还没有Hadoop那样的知名度和声势。Hydra的创造者称,该“多头”平台非常擅长处理一些大的数据任务——对非常大的数据集进行实时处理,这样的任务恐怕会让那只大象(Hadoop)很头疼。

Hadoop仍然是一个储存大量数据的优秀平台,但很多公司面临着另一个问题,我们将数据存储到Hadoop之后如何去分析数据,无论是Hive还是Pig都需要方便地访问Hadoop中的数据,才能从中获得的价值。正如我们看到的:Hadoop用于实时分析并不合适。

Hydra是一个大数据存储和处理平台,由MattAbrams和他的AddThis同事们共同开发完成。AddThis也就是过去的Clearspring,是开发Web服务器窗口小部件的公司,使访问者可以通过Twitter、Facebook、Pintrest、Google +或者Instagram轻松共享他们的数据。


当AddThis开始逐渐扩大其业务时,它对越来越多的用户数据渐渐感到无能为力。该公司需要一个可扩展的分布式系统,对其用户共享的这些数据进行实时分析。那时Hadoop无法满足AddThis的需求,所以它开发了Hydra。

那么,Hydra到底是什么?简而言之,它是分布式的任务处理系统,可以同时支持流处理和批处理。它利用一种基于树的数据结构来存储和处理具有数千个节点集群的数据。它具有一个基于Linux的文件系统,这使得它可以与ext3、ext4甚至ZFS兼容;它还具有作业/集群管理组件,可以自动为集群分配新的作业和平衡已有的作业;系统还可以自动将数据备份,并自动处理节点故障。

Hydra包括很多的组件:跨异构集群处理任务的分布式作业执行系统、可网络访问的文件服务系统,还有本地备份及远程备份(考虑到难以预防的节点故障)。

基于树形结构使它可以在同一时间处理流数据并进行批处理作业。AddThis工程部门的一位成员Chris Burroughs在他1月23日的博客中首次宣布Hydra开源,还提供了对于Hydra精辟的描述:“它摄取流数据(比如日志文件),并生成聚合树、摘要树或者数据转换树,这些树可用来探索(小型查询),作为机器学习的一部分(大型查询)、或者在网站上支持实时控制台(大量的查询)。”

Hydra最初是用以帮助AddThis解决自身问题,供内部使用,以及为网站运营商提供服务。典型的问题包括:“上个月有多少用户访问网站?”以及“网站从不同国家和浏览器获得访问量分别有多大?”

AddThis继续使用Hydra来处理其大规模的数据流量,分析其客户得到网站的发展趋势。AddThis可以了解人们在线分享了什么,哪些话题比较热门。社交标签服务被超过1300万的网站使用,一个月有13亿用户访问,平均每天30亿访问量产生10TB数据,现在Hydra在AddThis的上千个网络节点上运行着。

Abrams通过邮件告诉Datanami:“我们处理大型数据集已经很长时间了,Hydra一直以来对我们都非常有用,我们觉得它以独特的方式解决了分布式数据处理的问题。”

传统的Hadoop面向批处理,而Hydra可以同时支持批处理和实时流处理。Abrams说:“Hydra支持的批处理主要侧重流分析和增量数据处理,能够使用树形数据结构描述数据,对自然数据进行压缩及高效查询和访问。Hydra可以从HDFS中生产和接受数据,但它在本机文件系统上完成操作,这使其可以在Hydra上灵活地使用其他服务。”

现在Hydra已经开源,Abrams希望该软件会被更加广泛的使用,并得到更好的发展。“这将需要一些时间,但我们相信未来我们将建成一个完善的Hydra开源社区,这样AddThis和OS(开源)社区都可以从Hydra未来的发展中受益。在华盛顿特区已经有一些其他公司在使用Hydra了,我们很期待Hydra社区得到进一步的发展。”

2013秋天,Doug Cutting,Hadoop的创始人也是Cloudera的首席架构师感叹Hadoop缺乏替代品——那时Cutting说:“我多么期待能有更多像Hadoop一样的系统出现……”虽然如今Hadoop在大数据界占据了主导地位,但谁又能说它会是唯一的一个大数据分布式计算平台?相信未来Hydra的发展不会令他失望,对于未来Hydra的发展,我想引用Cutting的另一句话:“天空才是极限。”

原文链接:Hadoop Alternative Hydra Re-Spawns as Open Source(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
前Facebook资深员工王淮给技术创业团队的十点建议 微软发布Windows Embedded 8系列操作系统 Google Play 4.0抢先体验 中国 vs. 非洲:移动医疗的前世今生 Java大数据框架初创企业Concurrent获400万美元融资 基于Edge Animate开发CSS3 Animations 后端服务商Firebase发布全新iOS SDK [爆料]百度云或在秘密打造实时移动Web App开发框架 打造最佳开发团队的几点建议 Facebook与开发者交恶 扼杀第三方应用 负载大逃亡:四十二路怪兽联军及七条逃生法则 那些年,MIT技术男们奇妙的黑客作品 深度分析:腾讯3.3亿美元收购Epic股份值吗? 传下一代iOS或将推行扁平化设计 iOS开发者注意:苹果将拒绝访问UDID的应用上架 领先Google、Amazon、Dropbox,Apple云存储用户最多 传IBM重新设计晶体管 预计五至七年内成熟 快讯:云计算大会6月召开 云计算概念企业股票飙升 集成开发环境:Qt Creator 2.7.0发布 移动周报:“今日头条”CEO,爱冒险的技术宅 从China Daily的iPad版,看中国纸媒如何摆脱“旧情结” 天睿推出大数据探索平台:“开箱即用”的数据分析 Basho开源Riak CS,与AWS S3兼容的云存储架构 MongoDB Days北京杂记 VMware携手亿阳信通 铺垫混合服务 行业应用,移动优先:移动难七大痛点剖析 HTML5开发必备:游戏开发资源合集 老而弥坚:65岁传奇Android工程师谈开发 2013中国云计算有奖大调查,每周大奖等你拿! Google Reader之死另一个不为人知的原因 小团队谈推广:豆果、金山、微博易、面包旅行 我的代码可以被编译吗? 十万火急(在线等)关于发邮件问题!多谢了(最后50分了) 感谢各位的鼎力支持!!! 急:如何让sqlload使用命令行方式,把数据库中的指定几个表导出?(在线) 单元全局变量与工程全局变量有什么区别 问一个关于JSP和XML结合的问题. 请问怎样用ASP连接Mysql数据库,急! 有没有j2ee的qq群??? win2k里的smtp服务器,怎么是需要身份验证的? 怎样让智能ABC记住输入的词组呢? 你在delphi中,用到了多少面向对象的知识? Dragover事件什么情况下触发 北京还是深圳 如何实现两个类互相访问--急! <Code Complete>怎么翻译好呢? 急!!!!!在dcom中向数据源添加数据报错,为什么? 有哪些方法可以在ASP.NET设计文件.aspx(html格式WEB)与脚本文件.aspx.cs(.aspx.vb)中传递数,或者说传递变量的值!!! 我用CDONTS.NewMail发邮件,怎么判断邮件发送成功或者是不成功呢? asp.net的客户端键盘的事件处理的有关问题? 请问怎么在程序里随机产生CLSID代码?$$$$$$$$$$$$$$$$ 急! 如何定义一个全局的类的实例,请高手指招? 到底怎么创建桌面快捷方式? 给点参考吧! ADO连接带密码的数据库时出现的错误!!! (在线求助),哪位老大知道怎样写一个字符串在一个iframe内框架里? zzxxdd过来接分? 刚才没说清楚再问一下救急 allforly(白衣胜血) 请进,其他人解答也可以。 windows 2003 关于fso问题,求救! 请问通过表单上传文件是否有大小限制? 关于函数的返回类型 JavaScript在使用showModalDialog的问题,急!!!!!! 急!datagrid中的Checkbox问题? 各位仁兄:在Redhet8下为什莫打开中文pdf文档是乱码?下弟在此先谢过了。 请提供北京招聘信息(java方面)。毕业三年了,一直在一个公司里面工作,昨天辞职了,现正是开始重新找工作。 win2k服务器问题,请大家帮忙解决! asp生成excel文件的问题!! 出一个程序员需要做的智力题,也来让大家头痛一下。 可以上qq,不可打开网页,这是为什么?主机为server2000,其他电脑有的可一打开 如何得到DataReader的字段的名字 请教C++通用排序程序 報表打印的問題 关于dbcombobox的问题? 又一个MDI的问题 高手进来看看这段程序有哪些错误? 使用resultset 在stringbuffer里面替换文件里所有的字 关于使用WM_DATACOPY这个消息? 关于弹出窗口广告页面设计的问题????????(小弟刚入门,多多指点) 高手快进!打包问题!看看也有分! 读Ini文件中的值放到TStrings中去,为什么和我想的不一样,请进来看,,,在线等,不够还可以加分 一个比较菜的问题:如何调用COM?请高手指教! 英语翻译 1.北京是中国的首都 2.他写了40多部华尔兹 3.许多人说他是欧洲最伟大的作曲家急用 我想到广场上卖氢气球,请问氢气球里面的氢气怎么充气,安全不安全啊?怎么充气才安全呢? 人到底该不该太执着?不是自私的,而是很迷惑的那种执着,谁都不知道执着下去的结果是什么. 人是猴子变的,那为什么现在还有猴子没变成人呢? led角度和照射距离led投光灯角度可以分多少种、一般的距离能有多远.最大瓦数照射距离是多远 │√2-√3│+2√2等于多少 绿光经过蓝玻璃后是什么色? 求“序”的知识,如《送东阳马生序》的“序” 新学期发言稿 急! 类胡萝卜素只要吸收蓝紫光 有吸收绿光吗?为什么显橙黄色不显绿色? 皮皮鲁的风筝续写800字的不要我们书上有的不懂的不写 什么是投光灯?什么是泛光灯?两者有何区别?投光灯是否就是聚光,泛光灯是否就是散光? 已知一个向量线段A,一个向量线段B.A大于B,两个向量的方向相同.我不知道该怎么作图了..我只为做相反方向的,就是两个起点放在一起,可方向一样怎么办额, 在等腰三角形ABC的斜边AB上任取一点M,则∠ACM≤30°的概率为多少. 送东阳马生序 求语文学霸 求向量减法 .so easy``用一个棱长是12厘米饿正方体木块加工一个最大的圆锥,圆锥的体积是多少立方厘米? 皮皮鲁的风筝飞走后发生了什么事作文400字 矢量减法我是新高一的,有个向心加速度公式的推导,其中有个匀速圆周运动的两个瞬时速度减法,我不能理解,望学长们老师们帮我解释一下,最好有图啊!(我能理共点力合成分解时的平行四边 向量的数量积为什么不满足结合律? 续写《皮皮鲁的风筝》(结果好一点) 生产要素和生产资料有什么不同?如题,资本、土地、劳动力和机器工厂等等,算生产资料还是生产要素? 4个向量数量积结合律满足吗? 皮皮鲁放风筝续写 长一点 生产资料和生产要素之间是什么关系? 氢气球是什么时候发明的?具体点... 求X等于什么, AO是具有一定质量的均匀细杆,可绕O点在竖直平面内自由转动.细杆上的P点与放在水平桌面上的圆柱体接触,圆柱体靠在竖直的挡板上而保持平衡.已知杆的倾角为60度,圆柱体的重力大小为G,竖直 【数学】向量的数量积在哪些特殊情况下满足结合律我只知道a·(b·c)=(a·b)·c在三个向量都为零向量时成立.请问还有其它情况吗? 已知圆柱M的底面圆的半径与球O的半径相同,若圆柱M与球O的表面积相等,则它们的体积之比为? 劳动者创造的价值包括可变资本价值和剩余价值,其中资本家支付的是劳动者的工资也就是可变资本价值,剩余价值被资本家无偿占有,不变资本只是由一种形态转化到新的商品中去了,以上纯属 韩非子怎么样 35+<-2.3> 等于多少 资本家为什么增加可变资本总量是不是意味劳动力增加,创造的剩余价值也增加 等于多少(要过程) 这题等于多少? 为什么历史上著名的伟大的作曲家大多在欧洲? 函数的极值点为什么不能是区间的端点?书上说:函数f(x)在(a,b)可导,为什么只能是开区间而不是闭区间呢? 1+1等于几,要过程哦 我在一个出租脚手架的店子里看到很多木板,这是什么板子?是三层板?干什么用的?和普通木板比有什么特点?我最近需要木板来做小部件,使用在一个生活创意里的,我要把木板锯成我需要的 Je dois faire une course.Attends-moi au café,j’en ai pour dix minutes.请问这里en代替的是什么?没有看见那里有de啊? 2000w的泛光灯相当于多少瓦的led灯啊 两个圆柱的底面半径之比为2比3,高之比是1比2他们的侧面积之比是多少?体积之比是多少? Je Suis Venu Te Dire Que Je M En Vais (Live Au Palace 2009) 歌词 1.在正方形ABCD中,E为内部一点且三角形BCE为正三角形,求角BAE的度数2.正方形ABCD中,E为BC中点,CF=四分之一CD,若AB=4求三角形AEF的面积 韩非子的名、字、号. je crois que je vais aller bien faire les grands progres pour mes etudes!不只是哪国语言,希望会的朋友帮我翻译以下, The old are taken care of carefully in our city.这句话恰当吗 如果不恰当,应当怎么改 韩非子是名字吗 Je sais bien que je devrai affronter toutes sortes de difficultés,je vais faire tous mes efforts 关于2010年12月英语三级答案的问题你有么? 两个圆柱的底面半径之比是2:3高之比是1:2,它们的侧面积之比是多少?体积之比是多少? 一个圆柱的底面半径扩大3倍,高不变,底面周长扩大()倍,侧面积扩大()倍,底面积扩大()倍,体积扩 这道题等于多少, 既能使石蕊试液变红,又能使品红试液变为无色的物质是什么? 圆柱的底面半径扩大3倍,高不变,底面周长扩大()倍,侧面积扩大()倍,底面积扩大()倍,体积扩大()倍 如果人总是对一件事情很执着,是好是坏?执着有什么坏处?有什么好处?这样会伤到其他人或自己吗? 既能使石蕊溶液最终变为红色,又能使品红试液变为无色的物质是 A.N H 3.B.既能使石蕊溶液最终变为红色,又能使品红试液变为无色的物质是A.N H 3.B.H C l.C.SO2.D.CO2但我觉得盐酸和二氧化碳也可以 韩非子是谁? 芮怎么拼音 39岁主妇西村真弓当选第4届日本“美Facebook第三季度创收20亿美美国一男子好运连连 才中千万美金又中美主播为“杀光中国人”言论向示威者鞠日男子扮高富帅专哄按摩女 谎称投资骗日本人气漫画《海贼王》发行总量将超3希腊内衣商发明“社交内衣”:解扣可自德国锁定美情报部门窃听站位置 位于使印度一客车爆炸起火44人死 司机清洁法国多名知识分子请愿维护嫖妓权 被称1990至2010年北半球平均气温或全球发展中国家每年新增200万名15研究:男性关注女性身材多于面部长相(伊拉克向美国请求军事援助 对抗“基地巴黎举办巧克力展 巧克力时装秀当揭幕9成入驻开城韩企难以正常运转 客户丢温州中院首倡“低碳诉讼” 接收电子版黄坤明辞去杭州市人大常委会主任职务《马约》走过20年专家:7天退换货遇节日顺延 邮费一般国内汽油价格每升下调5分 幅度创10黄子韬现身2016春夏伦敦时装周看秀90%的人都不敢玩的测试。。。(看片中国太阳能光伏行业或支撑白银需求地方债置换需要多少流动性?学者风范——朱维铮教授的一封信电子政务加快创新 政府由监管向服务转破坏性创新编年史:45年后,苹果和谷葛兆光:怀想朱维铮先生全国第九届残疾人运动会暨第六届特奥会艾紫馨:9月19现货白银宁贵银原油股朱维铮遗稿:帝制中国初期的儒术(一)值得收藏:史上最全外贸单证的种类与使徐韵烽:美联储加息周落幕 原油多单怎羊咩咩误食大麻集体呆萌傻,各种傻笑物流业必看!重磅解读工业物流巨头——拜耳围绕生命科学业务定位组织结构SP mini 智能插座秒杀 & 试镜报:南安普顿可能续约马内13 个教科书灌输给我们的错误知识小莫自曝下赛季新号码:52今日推荐 | 一个自闭症男孩和 Si
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘