说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

九头蛇与大象之争,Hydra或将取代Hadoop

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop是一个面向批处理的系统,对数据实时处理的支持较差,这将会成为其未来发展的瓶颈,而Hydra从设计之初就考虑了数据实时处理的需求,宣布开源后,得到了越来越多的支持,未来Hydra很有可能取代Hadoop。

【编者按】Hadoop被认为是最好的大数据分析平台,本身就具有较好的性能,还有活跃的开源社区支持,Hadoop创始人Doug Cutting也曾预言未来Hadoop不仅仅用于大数据处理,还将成为数据平台的系统内核,将用于在线事务处理……Hadoop的发展前景似乎一片光明,却没有注意到竞争者的出现,Hydra在某些方面甚至具有比Hadoop更加优越的性能,宣布开源以后,Hydra得到了越来越多的支持,未来Hydra极有可能成为Hadoop强劲的竞争对手,Datanami的主编Alex Woodie为我们带来了详细分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

Hydra(九头蛇),分布式任务处理系统,由社交标签服务提供商AddThis六年前开发,现在已得到Apache的开源许可,就像Hadoop一样,只是还没有Hadoop那样的知名度和声势。Hydra的创造者称,该“多头”平台非常擅长处理一些大的数据任务——对非常大的数据集进行实时处理,这样的任务恐怕会让那只大象(Hadoop)很头疼。

Hadoop仍然是一个储存大量数据的优秀平台,但很多公司面临着另一个问题,我们将数据存储到Hadoop之后如何去分析数据,无论是Hive还是Pig都需要方便地访问Hadoop中的数据,才能从中获得的价值。正如我们看到的:Hadoop用于实时分析并不合适。

Hydra是一个大数据存储和处理平台,由MattAbrams和他的AddThis同事们共同开发完成。AddThis也就是过去的Clearspring,是开发Web服务器窗口小部件的公司,使访问者可以通过Twitter、Facebook、Pintrest、Google +或者Instagram轻松共享他们的数据。


当AddThis开始逐渐扩大其业务时,它对越来越多的用户数据渐渐感到无能为力。该公司需要一个可扩展的分布式系统,对其用户共享的这些数据进行实时分析。那时Hadoop无法满足AddThis的需求,所以它开发了Hydra。

那么,Hydra到底是什么?简而言之,它是分布式的任务处理系统,可以同时支持流处理和批处理。它利用一种基于树的数据结构来存储和处理具有数千个节点集群的数据。它具有一个基于Linux的文件系统,这使得它可以与ext3、ext4甚至ZFS兼容;它还具有作业/集群管理组件,可以自动为集群分配新的作业和平衡已有的作业;系统还可以自动将数据备份,并自动处理节点故障。

Hydra包括很多的组件:跨异构集群处理任务的分布式作业执行系统、可网络访问的文件服务系统,还有本地备份及远程备份(考虑到难以预防的节点故障)。

基于树形结构使它可以在同一时间处理流数据并进行批处理作业。AddThis工程部门的一位成员Chris Burroughs在他1月23日的博客中首次宣布Hydra开源,还提供了对于Hydra精辟的描述:“它摄取流数据(比如日志文件),并生成聚合树、摘要树或者数据转换树,这些树可用来探索(小型查询),作为机器学习的一部分(大型查询)、或者在网站上支持实时控制台(大量的查询)。”

Hydra最初是用以帮助AddThis解决自身问题,供内部使用,以及为网站运营商提供服务。典型的问题包括:“上个月有多少用户访问网站?”以及“网站从不同国家和浏览器获得访问量分别有多大?”

AddThis继续使用Hydra来处理其大规模的数据流量,分析其客户得到网站的发展趋势。AddThis可以了解人们在线分享了什么,哪些话题比较热门。社交标签服务被超过1300万的网站使用,一个月有13亿用户访问,平均每天30亿访问量产生10TB数据,现在Hydra在AddThis的上千个网络节点上运行着。

Abrams通过邮件告诉Datanami:“我们处理大型数据集已经很长时间了,Hydra一直以来对我们都非常有用,我们觉得它以独特的方式解决了分布式数据处理的问题。”

传统的Hadoop面向批处理,而Hydra可以同时支持批处理和实时流处理。Abrams说:“Hydra支持的批处理主要侧重流分析和增量数据处理,能够使用树形数据结构描述数据,对自然数据进行压缩及高效查询和访问。Hydra可以从HDFS中生产和接受数据,但它在本机文件系统上完成操作,这使其可以在Hydra上灵活地使用其他服务。”

现在Hydra已经开源,Abrams希望该软件会被更加广泛的使用,并得到更好的发展。“这将需要一些时间,但我们相信未来我们将建成一个完善的Hydra开源社区,这样AddThis和OS(开源)社区都可以从Hydra未来的发展中受益。在华盛顿特区已经有一些其他公司在使用Hydra了,我们很期待Hydra社区得到进一步的发展。”

2013秋天,Doug Cutting,Hadoop的创始人也是Cloudera的首席架构师感叹Hadoop缺乏替代品——那时Cutting说:“我多么期待能有更多像Hadoop一样的系统出现……”虽然如今Hadoop在大数据界占据了主导地位,但谁又能说它会是唯一的一个大数据分布式计算平台?相信未来Hydra的发展不会令他失望,对于未来Hydra的发展,我想引用Cutting的另一句话:“天空才是极限。”

原文链接:Hadoop Alternative Hydra Re-Spawns as Open Source(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
Java开发与技术挑战——关于技术的技术思考 专访唯品会架构师肖桦:做编码的架构师 越来越“简单”的Java 我的Java!越过山丘 专访沙梓社:做个“Think Different”的技术牛人 基于ES6,使用React、Webpack、Babel构建模块化JavaScript应用 财税街创始人石克清:创业须空杯心态+有效社交 自我知识管理:连贯性就是生产率 玩转Google I/O 2015:Android M、IoT、Glass 2.0、VR、ATAP ARC中Retain Cycle揭秘 失控与逆转!企业移动化2.0时代下如何求变? 玩转物联网之MQTT 专访都灵创客教育奚炎:被忽视的Maker教育 13岁iOS开发者:Swift开发Sprite Kit游戏实践 专访豌豆荚「自动装」开发团队:无需Root即可批量点击「下一步」 iOS项目的持续集成与管理 《近匠》谛听科技,探索智慧家庭的智能网关 【简讯】Python 3.5.0b1发布 《算法的乐趣》作者王晓华访谈:多看、多做、多想是秘诀 专访李祎:Java在Testin的技术应用 React首部经典图书推荐:全程经典实例,360度剖析React.js 再做一个Android!Google发布第二代VR眼镜Cardboard Go语言开发常见陷阱,你遇到过几个? 奏响年度最强音 第七届中国云计算大会日程全公布(表) 【CTO讲堂】请在还年轻的时候,尽量多踩些坑 以细分使用场景为突破点 探究墨迹天气的体验创新 熟练成就创造——MathWorks全球副总裁Richard Rovner、产品市场经理赵志宏专访 Objective-C编码规范:26个方面解决iOS开发问题 豌豆机器小组发布最新WRTnode2R,支持华为Liteos、QQ物联与AllJoyn [新书推荐]Node.js项目实践:构建可扩展的Web应用 【简讯】Perl 5.22.0 发布,大幅改进代码! 编译出错,是不是就是我的解题思路是错的?? 在vc中能不能建消息队列?怎样建? 用checklistbox如何一次删除所选中的全部项 我做了一个动态生成可上传多个文件的,但是有个问题就是我该如何读取那些字段的值。如:图片标题,我删除一些行后我如何确定新的字段值, 救命!如何用 cable modem 上宽带网 在VC里如何实现QQ的界面啊,急急急急急急急急急急急? web如何实现连接点的回调功能? 新闻系统建模? 如何去掉release版exe文件中export的___CppdebugHook? 用标准C++开发的时候最常用的工具是什么? 到哪里能载到一些编游戏用的2D、3D图象文件啊? 招聘asp.net工程師(深圳) windows关机的问题,把我搞得好惨 请问高手如何判断保存上传图片的字段是否有数据?谢谢! 急!告急了。 学Java与Vc哪个更有实力,更有前途? 有关J2EE部署文件? 请问谁有《微型计算机原理与汇编》潘峰著,电子工业出版社的!!谢谢 一个简单的问题(VFP中) 请问OnKeyPress 和 OnKeyDown 这两个事件有什么区别? 哪里有可视化的jCheckTree组件? 关于译码器的问题,急!! *******在red hat linux下怎么设置DNS?网络设置里没有嘛 help 一个简单的问题 怎样删除干净OCX控件? 我用QQ的自定义查找输入一个QQ号码,但现在忘了我输入的是哪个号码,能不能找回? 框架制作!! 框架的问题 提个弱问! 使用treeview控件,我想给它们的节点图标都换一下,可它默认图标都在上面,怎么去掉默认的。 有牛人吗?准考证英文怎么说? 请大家帮我看看,我的机器是怎么回事?我的机器很不稳定!!! 我为大家共享的资源.找我的人太多了,我吃不消.在这里列BILL.大家看看,书不算太多。 很傻的问题,在线等 ★★如何实现按一下按钮可以终止一个正在运行中的循环?请举个例子,谢谢! 谁能帮我提供一点资料或文档! 告急?(在线等待) 用正则表达式,怎么验证日期(yyyy-mm-dd)的输入啊? kao~ 请教有关MSWORD9.OLB的帮助文档是哪个? 怎样知道一个调度执行失败或没有执行???(MSSQL7)上火呀~~~ 如何将自己定义的记录类型转化成Tmemorystream对象? c++builder5的下载地址? 做个调查,来者有分。 ODBC下的数据库查询,急!急! 初学者的问题--com dll服务器如何在客户程序中使用? 如何统计 DBGrid 中记录的个数???? 请教:m_fLogfile.Read(pBuffer , sizeof(VNumAndPassWord)); 错在哪? 谁能替我做一张图片啊? 气死人了,安装红帽子在输入根口令时遇到的尴尬:( 简单四字成语 Both Alice and Linda speak English fluently.是speak 还是speaking? Linda can't speak English 改为肯定句 求100个简单的四字成语 Bob never does his homework_________Mary.He makes lots of mistakes.选A.as carefully as,为什么?为什么不选as careful as 《世说新语,德行》中的古文“荀巨伯探友”的意思? 副词的最高级是不是可以省略the也可以不省略啊 ______carefully the boy does his homework!A.HOW B.HOW AN C.WHAT D .WHAT AN ( )Linda___________(speak)English? 英语翻译台湾,台北市,中正区,泉州街18巷3号2楼要寄DHL去台湾,规定要写英文,所以, Jack does his homework carefully.Lucy does her hJack does his homework carefully.Lucy does her homework carefully ,too保持原句意思Jack does his homework__carefully___Lucy 世说新语·德行里,荀巨伯探友这篇文章是什么意思? “鲁迅写的这部小说很难懂”用英语怎么说 荀巨伯探友(世说新语.德行)在荀巨伯身上可以学到什么 英语A级多少分才能过?如果没过下次是从B级考么 英语翻译这里的so.as 英语翻译Rm.5,2F.,No.3,Ln.26,Guanghua Rd.,Shilin Dist.,Taipei City 111Taiwan (R.O.C.) 下次考英语三级怎么办呢?自己考不了,想打小抄.但小抄的答案也不一定对啊提前一个星期在那有答案,百度么。知道有的真有的假 根据对“天空不留下鸟的痕迹,但我已飞过”的理解,写一段作文开头 《苟巨伯探友》中的苟巨伯有什么品质?速求 英语三级不考行不行 副词的最高级前可以省the ,那么形容词的最高级也可以吗?有木有什么特使情况呢? (世说新语之陈太丘与友期)(世说新语知苟巨伯探友)—两篇短文给我们启示很多,其共同点是 He can speak english,这句是第三人称单数为什么speak不加s? "George在我们班跑得最快".请翻译这句话.我想知道的是副词的最高级前面要不要加the. 看起来容易做起来难的成语 《世说新语.德行》 荀巨伯远看友人疾 “是世界上最著名的岛屿之一”用英语怎么说? 看起来难但事实上不难 是什么成语 世说新语 德行第9荀巨伯远看友人疾,值胡贼攻郡,友人语巨伯曰:“吾今死矣,子可去.”巨伯曰:“远来相视,子令吾去,败义以求生,岂荀巨伯所行邪!”贼既至,谓巨伯曰:“大军至,一郡尽空,汝 – Physics _____ more difficult than Chinese,do you think so?-- Yes,I think so.A.is B.are C.has选什么,为什么? 求一成语 一件事,你心里认为它容易,它做起来就会很容易,如果你害怕,觉得它难,你做起来就难 Little John does his homework every day.对does his homework提问. Physics ____ more difficult than maths A is B are 英语翻译把下面一段话翻译成文言文:我当然记得我的承诺,但是我已经尽自己的全力了,所以可以无愧于自己了(自己想的或者书中摘的都可以). 世说新语 德行3求翻译,最好有重点字的单独翻译, as a result of的用法As a result of keeping study,my body get better than before ahd even study more easily.这句话对吗?不对的话该怎么改 As a result of 是这么用的吗 形容词原级与比较级的用法归纳(什么时候用原级,什么时候用比较级) 英语A级和英语三级是不是一样的?有人说是一样的,只是叫法不同有些人又说不一样,说A级是二级三级比A级难都糊涂了 夏日绝句古诗 Li does his homework carefully 对carefully进行提问 一些单词麻烦造句1.用afford造句2.用allow造句3.用behave造句4.用commute造句5.用enroll造句6.用expect造句7.用hide造句8.用kiss造句 夏日绝句 古诗要诗意 复数形式 一.仿句.1.例:弯弯下垂的月亮,浮在水一样的天上.仿写:2.故乡的歌是一支清远的笛,总是在有月亮的晚上响起.仿写:3.机舱的密封条件又不好,"高处不胜寒".乘客们不得不穿着皮大衣,戴上皮手套, 副词最高级加the?he works harder he works the hardest请问这个对吗 英语翻译 上课不能做小动作的英文怎么讲?我的女儿问我,我不知道该怎么说, 诗:妈妈的爱 "我会一直和你在一起"用英语怎么翻译 我要上课讲英语,请问开头怎么讲.尽量多些.类似look at the blackbord .我将给你们讲一些单词的重要用法(请给我翻译).thanks for listening.等 妈妈的爱,要用什么词赞美?妈妈伟大到无私,而我却找不到词语形容… 请问:礼轻情意重 英语怎么翻译? 《世说新语·德行》之荀巨伯原文+翻译` 妈妈的爱用什么词形容? 【夏日绝句】是一首{ }言诗. 英语翻译differentiation of exponential functions 求夏日绝句全诗 谁知道夏日绝句全诗的意思是什么意思 《世说新语,德行》中的古文“荀巨伯探友”的翻译?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘