说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

九头蛇与大象之争,Hydra或将取代Hadoop

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop是一个面向批处理的系统,对数据实时处理的支持较差,这将会成为其未来发展的瓶颈,而Hydra从设计之初就考虑了数据实时处理的需求,宣布开源后,得到了越来越多的支持,未来Hydra很有可能取代Hadoop。

【编者按】Hadoop被认为是最好的大数据分析平台,本身就具有较好的性能,还有活跃的开源社区支持,Hadoop创始人Doug Cutting也曾预言未来Hadoop不仅仅用于大数据处理,还将成为数据平台的系统内核,将用于在线事务处理……Hadoop的发展前景似乎一片光明,却没有注意到竞争者的出现,Hydra在某些方面甚至具有比Hadoop更加优越的性能,宣布开源以后,Hydra得到了越来越多的支持,未来Hydra极有可能成为Hadoop强劲的竞争对手,Datanami的主编Alex Woodie为我们带来了详细分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

Hydra(九头蛇),分布式任务处理系统,由社交标签服务提供商AddThis六年前开发,现在已得到Apache的开源许可,就像Hadoop一样,只是还没有Hadoop那样的知名度和声势。Hydra的创造者称,该“多头”平台非常擅长处理一些大的数据任务——对非常大的数据集进行实时处理,这样的任务恐怕会让那只大象(Hadoop)很头疼。

Hadoop仍然是一个储存大量数据的优秀平台,但很多公司面临着另一个问题,我们将数据存储到Hadoop之后如何去分析数据,无论是Hive还是Pig都需要方便地访问Hadoop中的数据,才能从中获得的价值。正如我们看到的:Hadoop用于实时分析并不合适。

Hydra是一个大数据存储和处理平台,由MattAbrams和他的AddThis同事们共同开发完成。AddThis也就是过去的Clearspring,是开发Web服务器窗口小部件的公司,使访问者可以通过Twitter、Facebook、Pintrest、Google +或者Instagram轻松共享他们的数据。


当AddThis开始逐渐扩大其业务时,它对越来越多的用户数据渐渐感到无能为力。该公司需要一个可扩展的分布式系统,对其用户共享的这些数据进行实时分析。那时Hadoop无法满足AddThis的需求,所以它开发了Hydra。

那么,Hydra到底是什么?简而言之,它是分布式的任务处理系统,可以同时支持流处理和批处理。它利用一种基于树的数据结构来存储和处理具有数千个节点集群的数据。它具有一个基于Linux的文件系统,这使得它可以与ext3、ext4甚至ZFS兼容;它还具有作业/集群管理组件,可以自动为集群分配新的作业和平衡已有的作业;系统还可以自动将数据备份,并自动处理节点故障。

Hydra包括很多的组件:跨异构集群处理任务的分布式作业执行系统、可网络访问的文件服务系统,还有本地备份及远程备份(考虑到难以预防的节点故障)。

基于树形结构使它可以在同一时间处理流数据并进行批处理作业。AddThis工程部门的一位成员Chris Burroughs在他1月23日的博客中首次宣布Hydra开源,还提供了对于Hydra精辟的描述:“它摄取流数据(比如日志文件),并生成聚合树、摘要树或者数据转换树,这些树可用来探索(小型查询),作为机器学习的一部分(大型查询)、或者在网站上支持实时控制台(大量的查询)。”

Hydra最初是用以帮助AddThis解决自身问题,供内部使用,以及为网站运营商提供服务。典型的问题包括:“上个月有多少用户访问网站?”以及“网站从不同国家和浏览器获得访问量分别有多大?”

AddThis继续使用Hydra来处理其大规模的数据流量,分析其客户得到网站的发展趋势。AddThis可以了解人们在线分享了什么,哪些话题比较热门。社交标签服务被超过1300万的网站使用,一个月有13亿用户访问,平均每天30亿访问量产生10TB数据,现在Hydra在AddThis的上千个网络节点上运行着。

Abrams通过邮件告诉Datanami:“我们处理大型数据集已经很长时间了,Hydra一直以来对我们都非常有用,我们觉得它以独特的方式解决了分布式数据处理的问题。”

传统的Hadoop面向批处理,而Hydra可以同时支持批处理和实时流处理。Abrams说:“Hydra支持的批处理主要侧重流分析和增量数据处理,能够使用树形数据结构描述数据,对自然数据进行压缩及高效查询和访问。Hydra可以从HDFS中生产和接受数据,但它在本机文件系统上完成操作,这使其可以在Hydra上灵活地使用其他服务。”

现在Hydra已经开源,Abrams希望该软件会被更加广泛的使用,并得到更好的发展。“这将需要一些时间,但我们相信未来我们将建成一个完善的Hydra开源社区,这样AddThis和OS(开源)社区都可以从Hydra未来的发展中受益。在华盛顿特区已经有一些其他公司在使用Hydra了,我们很期待Hydra社区得到进一步的发展。”

2013秋天,Doug Cutting,Hadoop的创始人也是Cloudera的首席架构师感叹Hadoop缺乏替代品——那时Cutting说:“我多么期待能有更多像Hadoop一样的系统出现……”虽然如今Hadoop在大数据界占据了主导地位,但谁又能说它会是唯一的一个大数据分布式计算平台?相信未来Hydra的发展不会令他失望,对于未来Hydra的发展,我想引用Cutting的另一句话:“天空才是极限。”

原文链接:Hadoop Alternative Hydra Re-Spawns as Open Source(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
JVM垃圾收集器使用调查:CMS最受欢迎 技术创业不能一味追求“骨感”,必要时丰富自己的5个途径 帷千动媒副总经理兰旭:整合现在,梳理未来! 11月份浏览器份额:IE继续上涨,Chrome仍不温不火 Windows 8令人担忧:8和8.1两版本份额目前仅有9.3% 一周消息树:微软还需更激进的手段——开放Windows Phone 【开源推荐】Genome.js:当DNA遇到开源 Go 1.2发布 着重语言特性的改进 微软资深IE专家邹颂兵:好产品才是竞争的关键 Web应用程序完全测试指南 Python正在取代R,成为数据科学界新宠 代号Threshold:微软将推Windows统一平台Threshold 日本任天堂掌机应用:《卢浮宫》革了谁的命? [TUP第31期]《浪潮之巅》吴军:硅谷3.0助力中国企业走向国际 SequoiaDB创始人:比MongoDB领先一到两年 打造企业级NoSQL数据库 [对话CTO]甲骨文熊光樑:全球研发模式开发出接地气产品 GitHub中国游记之长城——跨越那堵看不见的墙 IE11开发人员工具:UI响应工具详解 2013 Linux领域年终盘点 腾讯云俱乐部深圳站成功落幕 开创移动开发新篇章 解读云计算、大数据、物联网等九大IT技术发展趋势 苹果已证实收购Topsy或将涉足社交领域 触摸未来:Tactus微流体技术2014年来袭 Windows的未来:一个核心 多个版本 Github项目中使用率最高的Java/Ruby/JS库 2013中国大数据技术大会盛大开幕 从黑色星期五找到的六个规则 帮助网站转化 移动开发者的自学宝典:十大在线编程学习网站 MIT新技术:远程触摸和操纵实物 创新人机交互 中国移动研究院业务支撑研究所所长孙少陵:大数据实时处理技术发展趋势及中国移动实践和展望 “第一届中国大数据技术创新与创业大赛”主办方发言及创新分赛颁奖 数据复制的问题,高分求救! 如何获取TitleBar的尺寸? 创建文件夹的函数及检查是否存在某文件夹的函数?(手册上没有) qqq pcAnywhere操作不能刷新的问题?高手来解救我吧!! 请帮我分析一下为什么会出现这样的错误提示:Access vidation at address 004a36B2 in modale'**.exe'read of address FFFFFFFF CTime和CTimeSpan的使用问题!!!很奇怪??????? 我在写Tuxedo服务程序时,在VC++环境下编译连接时发生以下错误。 关于PDF文件(高分奉送) 来新公司一月了,遇到一个问题,请大家帮忙分析! 谋杀——转贴 打安装包时,提示某些dll过期(很多),怎么办呀? 出生年月与年龄的问题 大家帮帮忙!!!!!!!!!!! 我的天啊!CListCtrl不允许设置行间距和字体大小吗? 如何在40G的硬盘(maxtor)上安装nt4.0 100分(我全部的分),加速,代码优化,JPEG 求救 如何编代码自动创建NT的账号、密码(用什么API实现) 大家看看,我在做一个Messagebox的提示信息时的提示!!!!!奇怪,.net真奇怪 关于计数统计的问题 查某一个人全部贴子的方法。 怎样建立无盘工作站?? pcAnywhere操作不能刷新的问题?高手来解救我吧!! 高手们帮帮忙,我的聊天室怎么不支持中文??? 关于换行的问题??? 各位大侠,请教注册表子项枚举问题?(100分) 修改記錄問題(20)分! 各位大侠帮我检查一下这段代码 再线关注,一个关于excel的问题?一解决立即给分,up有分! 居中 哪里有这些书下载啊!!!! 我的控件不见了! reintroduce和overload有什么区别吗? 关于Javadoc的使用 请问如何在程序运行时根据分辨率等比例调整窗体,控件和字体的大小,使得在任何分辨率下均满屏显示 世界杯“蓝色厄运”理论:英格兰胜巴西 德国淘汰美国(转贴) 关于treeview的节点事件问题,把在下高糊涂了,请高手明示。 要毕业了。。。 BCB中数据库控件的错误扑捉怎么写?比如数据库不存在? 请教如何在调运api函数时,建立缓冲区 SetEvent函数调用带来非法内存访问,扭心的问题。 文件和字符混和上传问题 诸位大虾请帮忙? 各位大虾:哪里有vb.net下载啊? 请教:“开始”菜单中的“文档”菜单不见了! 急!急!急! 一个关于模式对话框的问题 oracle 用sql plus /spool 输出 查询结果时怎么把 查询sql 本身 去掉(不输出) ? 世界杯“蓝色厄运”理论:英格兰胜巴西 德国淘汰美国(转贴) !!请 “arxing(阿行)”回答!!about 对象池!!!! 各位老大,怎样将给定的中文根据拼音排序? access97中的报表中显示中文字段时为什么是乱码,怎样解决,急呀!老大们!! 李明以每小时4千米的速度从家去学校,1/6时行全程的3/5,李明家离学校多少千米?李明以每小时4千米的速度从家去学校,1/6时行全程的3/5,李明家离学校多少千米? 6岁孩子适合玩什么益智玩具 一块长方形的木板长60厘米,宽35厘米在这块木板上锯下一个最大的正方形,这个正方形的周长是多少厘米?请帮计算 李明家距学校600米远,某一天他上学时,以1米每秒的速度走完前一半路程,为了不迟到用200s的时间走完后半路求走路的平均速度. 极坐标系下,圆 ρ=2cos(θ+π/4)上的点与直线ρsin(θ+π/4)=√2上的点的最大距离是——? 谁能给写一个关于教育方面的调查报告?一千字以上抄袭的就给这些分 心算方法是什么 底面直径是20厘米的圆柱体容积中装了一些水,现将一个底面直径是12厘米的铁圆锥全部浸没在水中,水面上升了9毫米【水不满出】,求圆锥的高 一篇稿件,甲独抄6小时完成,乙独抄要8小时完成,两人合抄要几小时完成?列式计算!重赏! 宝宝六个月了,大家都给宝宝买的什么玩具.同上 d一个底面直径为20厘米的圆柱中装水,水中有一个底面直径为8厘米,高12厘米的圆锥,取出圆锥后,水面下降了多少? 一瓶水有5分之4升,4分之3之瓶水有几分之几升? 六个月的婴儿应该买什么玩具? 甲乙两个水桶共蓄水160升,如果把乙桶的水注入甲桶20升,这时甲桶的水等于乙桶的3倍,问原来甲乙各有多少升水不能用XY来解答.请用算式来解答此题. 最搞笑的诗 句是什么? 六个月的宝宝买什么玩具好? 有两只大的网球拍和一只小的乒乓球拍共200元,每只网球拍和乒乓球拍多少元? 有没有像这样的搞笑诗【一年级的小偷,三年级的美眉跳芭蕾……】这样的,不要古诗 谁知道《长歌行》这首古诗的解释越详细越好 长歌行的诗句 如图,已知阴影部分的面积是100平方厘米,求圆环的面积. 《长歌行》全诗 要《长歌行》诗句 在一只长50厘米,宽40厘米的长方体玻璃水缸中,浸入一块棱长20厘米的正方体铁块后,水面会上升多少厘米? 长歌行全诗句 怎样快速口算出两位数乘法(两位数乘除两位数) 在一只长40厘米宽20厘米的玻璃水缸中放入一块棱长10厘米的正方体铁块,铁块浸没在水中水面升高了几厘米 长歌行,江南,七步诗,饮酒属于哪类诗? 在极坐标系(ρ,θ)(0 一只长方形玻璃缸高为40,浸入个棱长20的正方体铁块,水面上升了2厘米,这个水缸的体积是多 长歌行 全诗是什么? 把长30厘米,宽24厘米的长方形木板锯成大小相等的小正方形,每个小正方形的边长最少是多少厘米?锯多少块 关于亲情的初中作文 有什么好的心算方法 一块木板长36厘米,宽24厘米,锯成相同的小正方形若干块,求正方形尽量大,正方形边长是几厘米?可以锯几块 乒乓球拍每幅定价30元乒乓球每盒定价5元甲店买一副球拍给一盒乒乓球乙店全9折优惠需球拍5副乒乓球不小于51)当购买乒乓球多少盒时,两种优惠办法付款一样?2)当分别购买15盒,30盒乒乓球 小学株心算,心算方法 一块木板长36厘米,宽24厘米,锯成相同的正方形木板若干块,要求正方形面积尽量大而没有余料,锯成的正方形木块边长是多少厘米?可以据几块? 一副球怕定价30元,一盒乒乓球定价5元,店买一副球拍给一盒乒乓球乙店全9折优惠需球拍5副乒乓球不小于5当购买乒乓球多少盒时,两家商店给予的优惠相同? 一辆自行车,前轮行10000千米报废,后轮行6000千米报废,如在合适的时候交换前后轮,则最多可以行?千米 一个长6分米,宽5分米的长方体,浸没在一个长2米宽1.5米,2米的水箱中,水面升高5厘米,这个长方体高?快. 我想把比叫小的虫子拿来喂鱼,但我又不想买饲料,怎么样才可以捕捉昆虫. 甲乙两个水桶,从甲桶倒出1/5给乙桶后,乙桶比甲桶水还少20千克,乙桶原有40千克的水,甲桶原有多少水?最好用算术方法解,如果是方程的话请把解方程的过程写出来, 把长24厘米、宽30厘米的长方形木板锯成大小相等的小正方形,且没有剩余,每个小正方形的边长最长是多少厘米?能锯成多少块? 详细的步骤!谢 了! 怎么大量捕捉昆虫 怎么教幼儿快心算? 英语翻译 简述宋朝商品经济发展的特点 什么图形 用英语怎么写 一个底面半径为10厘米的圆柱形水桶中装满水,把一个底面半径为5厘米的圆锥形铁件浸没在水中后,水面上升了2厘米、且水没有溢出铁件高是多少厘米?铁件重多少千克?得数保留两位小数,1立方 运用经济常识的有关知识,阐述低碳商品间隔下降得必然性. 添加照片的英文怎么写 请问谁知道手指心算数字表示方法 从《西方经济学》角度分析企业如何利用产品差别在竞争中获胜? 六个月的小孩买什么玩具 都有什么牌子?6岁儿童益智玩具┵“益智玩具有哪些╈10岁儿童益智玩具 怎么回事啊?2012排行榜?6岁儿童益智玩具┵“益智玩具有哪些╈10岁儿童益智玩具 非常感谢真能开发智力的有吗? 一块长45厘米宽30厘米的长方形木板锯成若干块正方形而无剩余,所锯成的正方形边长最长是几厘米?越快越好 六岁的孩子给他买什么玩具可以开发智力? 兰州大学:羽毛球拍、网球拍、乒乓球拍……在哪买质量好,价格合适? 一块长方形木板,长60厘米、宽40厘米,锯下一个最大的正方形后,剩下的小长方形周长是多少厘米
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘