说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

九头蛇与大象之争,Hydra或将取代Hadoop

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop是一个面向批处理的系统,对数据实时处理的支持较差,这将会成为其未来发展的瓶颈,而Hydra从设计之初就考虑了数据实时处理的需求,宣布开源后,得到了越来越多的支持,未来Hydra很有可能取代Hadoop。

【编者按】Hadoop被认为是最好的大数据分析平台,本身就具有较好的性能,还有活跃的开源社区支持,Hadoop创始人Doug Cutting也曾预言未来Hadoop不仅仅用于大数据处理,还将成为数据平台的系统内核,将用于在线事务处理……Hadoop的发展前景似乎一片光明,却没有注意到竞争者的出现,Hydra在某些方面甚至具有比Hadoop更加优越的性能,宣布开源以后,Hydra得到了越来越多的支持,未来Hydra极有可能成为Hadoop强劲的竞争对手,Datanami的主编Alex Woodie为我们带来了详细分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

Hydra(九头蛇),分布式任务处理系统,由社交标签服务提供商AddThis六年前开发,现在已得到Apache的开源许可,就像Hadoop一样,只是还没有Hadoop那样的知名度和声势。Hydra的创造者称,该“多头”平台非常擅长处理一些大的数据任务——对非常大的数据集进行实时处理,这样的任务恐怕会让那只大象(Hadoop)很头疼。

Hadoop仍然是一个储存大量数据的优秀平台,但很多公司面临着另一个问题,我们将数据存储到Hadoop之后如何去分析数据,无论是Hive还是Pig都需要方便地访问Hadoop中的数据,才能从中获得的价值。正如我们看到的:Hadoop用于实时分析并不合适。

Hydra是一个大数据存储和处理平台,由MattAbrams和他的AddThis同事们共同开发完成。AddThis也就是过去的Clearspring,是开发Web服务器窗口小部件的公司,使访问者可以通过Twitter、Facebook、Pintrest、Google +或者Instagram轻松共享他们的数据。


当AddThis开始逐渐扩大其业务时,它对越来越多的用户数据渐渐感到无能为力。该公司需要一个可扩展的分布式系统,对其用户共享的这些数据进行实时分析。那时Hadoop无法满足AddThis的需求,所以它开发了Hydra。

那么,Hydra到底是什么?简而言之,它是分布式的任务处理系统,可以同时支持流处理和批处理。它利用一种基于树的数据结构来存储和处理具有数千个节点集群的数据。它具有一个基于Linux的文件系统,这使得它可以与ext3、ext4甚至ZFS兼容;它还具有作业/集群管理组件,可以自动为集群分配新的作业和平衡已有的作业;系统还可以自动将数据备份,并自动处理节点故障。

Hydra包括很多的组件:跨异构集群处理任务的分布式作业执行系统、可网络访问的文件服务系统,还有本地备份及远程备份(考虑到难以预防的节点故障)。

基于树形结构使它可以在同一时间处理流数据并进行批处理作业。AddThis工程部门的一位成员Chris Burroughs在他1月23日的博客中首次宣布Hydra开源,还提供了对于Hydra精辟的描述:“它摄取流数据(比如日志文件),并生成聚合树、摘要树或者数据转换树,这些树可用来探索(小型查询),作为机器学习的一部分(大型查询)、或者在网站上支持实时控制台(大量的查询)。”

Hydra最初是用以帮助AddThis解决自身问题,供内部使用,以及为网站运营商提供服务。典型的问题包括:“上个月有多少用户访问网站?”以及“网站从不同国家和浏览器获得访问量分别有多大?”

AddThis继续使用Hydra来处理其大规模的数据流量,分析其客户得到网站的发展趋势。AddThis可以了解人们在线分享了什么,哪些话题比较热门。社交标签服务被超过1300万的网站使用,一个月有13亿用户访问,平均每天30亿访问量产生10TB数据,现在Hydra在AddThis的上千个网络节点上运行着。

Abrams通过邮件告诉Datanami:“我们处理大型数据集已经很长时间了,Hydra一直以来对我们都非常有用,我们觉得它以独特的方式解决了分布式数据处理的问题。”

传统的Hadoop面向批处理,而Hydra可以同时支持批处理和实时流处理。Abrams说:“Hydra支持的批处理主要侧重流分析和增量数据处理,能够使用树形数据结构描述数据,对自然数据进行压缩及高效查询和访问。Hydra可以从HDFS中生产和接受数据,但它在本机文件系统上完成操作,这使其可以在Hydra上灵活地使用其他服务。”

现在Hydra已经开源,Abrams希望该软件会被更加广泛的使用,并得到更好的发展。“这将需要一些时间,但我们相信未来我们将建成一个完善的Hydra开源社区,这样AddThis和OS(开源)社区都可以从Hydra未来的发展中受益。在华盛顿特区已经有一些其他公司在使用Hydra了,我们很期待Hydra社区得到进一步的发展。”

2013秋天,Doug Cutting,Hadoop的创始人也是Cloudera的首席架构师感叹Hadoop缺乏替代品——那时Cutting说:“我多么期待能有更多像Hadoop一样的系统出现……”虽然如今Hadoop在大数据界占据了主导地位,但谁又能说它会是唯一的一个大数据分布式计算平台?相信未来Hydra的发展不会令他失望,对于未来Hydra的发展,我想引用Cutting的另一句话:“天空才是极限。”

原文链接:Hadoop Alternative Hydra Re-Spawns as Open Source(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
Ceylon 1.0发布:又一个“Java语言替代品”? HTML5开发工具:英特尔XDK New 苹果公司为何“情系”PrimeSense 微App专场:不同平台下微App开发运营那些事 25载工程经验,HBase七年——BDTC2013讲师Michael Stack 或许对你创业有所启示:10个英国快速增长的科技创业公司 小米游戏中心10月报告:分析各种手游活动之优劣 欢网王智勇:传统电视厂商须补互联网基因 透露与百度合作细节 支付宝声波支付之初体验 首款使用HSA架构的Kaveri APU、多款异构计算开发工具APU13上齐亮相 分享10段实用的HTML5代码 十条建议送给那些初入职场的小白 这是要灭掉DC的节奏?谷歌欲推Android摄像头API 支持RAW 专访产品经理Markus Spiering:冬眠多年后的Flickr如何在夹缝中生存? 创业与投资专题论坛:硬件的现在!创业的未来? 造就Office新用法:微软推WP应用 可遥控Office文件 成为一名PHP专家其实并不难 前富士康CEO程天纵:创新来自长尾,创业源于创客! 最危险的开源项目——比特币 11月20日:微软正式发布Windows 1.0 回顾历代Windows版本界面 微软CEO鲍尔默卸职前在股东会上的最后演讲 微软改革员工排名制度或将开启新篇章 【快讯】SAP联合中国电信,又一外商公有云曲线入华 微软CloudOS云操作系统构建企业级三云合一 IE11支持JavaScript新型API,Web应用国际化更便捷 谷歌推订阅应用Play Newsstand:杂志+RSS阅读器 【信息图】到2020年开发者、设计师、测试员的数量将达到史无前例的高度 推广与盈利专题论坛:中国影响世界,世界定义中国 SlideIdea CEO李建忠:移动产品的技术面思考 BDTC→→百度林仕鼎、腾讯蒋杰、阿里唐洪论道大数据平台与技术 谷歌首席互联网布道师:隐私保护并不是一种正常行为 奇怪的问题 如何解决在一个表单中多个提交按钮的问题? 请问怎样关闭135端口 Photoshop7.0的一个简单问题,大师们帮帮忙! 关于动态查询的问题? 请问如何验证代理服务器? 超过半个小时不作任何操作就把这个连接KILL掉,改如何做呢? 如何才能做出只存在于托盘栏的程序! 搜集VB绘图源代码,多多益善 北京市里有没有支持asp.net的服务器空间提供吗? GGJJDDMM 帮帮我啊~~~~ 新手的问题--如何作到点击页面中的提交按钮,只刷该页面的DataGrid部分,而其它部分控件值不变?(在线给分) 大家帮忙,要取得客户端的信任,用服务器控件对客户端进行读写文件的资料? 谁说我们要和兄弟会和解了? 一直都是你们在攻击我们,靠还和解?道歉差不多。 版本的差异造成的问题,ADO连接SQL Server。求教!!! 海宜派(NSU Pie) 为什么insert into语句不能完成添加? 在线等一个简单的问题! 能用DOS盘启动然后用GHOST 备分LINUX分区吗?我想备份我的LINUX系统。 SQL中能否用CopyMemory这样的函数??? 我的猫竟拨不上号 一个菜问题 type和typedef有什么区别? 100分问题,在线等,本地XSL,XML,使用VB脚本,使用MSChart生成图形,刷新几次后IE崩溃,高分求解 socket.setSoTimeout() BCB使用ClientDataSet调用Sybase存储过程的问题 趟过“地雷阵”的铁面总理 (转载) 我的电脑为何会自动开机? emf是什么打印格式? 小偷 请问我以后删贴、结贴是不是要先向EA、ginger、大师申请? 如何实现这种查询?急!!!! 高分求救:Dos下控制(HP等)打印机打印汉字的编程,请各位帮帮我好吗? 能否将下面的代码简化呢?? 请大家给介绍几本C++学习的入门书籍,好吗? type和typedef有什么区别? 本人姓刘,现在正在给自己的孩子起名,希望大家多多帮忙! 大力好~~~~~~~~~~~~~~ 如何用数组操作的方法对控件组操作? 谁有需求分析文档?明天结帖。 各位大哥,有没有网络监控方面的控件,小弟有急用。 免费空间广告去除~! Delphi对文件的操作 简单的问题,先解决先给分了 后台服务加载,在线等待,高分求解! 帮助解决 硬盘文件系统报错 php+xml有没有大一点应用的例子,最好是电子商务方面的 关于脚本!!!!急急急!!! 我的sa帐户不能用了 大家知不知道,在Mysql 一个数据库能放多少表 ,200个表有问题吗?性能会怎样。?? 《昆虫记》的读后感与读书心得 内蒙语 祝:你幸福怎么说 进气格栅的用处是?1,汽车车标中间位置的进气格栅,我记得是给发动机散热,还有让空气进入进气道.,提高燃烧的空气那汽车保险杠 下面的,那个格栅,听朋友说 是进气坝有知道的么/谢谢 先天下之忧而忧的下一句 鸟卵细胞中,能进行胚胎发育的是A.卵白B.卵黄C.卵壳膜D.胚盘 海上的夜是柔和的,是寂静的,是梦幻的.类似造句kuaikuai 昆虫记读书笔记(要好句和读后感,不要别的)记住,只要好句和读后感,不要主要内容, 内蒙古语怎么说?"我喜欢你"用内蒙古语怎么说?本来是想这样问的~ 已知园C:(X+1)^2+Y^2=8,定点A(1,0),M为园上一点,点P在AM上,点N在CM上,且满足AM向量=2AP向量,NP向量*AM向量=0,N的轨迹为曲线E.求曲线E的方程. 什么化学剂或药剂能破除蛋白质由于一种油水液体因温度过高导致里面生成蛋白,现在我想让这些蛋白消失,希望大家给个答复我!谢谢,请大家帮帮忙!本人万分感谢 鸟类的卵细胞是鸟卵的哪部分 土方格栅什么作用和用途? 先天下之忧而忧,的下一句 内蒙语欢迎你怎么写?这个又是什么字 使用粉碎格栅的好处? 哪些试剂可以除去蛋白质中的脂 下列哪个结构属于鸟的卵细胞A.卵黄 B.卵盘C.卵白D.卵黄膜这道题是我生物练习册上的 答案给的是B.可是我印象里没有卵盘这么个东西. 蝗虫主要危害的植物有哪些生物的! 我喜欢你里约热内卢语怎么写? 给一些.有感触的句子 我要知道蚂蚱对人体的危害,写的越严重越好^ 蒙古语我喜欢你的写法不要拼音要确切的怎么写就是能贴图的最好贴图那种长得像钥匙一样的文字(咳咳,不好意思,那文字被我形容成那样了)恩我邮箱834077646@qq .com恩.发给我吧.给了讲一声 he should study hard to pass the exam(对划线部分提问)划线部分study hard 蝗虫对人身体有什么危害 广东语我喜欢你怎么说? 为什么一天中人体摄取的营养素中水的量比其他营养素要多为什么一天中人体摄取的营养素中水的量最多,为什么比其他营养素,比如糖类,蛋白质要多我问的是所摄取的水为什么最多,这个和人 已知点M(8,0) 和圆X^2+Y^2=16 上动点A,点P是AM的中点,则点P的轨迹方程为? 谁知道珍珠鸟的结构图啊? 请问这两个词的意思是啥?一个是别具一格,一个是笔走龙蛇!请用词典查!请用词典查!一定要准确!如果查不到就查,妙笔生花和引人入胜!随便挑两个查,请用词典查!请用词典查!请用词典查!请用 钚239是铀238经过中子照射蜕变形成的.什么叫中子照射? 鸟卵结构图,据图回答 请问这两个是什么词 一氧化碳与哪些物质能反应最好是能放出热量的 我要小鸟的素描结构图,有没有?什么鸟都可以 If you work hard you can swim better.(改为祈祷句 什么物质在常温下与一氧化碳反应什么物质能在常温下与一氧化碳反应?最好是有明显变化的(如溶液沉淀,或有气泡生成之类的) 我的孩子抄作业都能抄错怎么办?是不是小孩子都是注意力不集中啊,这样要怎么解决啊,要慢慢引导吗?还是有什么课程可以纠正的? you had better study hard,_____ _____? 汽车中的进气格栅英文怎么翻译? 抄作业的好处关于辨论会的,全面一点 You'd better work hard 改否定句 车格栅的作用是? 上联是:先天下之忧而忧忧得其所 求下联、拜托了、 能不能抄作业! 沉沙池为什么多采用曝气沉沙?曝气与不曝气的优、缺点是什么? 先天下之忧而忧的下句是? "先天下之忧而忧"后半句是什么? 简述单相TCR的工作原理,其主要作用是什么 问一下感慨历史沧桑无常的诗句像“人生天地间,忽如远行客”这样的 先天下之忧而忧的后半句 hxiaoeng 已知定点B(3,0),点A在圆X2+Y2=1上运动,M是线段AB上的一点,且AM=1\3MB,则点MR 轨迹方程为( )A.(X-1)2+Y2=9 B.(X-3)2+Y2=1 C.(X-3\4)2+Y2=9\16 D.(X+1)2+Y2=16\9应该是:X²+Y²=1 A.(X-1)²+Y²=9 B.(X-3) 英语翻译 先天下之忧而忧,后一句是什么? 评论:感恩生命演讲稿 关于桥的谚语故事传说多点 先天下之忧而忧的后一句 进气格栅和散热格栅我想问几个问题,希望大家回答我1.是不是发动机产热,然后一部分让水箱来冷却,一部分通过散热格栅排到外面去了?2.听说进气格栅进的气是去冷却水箱的,那么这是什么原 歇后语里的故事名称( )——自欺欺人( )——巧用天时( )——颠倒是非古代文人勤奋读书的故事很多,流传甚广得有( )( )(写成语) 蛋白质的化学试剂可以吃吗? 汽车前面的进气格栅是做什么的 中美工商领袖和前高官第五轮对话在美举日外务省网上传视频主张独岛主权 韩严日本民主党代表用“四面楚歌”形容自己美国校园枪击案枪手曾遭欺凌 开枪或为美国载175人客机因引擎故障紧急迫降沙特拒安理会席位 美国作说客寻与沙特澳报:沙特拒安理会席位系赌气?印度妇女盛装庆祝传统\"女人节\"纽约杜莎馆迎万圣节 大师雕刻南瓜版L美国企业研发氦气球游大气层 每人旅费欧盟要求乌克兰履行入盟条件 季莫申科美俄官员将会晤联合国特使 助推叙问题经合组织要求巴西实施结构改革联合国副秘书长:巴以实地局势动态令人综述:就业数据黯淡或拖延美联储“退出模拟联大 :全球四百万学子峰会近日海外关键词(10月23日):老子乌兹别克斯坦艺术时尚周开幕德国现任政府正式卸任 “黑黄联盟”终韩国人战殁者遗属要求靖国神社取消合祀调查称希腊民众生活质量比经济危机前显民心河水清了智博&荣璟台室内高尔夫互动竞技引爆咨邯郸上半年PM2.5浓度同比降两成中药材及中药饮片抽检超三成不合格嘉和广场5A写字楼 独栋专属冠名全城有人在小区内私建两栋别墅我省中南部出现明显降雨邢台上演交警版“爸爸去哪儿”廊坊巧手女绣成巨幅“十八侍女图”雨中卖报成都每所中小学将配备1名足球专业教师邯郸两亿失业保险支持压减产能企业范冰冰曝谢霆锋有恋爱恐惧症“丹青少年”大赛参赛学校及选送作品数保利地产“保利拉菲公馆”品牌发布会暨团购的烦恼衡水湖光影夏季户外活动注意事项省会今起进入主汛期蔡依林承认腹肌造假 全靠灯光打造阴影大马华总会长方天兴:华教领域仍有待加
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘