说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

延迟250毫秒损失数百万美元,Hadoop系统该如何应对实时任务

HTML文档下载 WORD文档下载 PDF文档下载
管理越来越多的数据确实是一件让人头疼的事情,传统的数据库解决方案很难适应大数据的要求,使用Hadoop、选择一个合适的Hadoop发行版很有必要,而对于现有的Hadoop系统又该采取哪些措施进一步提升性能和扩展性?

【编者按】如果由于你的系统性能低下而造成业务处理缓慢、延迟现象严重,那你应该认真考虑是否该选择一个更好的Hadoop发行版了,因为网站性能的低下已经严重影响到销售转化率,250毫秒的延迟可能意味着几百万美元的损失。不同的发行版之间有着很大的差距,如何选择一个好的发行版,怎样改进现有的发行版,当然低成本也是必须要考虑的问题,MapR企业营销部门副总裁Michele Nemschoff为我们找到了答案。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

在Apache Hadoop的起步阶段,主要支持类似搜索引擎的功能。如今,Hadoop已经被数十个行业采用,它们依靠大数据计算来提升业务处理性能。政府、制造业、医疗保健、零售业和其他部门越来越多的从经济发展和Hadoop计算能力中受益,然而受到传统企业解决方案限制的公司将会发现竞争变得越来越残酷。

选择一个合适的Hadoop发行版和在业务中应用Hadoop一样有必要。最终,你会发现选择哪种Hadoop发行版取决于主机的规格,尽管性能和扩展性才是你应该仔细检查的两个主要特性。让我们了解一下一些具体的Hadoop性能和扩展性要求,以及对几个关键架构的要求。

性能

企业需要摆脱传统的数据库解决方案来管理数据,主要原因是为了增加原始性能并获得可扩展性。这可能会让你感到惊讶,因为并不是所有创建出的Hadoop分布系统都一样。

在我的另一篇文章中曾讲到,增加250毫秒的延迟可能会毁掉整个线上销售的旺季,我们可以了解一下为什么性能的低下(高延迟)会让人难以忍受。网站性能的迟缓会使线上的销售转化率下降7%,这对于流量很大的线上零售商来说意味着数百万美元的损失。

正如你在下图看到的那样,将MapR M7版本与另一个Hadoop发行版对比,在延迟上的差别意味着性能的不同,而不同发行版之间性能差距也是惊人的。


当你考虑Hadoop的实时应用时,比如金融安全系统的实时应用,那样对高性能增加的要求甚至更高。

要特别感谢像Hadoop这样的技术,它使金融罪犯窃取数字资产变得越来越难,金融服务公司比如Zions银行现在已经能够在银行客户感觉到任何实质性影响之前阻止财务欺诈。对于分析和实时数据响应来说,高性能和可靠性很有必要,这可以阻止破坏性欺诈活动。

扩展性

Hadoop的另一个主要优点是可扩展性。不用通过单一的企业服务器限制数据吞吐量,Hadoop可以跨计算机集群完成对大型数据集的分布式处理,从而在商品化硬件多个部分之间采用逐个击破的办法消除数据上限。

这种体系结构只是数据可扩展性提升的起点,还远没有结束。关于可扩展性,Hadoop平台内还有三个方面需要进一步考虑:

文件瓶颈

Hadoop默认的体系结构利用单一NameNode作为剩余数据节点的主节点。因为单个NameNode,所有数据被迫进入到一个瓶颈期,这就将Hadoop集群限制在只能有5000万到2亿个文件。

单个NameNode的执行情况也需要使用商业级NAS,而不是预算友好型的商品化硬件。

对于单一NameNode体系结构有一种更好的选择——使用分布式元数据结构。下面提供两种体系结构的可视化比较:


正如你所看到的那样,分布式元数据架构使用的完全是商品化硬件,不仅节省了成本,它还使性能提升了10-20倍,摆脱了文件瓶颈,使文件数上限达到了10亿,比单个NameNode的体系结构在容量上提升了5000倍,这确实是很大的成功。

节点扩展

Hadoop的一些较小用户对数据存储和处理并没有太高要求,因此能够在更少的节点上运行,而有些Hadoop实现则可以达到了数千节点的规模。

这也是Hadoop可扩展性非常出色的地方。从一个入门级大数据实现扩展到具有数千个节点的集群很容易,按照需求增加商品化硬件可以使成本最小化,这涉及到数据处理成本以及需求增加所需投入的成本。

节点容量

除了节点的数量,考虑到物理存储限制,Hadoop用户还应该检查每个处理和存储容量。你可以使用具有更高磁盘密度的节点减少总体节点数量,同时还能保证数据存储的要求。

架构基础

Hadoop的性能和可扩展性可以被进一步提升,前提是你要有多架构基础分布式系统的思想。

减少软件层

软件层太多,会导致导航成本的增加,使Hadoop系统的性能很难得到提升。

使所有应用程序在同一个平台上运行

一些Hadoop发行版可能会要求你创建多个实例,一个优化执行将使同一个环境中所有的工作负载被同时处理,这就减少了重复数据的产生,因此提高了可扩展性和性能。

利用公共云平台获取更好的弹性和可扩展性

一个好的发行版使你可以在自己的防火墙内灵活地使用Hadoop以及可靠的云环境,比如亚马逊网络服务和谷歌计算引擎。

最后,选择正确的Hadoop发行版应符合业务需求,不仅仅考虑当前的需求还应考虑未来的需求。分析每个发行版的性能和可扩展性,同时考虑架构基础,这也是在组织内成功实施和评估Hadoop的基础。

原文链接:How To Maximize Performance and Scalability Within Your Hadoop Architecture(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
Facebook Home出阴招:Social皮,Android心 国内最火的五款HTML5前端开发框架 TIOBE 2013年4月编程语言排行榜:Objective-C四年来排名首次下滑 MeeGo复活!Sailfish OS智能手机 SDK发布 10亿美金!传闻谷歌要收购WhatsApp 从打造国内最大的OpenStack公有云开始 展望HBase的未来 你的数据库安全吗?CryptDB数据库软件可查询加密的SQL数据库 收藏!斯坦福Andrew Ng教授“机器学习”26篇教程全译 美国云计算价格战爆发 王寒:12岁儿童,该怎样开始iOS开发? 陈昊芝:腾讯!让我说你什么好? Top Paid与Top Grossing定价策略的差异 Android版百度云推送正式发布 为何开发者应推动公司开源? 从AppGratis被下架说起,苹果或将再次付出代价 58同城的“烦恼”——8K月薪安全工程师引发的入侵 软件开发实践的24条军规 思科 IBM 微软等巨头联合开发开源SDN项目OpenDaylight 巾帼不让须眉:2012年度云计算领域Top 10女性 中移动全力推进NFC 5月起乘公交可刷手机 支持Android与iOS,Qt 5.1 Alpha全新亮相 Google Play:劣质Android应用已无藏身之地! 360推出信用网站认证开放平台 联合百家协会围剿钓鱼网站 经验分享:百度测试架构师眼中的百度QA(一) 在线旅行服务行业开放API带来的新机遇 专访:悬疑恐怖游戏Year Walk美术及音效设计师 解密:微软都柏林数据中心的神秘“免费冷却”装置 云计算如何影响数字化营销? 榜单:十位帮我们打理数据的存储大佬 OpenStack Grizzly版发布 Comcast、CERN成为新会员 关于聊天室的界面 c++库函数的头文件有.h和没有有什么区别?为什么c++的库函数在VC很多不能用,怎么办? 可以在dll里面放SDI框架并调用吗? MIDAS中,怎样通过Client.exe生成MS Sql2000数据库?(就像《管家婆》那样,运行一次客户端,输入数据库的名称,就会自动在SQL Server2000 如何查找一个对话框的owner窗口? 我应该选择VC还是C#??? 在系统启动时至少有一个服务或驱动程序产生错误,详细信息,请使用事件查看器查看事件日志 操作系统是如何发现新插入的设备的? 关于对Com1,Com2读取条形码的编程 帮个忙,先,谢了! 接着那个堆栈问题,创建了,试验了。但应用时出现了对创建错误? 我想在对话框上输出一个char数组,用什么方法比较好????????????? 怎样移动较大副图片的时候避免或者尽量减少闪动? 怎么把网络编程和数据库联系起来 如何贴背景透明的按钮?急,急,在线等待!!! 奇怪了! 请问如何获得居于网中一个工作组下的所有计算机?? 还是一个dll内部变量的问题。 怎么回事? 送分! 大家看看 请问MSDN的帮助怎么获得 怎么样获得一同名text表单域的值? **C++语言的设计和演化** 图书好贵呀!!! 求表达式正确与否的校验算法 怎样控制DllMain?在哪里可以编辑这个函数? 同一个句柄对于所有进程是否一样? 我的red hat linux8 怎么才能配置声卡 如何判断一个字符串是否是常数 《Java与模式》一书已经出版 --- 作者 各为高手,如何能够看到我打开网页的session的值 关于 Geforce256 的问题. 一定给分!数据库查询问题 solaris下有没有用过syslog编程的? 推荐个好点的flash的控件吧 数据库中的Currency类型字段 初学pb8请指教!多谢! 如何让richtextbox支持语法高亮显示 请问rtsp是什么协议? 函数返回临时指针到底如何处理较好? 原来在bcb4下的程序为什么在BCB6下运行出错? 我是新手 如何用代码关闭显示器和硬盘??????? 如何打印PictureBox中的所有内容,分不够可以再加 问一下大家的下载和注册的比率好吗? 我的IE怎么了? 这是我第二天的C#学习笔记,敬请高手指教 ★★★ 在线等待,高分求对 ★★★ >>>>>>> 虞美人身佩玉蝴蝶蝶恋花 linux 热启动后能不能再进入winme? 大家说高中毕业自学的c#程序员有可能找到工作吗? 急!如何给DBGrid对应的列字段规定显示格式 太阳轨道旁出现千艘地球大小的飞船是真的吗别乱说些不关这问题的话那你们说他为什么不会被太阳给消灭吖、又不会被引力给吸进去呢 在图①△ABC中,∠ACB=90°,AC=BC,直线MN经过点C,且AD⊥MN于D,BE⊥于E.(1)说明△ADC≌△CEB ..(2)说明AD+BE=DE(3)当直线MN绕点C旋转到图②的位置时,试问AD,BE,DE具有怎样的关系?请写出来并加以 英语翻译怎么翻译the design should be approximately 35% each for feed and metering sections with the remaining 30% as transition zone Chinese currency is issued in the following denominations什么意思? 如图1,在△ABC中,∠ACB=90°,AC=BC,直线l经过点C,AD⊥l与D BE⊥l于E 1,求证△ADC全等于△CEB 2.当直线l绕点c旋转到图2的位置时,DE,AD,BE且又怎样的数量关系,比证明kuai 求一部明朝的电视剧小时候看过的,内容具体是崇祯有两个女儿,2女儿很坏,通敌叛国.我只记得那么点了, Lucy told me happily that she___to Hong Kong for her holiday with her parents the next weekA.WENTB.WOULD GO C.IS GOING TO D.HAD GONE 急...A:Hello!What are you going to do?B:I am going to the shop to buy something for our evening party.A:Evening party?_____________B:Yes,we are.A:________________B:Toninght.We'll get our teachers and classmates together.A:can you tell me something m 为什么很多武侠剧都是发生在明朝? 欢迎远道而来的朋友(名句) [How long have you been coming here]这一句有什么错误,该怎样改? 有一个地方,不管哪个方向都是北,那么这个地方在哪里 顾明常于同学闹矛盾,因此没有朋友.我们可以用“( ),( )”这句俗语来劝他与大家和睦相处请勿抄袭别人已经传电脑上的答案 In the 12 months since I last wrote to you,a lot ----(happen)to me 人固有一死的固是什么意思? 简单的英语两人对话每人十到二十句左右, his young brother once wrote to him in 2005,and 〔hasn't been heard from〕sincehear from意思是收到,那么为什么要用been heard from的被动句? 我们可以在互联网上与彼此聊天. We can chat with each other ____ ____ ____. 法语名词复数的s读不读出来?有什么规律? It has been two weeks since I last wrote to you.意思? 在ΔABC中,∠ACB=90度,AC=BC,直线MN经过点C,且AD垂直与MN于点D,BE垂直MN于点E.说明ΔADC全等ΔCEB 法语名词变复数des chinois 和des Chinoises 有什么不同北外的法语第一册P107页,des chinois 和des Chinoises 到底有什么不同?不是以s结尾,复数形式不变嘛?不明白怎么有俩个形式,是不是二者一样? 珠江夜景作文300字 She should help her mother ()housework 英语翻译星期六的晚上,我独自完成了我的家庭作业.因为星期天我要去奶奶家跟她一起玩3个小时.奶奶很喜欢吃蛋糕.所以我买了两块蛋糕.妈妈开心的对我说:“你会让奶奶感到高兴的.”奶奶 Mao Zedong ____for many years ,but he still lives in the hearts of Chinese people.A.died B.had died C.has been died D.has been dead ,为什么? 沿珠江哪里看珠江夜景 Did you ( ) your room yesterday?A .clean B.cleaned 这个是选择A还是B?为什么? 30.This machine, ______for many years, is still working perfectly. A. after which I have looked B. which I have looked after C. that I have looked after D. I have looked after 为什么A不对 和B不一样吗 如图,在△ABC中,∠ACB=90°,AC=BC,直线MN经过点C,且AD⊥MN于D,BE⊥MN与点E,试判断S△ADC与△CEB全等吗? 英语翻译­when you realize thatsomeone is very important to you please tell her ( or him) that youmatters to me! the machine-,( )for many years,is still walking perfectlyA; after which i have looked B;which i have looked after为什么是选b不是a呢?还有一题the secretary asked her boss whether he had anything more-( )before she went back home?A;to type 英语翻译楼主给你20-80的悬赏分.要多少悬赏分.自己写在答案边. Did your parents help you clean your room?有无错误.十分钟内急求.Did your parents help you clean your room?No,them didn't. 古人认为昼夜交替现象是怎么形成的? 英语翻译我可以满足你的要求.*_* 最好别和我说话 翻译英文, what fun we have (chat) with each other during lunchtime,这里的chat 是用动名词形式吗 现在市场上塑料粒子价格大概是多少啊~ 做塑料薄膜袋的~ I have been corresponding ___ him for many years.填一个介词 _____________(study) volcanoes for many years,I am still amazed ___ its beauty as well ___ itspotential to cause great damage. 我国有什么地方一年四季都冷?最热时候温度不要超过20度?有没有这样地方?感觉西部一带,冰山脚下应该可以,但是,那种地方应该很偏僻,外地人不好生活,有没有比较好找工作的地方,不然,去了 Have you been corresponding with him?这句话是什么时态?什么用法呢? Though having lived abroad for years,many Chinese still___the traditional customsA perform B possess C observe D support Sally left the school last month.sally()()()from the school since last month 同义句转换 世界上有七大洲,分别是:写七个. 七年级英语改写句子:He watched too much TV last week.(保持句意基本不变)He watched TV for ______ ______ last week. 中国有哪些地方一年四季如春 生物的分类依据是什么 He failed to pass the text last week.(句意不变)He_____ _____ ______pass the text last weekHe_____ _____ ______pass the text last week 请问中国境内一年四季如春的地方是哪里四季天气晴好的地方都有哪里 生物的分类是以生物的————,————以及生物之间的————依据进行分类的. 根据句意补全单词:Last week I went to that place m___.还有:Have you ever b__ to Hainan?(这个帮我讲解一下)I have been to the a__.I saw many kinds of fishes.He decided that the best way to do this was to become a flight a__.The p__ 关于夜景的好词好句 修改病句:爷爷已70多岁了,但精力仍很充足. 如图,在△ABC中,∠ACB=90°,AC=BC,直线MN经过点C,且AD⊥MN于D,BE⊥MN与点E,试判断S△ADC与△CEB全等吗? (1)黄旗的面数是红旗的2.5倍,黄红旗共70面,红旗黄旗各多少面?(2)黄旗的面数是红旗面数的2.5倍,黄旗比红旗多45面,红旗黄旗各多少面? 丁大爷今年70岁了 如图,在△ABC中,已知∠ACB=90°,AC=BC,直线MN经过点C,AD⊥MN于点D,BE⊥MN,求证△ADC全等于△CEB这个 商店有红旗45面,黄旗35面,绿旗的面数是红旗和黄旗总面数的1/4,绿旗有多少面?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘