说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

延迟250毫秒损失数百万美元,Hadoop系统该如何应对实时任务

HTML文档下载 WORD文档下载 PDF文档下载
管理越来越多的数据确实是一件让人头疼的事情,传统的数据库解决方案很难适应大数据的要求,使用Hadoop、选择一个合适的Hadoop发行版很有必要,而对于现有的Hadoop系统又该采取哪些措施进一步提升性能和扩展性?

【编者按】如果由于你的系统性能低下而造成业务处理缓慢、延迟现象严重,那你应该认真考虑是否该选择一个更好的Hadoop发行版了,因为网站性能的低下已经严重影响到销售转化率,250毫秒的延迟可能意味着几百万美元的损失。不同的发行版之间有着很大的差距,如何选择一个好的发行版,怎样改进现有的发行版,当然低成本也是必须要考虑的问题,MapR企业营销部门副总裁Michele Nemschoff为我们找到了答案。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

在Apache Hadoop的起步阶段,主要支持类似搜索引擎的功能。如今,Hadoop已经被数十个行业采用,它们依靠大数据计算来提升业务处理性能。政府、制造业、医疗保健、零售业和其他部门越来越多的从经济发展和Hadoop计算能力中受益,然而受到传统企业解决方案限制的公司将会发现竞争变得越来越残酷。

选择一个合适的Hadoop发行版和在业务中应用Hadoop一样有必要。最终,你会发现选择哪种Hadoop发行版取决于主机的规格,尽管性能和扩展性才是你应该仔细检查的两个主要特性。让我们了解一下一些具体的Hadoop性能和扩展性要求,以及对几个关键架构的要求。

性能

企业需要摆脱传统的数据库解决方案来管理数据,主要原因是为了增加原始性能并获得可扩展性。这可能会让你感到惊讶,因为并不是所有创建出的Hadoop分布系统都一样。

在我的另一篇文章中曾讲到,增加250毫秒的延迟可能会毁掉整个线上销售的旺季,我们可以了解一下为什么性能的低下(高延迟)会让人难以忍受。网站性能的迟缓会使线上的销售转化率下降7%,这对于流量很大的线上零售商来说意味着数百万美元的损失。

正如你在下图看到的那样,将MapR M7版本与另一个Hadoop发行版对比,在延迟上的差别意味着性能的不同,而不同发行版之间性能差距也是惊人的。


当你考虑Hadoop的实时应用时,比如金融安全系统的实时应用,那样对高性能增加的要求甚至更高。

要特别感谢像Hadoop这样的技术,它使金融罪犯窃取数字资产变得越来越难,金融服务公司比如Zions银行现在已经能够在银行客户感觉到任何实质性影响之前阻止财务欺诈。对于分析和实时数据响应来说,高性能和可靠性很有必要,这可以阻止破坏性欺诈活动。

扩展性

Hadoop的另一个主要优点是可扩展性。不用通过单一的企业服务器限制数据吞吐量,Hadoop可以跨计算机集群完成对大型数据集的分布式处理,从而在商品化硬件多个部分之间采用逐个击破的办法消除数据上限。

这种体系结构只是数据可扩展性提升的起点,还远没有结束。关于可扩展性,Hadoop平台内还有三个方面需要进一步考虑:

文件瓶颈

Hadoop默认的体系结构利用单一NameNode作为剩余数据节点的主节点。因为单个NameNode,所有数据被迫进入到一个瓶颈期,这就将Hadoop集群限制在只能有5000万到2亿个文件。

单个NameNode的执行情况也需要使用商业级NAS,而不是预算友好型的商品化硬件。

对于单一NameNode体系结构有一种更好的选择——使用分布式元数据结构。下面提供两种体系结构的可视化比较:


正如你所看到的那样,分布式元数据架构使用的完全是商品化硬件,不仅节省了成本,它还使性能提升了10-20倍,摆脱了文件瓶颈,使文件数上限达到了10亿,比单个NameNode的体系结构在容量上提升了5000倍,这确实是很大的成功。

节点扩展

Hadoop的一些较小用户对数据存储和处理并没有太高要求,因此能够在更少的节点上运行,而有些Hadoop实现则可以达到了数千节点的规模。

这也是Hadoop可扩展性非常出色的地方。从一个入门级大数据实现扩展到具有数千个节点的集群很容易,按照需求增加商品化硬件可以使成本最小化,这涉及到数据处理成本以及需求增加所需投入的成本。

节点容量

除了节点的数量,考虑到物理存储限制,Hadoop用户还应该检查每个处理和存储容量。你可以使用具有更高磁盘密度的节点减少总体节点数量,同时还能保证数据存储的要求。

架构基础

Hadoop的性能和可扩展性可以被进一步提升,前提是你要有多架构基础分布式系统的思想。

减少软件层

软件层太多,会导致导航成本的增加,使Hadoop系统的性能很难得到提升。

使所有应用程序在同一个平台上运行

一些Hadoop发行版可能会要求你创建多个实例,一个优化执行将使同一个环境中所有的工作负载被同时处理,这就减少了重复数据的产生,因此提高了可扩展性和性能。

利用公共云平台获取更好的弹性和可扩展性

一个好的发行版使你可以在自己的防火墙内灵活地使用Hadoop以及可靠的云环境,比如亚马逊网络服务和谷歌计算引擎。

最后,选择正确的Hadoop发行版应符合业务需求,不仅仅考虑当前的需求还应考虑未来的需求。分析每个发行版的性能和可扩展性,同时考虑架构基础,这也是在组织内成功实施和评估Hadoop的基础。

原文链接:How To Maximize Performance and Scalability Within Your Hadoop Architecture(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
Top Paid与Top Grossing定价策略的差异 Android版百度云推送正式发布 为何开发者应推动公司开源? 从AppGratis被下架说起,苹果或将再次付出代价 58同城的“烦恼”——8K月薪安全工程师引发的入侵 软件开发实践的24条军规 思科 IBM 微软等巨头联合开发开源SDN项目OpenDaylight 巾帼不让须眉:2012年度云计算领域Top 10女性 中移动全力推进NFC 5月起乘公交可刷手机 支持Android与iOS,Qt 5.1 Alpha全新亮相 Google Play:劣质Android应用已无藏身之地! 360推出信用网站认证开放平台 联合百家协会围剿钓鱼网站 经验分享:百度测试架构师眼中的百度QA(一) 在线旅行服务行业开放API带来的新机遇 专访:悬疑恐怖游戏Year Walk美术及音效设计师 解密:微软都柏林数据中心的神秘“免费冷却”装置 云计算如何影响数字化营销? 榜单:十位帮我们打理数据的存储大佬 OpenStack Grizzly版发布 Comcast、CERN成为新会员 谷歌携Blink来势汹汹 WebKit将成明日黄花? 星巴克与苹果合作 顾客可免费下载付费App 微信回应信令争议 将启动2.5G网络优化计划 凤凰网CTO吴华鹏离职 先后供职长达10年 外媒:开发者每周编码时间仅19.1小时 AppGratis CEO现身说法:应用被苹果儆杀始末 一个Web设计师眼里的云计算 戴尔高管:服务器业务领先惠普五年时间 Hoodie:基于JS与CouchDB的超快速Web开发框架 设计优秀API的五大规则 盘点英特尔IDF2013第一天:技术产品新趋势 英雄组队去打怪!Nimble Quest开发团队访谈 关于变量传递问题,请高手帮忙! 有谁在OnDraw()中用过MessageBox()?为什么不是死循环?怎么解释发生的现象? 关于播放flash的问题 把0显示成0.00怎么弄? 简单问题,怎样得到ListView一单元格中的内容,如用GetItemText请问里面的参数怎样添? 全新安装的redhat 7.2为什么启动kde后不能打开Konqueroer浏览器和主目录 研究生在毕业时真的比本科生有优势吗? 请教:谁知道自动控制原理根轨迹乃试图。。,的算法? 我的AOUTOCAD总装不上??? 爱恋是什么东西?是好人就来看!!! 新闻组(NNTP)怎么用? 为何我用 Delphi写的 MDI Child Window关闭后无法打开? 为什么这样画不行呢? 语句char a='\72'则变量a包含几个字符 急,不难的问题(有代码) 问一个幼稚的问题,delphi6.0分为那几个版本,你们都用的哪一个。 呵呵,下网了,今天捞了150多的专家分,太少了~~,明天在我星期5发布的帖子里给大家分,每个人大概都有10分左右吧~~ 请问各位,现在什么版本的LIUX比较好,你们一般用那种? 快毕业了才心动!怎么办? 为什么我的可用分越来越少,参与分加得少,怎么回事啊 快毕业了才心动,怎么办? 有什么办法可以加快ACCESS的速度 快毕业了才心动~怎么办? 请问设a=3,b=4,c=5,则表达式!(a+b)+c-1&&b+c/2的值是多少? 我下载了tinyDB 2.8,需要注册怎么办? 高价寻求软件开发(5000.00元报酬) 网页填写提交表单时经常出现停顿,怎么回事? 111高价寻求软件开发(5000.00元报酬) 各位大虾,深圳那儿买书可以打折? putao请进 双服务器的网络连接问题,请进来看看。 pb7的exe连接sql server2000真难呀,我都弄了两周了!!!!!!!!!!还没解决!!!!??? 怎样响应鼠标在对话框上画图啊? 怎样访问局域网内的机器? asp+sql的查询! 有关MIDAS的问题,请看http://www.csdn.net/expert/topic/374/374719.shtm 紧急!!如何使用ADO创建数据库及表(zwjmouse) 哪位大侠能提供一个c语言写的俄罗斯方块的有注释的源程序(高分) 一段可以冒充QQ上线,下线的源代码,支持最新版0710B 有关于Delphi开发局域网数据库系统的书籍或者资料吗? 请问由mscomm发出的数据是什么格式,单片机怎么识别?》》》 求教??? 请问是否有快速建立二叉树的方法 请教确认提交页面部题 Cannot open "Javac.exe"--菜鸟问题 请问怎么样实现Date的加减呢?? 怎样得到下一天的日期 前段时间出差,最近有忙着考研,没时间上网,散分 确认页面问题。 AfxMessageBox话框标题问题 不是我重复,只是这个问题让我发疯,旦求解决这个问题,死而无怨 数学几分之几在word应该怎么输入? 现有50毫升0.5mol/L的硫酸铝溶液和0.5mol/L氢氧化钠溶液350毫升,问能得到沉淀的质量多少克?(需要计算过程) 在包装上写 kg与kgs都有,究竟哪一个标准? 向15mL0.1mol/L H2SO4溶液中加入20mL0.1mol/L NaOH溶液后,混合液呈 在0.1 mol/L 100mL的硫酸铝溶液中,欲得到1.17g沉淀,求需加入0.5mol/L的氢氧化钠溶,欲得到1.17g沉淀,求需加入0.5mol/L的氢氧化钠溶一定要有过程!1 50 gallons?50 gallon?10 kg?10 kgs?哪个对? 苏教版一定要苏教版 2010人教版七年级地理上册期末试卷答案 . 2009五年级下册语文期末试卷 用0.6mol/L的NaOH溶液A与0.1mol/L的NaOH溶液B混合配制0.2mol/L的NaOH溶液,求A与B的体积比 若100ml0.1mol/L硫酸铝溶液与氢氧化钠溶液反应,得到1.17g沉淀,则需0.5mol/LNaOH溶液的体积为(请用图像法来解释啦) 2009年五年级下册语文期末试卷要2009年的 将0.2mol/LHCN溶液和0.1mol/L的NAOH溶液等体积混合后,溶液显碱性下列说法正确的是A.c(HCN)c(CN-)C.c(HCN)-c(CN-)=c(OH-) D.c(HCN)+c(CN-)=0.1mol/L答案(BD) 只想问D选项怎么来的?:混合后溶液中 1.100ml0.1mol/L的硫酸铝溶液,在其中加入一定量的氢氧化钠溶液,最终得到0.78g沉淀,求加入多少mol氢氧化钠?2.氯化镁加入过量氢氧化钠,现象为------------.氯化铝加入过量氢氧化钠,现象为----------. Word文档:10的5次方怎样打? 将0.2mol\LHCN溶液和0.1mol\L的NaOH溶液等体积混合能帮忙写出物料守恒吗还有为什么c(HCN)-c(CN-)=c(OH-)是错的? 往含0.1mol硫酸铝的硫酸铝溶液中滴加4mol/L的氢氧化钠溶液澄清,若要使溶液最终澄清,至少需要氢氧化钠溶液体积( )A.50mL B.150mL C.200mL D.100mL 2009年语文五年级下册期末试卷急死人了! (1)850分米=( )米 2.5L=( )ml 将0.2mol/L HCN溶液和0.1mol/L的NaOH溶液等体积混合后,溶液显碱性,下列关系式中正确的是( ) A.[HCN][CN-]C.[HCN]-[CN-]=[OH-]D..[HCN]+[CN-]=0.1mol/L实质上是0.05mol/L的HCN溶液和0.05mol/L的NaCN溶液的混合溶液 填空;5.12dm3=【 】L=【 】ml 2.5L=【】mL,35600mL=【】L,2L—500mL=【】mL 一个长方形长8厘米宽4厘米如果把长和宽都增加三分之一那么新长方形的面积是原来的几分之几(要过程哦) 填空;2.75L=【 】ml 0.45L=【 】ml 84ml=【 】L 6.5L=( )ml 5100ml=( )L37ml=( )L 一个长方形的长和宽分别增加1/2后,现在长方形的面积是原来长方形的面积比是多少? 填空200ml=几L200ml=( )L 我急需要一份地理期末复习卷 并且含有答案 必须是新人教版的请在2天内回答 (鞠躬) 把一个长方形的长和宽分别增加1三分之一,现在长方形的面积是原来的多少? 2009朝阳市五年级下学期语文期末试卷答案求2009朝阳市五年级下册语文期末试卷答案 苏教版七年级上册地理期末试卷 如果把一个长方体的长和宽分别增加1/3,现在长方形的面积是原来的几分之几?你有什么发现?重点的说出发现,我知道是16/9..请各位网友尽快答复 word中怎么输入x的m次方平方m在x的右上面,然后2在m的右上面 怎么打出数学中的正负n次方,对数,希腊字母等等字符 任意画一个长方形,长和宽分别增加1/3,现在长方形的面积原来的几分之几?比原来的面积增加百分之几? 2011苏教版五年级下册语文期末试卷的作文是什么啊? 求您了 急 人教版的 2009-2010年八年级上册语文期末试卷一周内回答人教版的 苏教版五年级下册语文期末试卷作文直接给我发上作文题目和内容 计算{字母为自然数}【[-2的4次方]+[-4的2次方]×[-1的7次方】的2n次方×【5的三次方+3的五次方】 八年级上册地理期末试卷 苏教版 2009 -(x的n次方)的3次方 若于200ml0.5mol/L的硫酸铝溶液内加入2mol/L的氢氧化钠溶液,可得到7.8g氢氧化铝沉淀,氢氧化钠溶液的体积是 苏教版五年级下册语文期末试卷会考什么作文 有一串单项式x,-2x的2次方,3x的3次方,-4x的4次方...第n个用字母表示 把1mol·L-1的Alcl3溶液75ml和2mol·L-1的氢氧化钠溶液60ml混合,可得氢氧化铝沉淀多少克 我想知道KGS是什么意思?我听说KGS是复数形式,如果是这样的话,那:净重:6KGS毛重:11KG,这样不是不对称了吗?我写的数字是以公斤计算的 数学题(-1)1次方*(-1)2次方*(-1)3次方...(-1)N-1次方*(-1)N次方如题 人教版七年级下学期地理和生物期末试卷 关于KGS的问题10KG可以换算到多少KGS!好象KGS是什么KG的复数! 一个长方形的长增加10分之1,宽缩短10分之1,它的面积是原来面积的几分之几?3Q 450立方厘米=( )ml 9.44l=( )ml 8.5l=( )立方分米 700ml=( )l450立方厘米=( )ml 9.44l=( )ml 8.5l=( )立方分米 700ml=( )l 如何在Word中输入几次方的数字? 长方形的长增加了10分之1,宽缩短了10分之1,它的面积变成了原来的几分之几? word里面怎么输入某数的n次方那个n要怎么打出来啊?怎么打在右上角? Word里平方米就是M的2次方怎么打出来? 几分之几的那个符号怎么打? 如何将WORD的里的输入好的域成上标格式?2 的二分之n次方 现在二分之n次方已经出来了 怎么变成上标? WORD里10的负几次方怎么打?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn