说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

延迟250毫秒损失数百万美元,Hadoop系统该如何应对实时任务

HTML文档下载 WORD文档下载 PDF文档下载
管理越来越多的数据确实是一件让人头疼的事情,传统的数据库解决方案很难适应大数据的要求,使用Hadoop、选择一个合适的Hadoop发行版很有必要,而对于现有的Hadoop系统又该采取哪些措施进一步提升性能和扩展性?

【编者按】如果由于你的系统性能低下而造成业务处理缓慢、延迟现象严重,那你应该认真考虑是否该选择一个更好的Hadoop发行版了,因为网站性能的低下已经严重影响到销售转化率,250毫秒的延迟可能意味着几百万美元的损失。不同的发行版之间有着很大的差距,如何选择一个好的发行版,怎样改进现有的发行版,当然低成本也是必须要考虑的问题,MapR企业营销部门副总裁Michele Nemschoff为我们找到了答案。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

在Apache Hadoop的起步阶段,主要支持类似搜索引擎的功能。如今,Hadoop已经被数十个行业采用,它们依靠大数据计算来提升业务处理性能。政府、制造业、医疗保健、零售业和其他部门越来越多的从经济发展和Hadoop计算能力中受益,然而受到传统企业解决方案限制的公司将会发现竞争变得越来越残酷。

选择一个合适的Hadoop发行版和在业务中应用Hadoop一样有必要。最终,你会发现选择哪种Hadoop发行版取决于主机的规格,尽管性能和扩展性才是你应该仔细检查的两个主要特性。让我们了解一下一些具体的Hadoop性能和扩展性要求,以及对几个关键架构的要求。

性能

企业需要摆脱传统的数据库解决方案来管理数据,主要原因是为了增加原始性能并获得可扩展性。这可能会让你感到惊讶,因为并不是所有创建出的Hadoop分布系统都一样。

在我的另一篇文章中曾讲到,增加250毫秒的延迟可能会毁掉整个线上销售的旺季,我们可以了解一下为什么性能的低下(高延迟)会让人难以忍受。网站性能的迟缓会使线上的销售转化率下降7%,这对于流量很大的线上零售商来说意味着数百万美元的损失。

正如你在下图看到的那样,将MapR M7版本与另一个Hadoop发行版对比,在延迟上的差别意味着性能的不同,而不同发行版之间性能差距也是惊人的。


当你考虑Hadoop的实时应用时,比如金融安全系统的实时应用,那样对高性能增加的要求甚至更高。

要特别感谢像Hadoop这样的技术,它使金融罪犯窃取数字资产变得越来越难,金融服务公司比如Zions银行现在已经能够在银行客户感觉到任何实质性影响之前阻止财务欺诈。对于分析和实时数据响应来说,高性能和可靠性很有必要,这可以阻止破坏性欺诈活动。

扩展性

Hadoop的另一个主要优点是可扩展性。不用通过单一的企业服务器限制数据吞吐量,Hadoop可以跨计算机集群完成对大型数据集的分布式处理,从而在商品化硬件多个部分之间采用逐个击破的办法消除数据上限。

这种体系结构只是数据可扩展性提升的起点,还远没有结束。关于可扩展性,Hadoop平台内还有三个方面需要进一步考虑:

文件瓶颈

Hadoop默认的体系结构利用单一NameNode作为剩余数据节点的主节点。因为单个NameNode,所有数据被迫进入到一个瓶颈期,这就将Hadoop集群限制在只能有5000万到2亿个文件。

单个NameNode的执行情况也需要使用商业级NAS,而不是预算友好型的商品化硬件。

对于单一NameNode体系结构有一种更好的选择——使用分布式元数据结构。下面提供两种体系结构的可视化比较:


正如你所看到的那样,分布式元数据架构使用的完全是商品化硬件,不仅节省了成本,它还使性能提升了10-20倍,摆脱了文件瓶颈,使文件数上限达到了10亿,比单个NameNode的体系结构在容量上提升了5000倍,这确实是很大的成功。

节点扩展

Hadoop的一些较小用户对数据存储和处理并没有太高要求,因此能够在更少的节点上运行,而有些Hadoop实现则可以达到了数千节点的规模。

这也是Hadoop可扩展性非常出色的地方。从一个入门级大数据实现扩展到具有数千个节点的集群很容易,按照需求增加商品化硬件可以使成本最小化,这涉及到数据处理成本以及需求增加所需投入的成本。

节点容量

除了节点的数量,考虑到物理存储限制,Hadoop用户还应该检查每个处理和存储容量。你可以使用具有更高磁盘密度的节点减少总体节点数量,同时还能保证数据存储的要求。

架构基础

Hadoop的性能和可扩展性可以被进一步提升,前提是你要有多架构基础分布式系统的思想。

减少软件层

软件层太多,会导致导航成本的增加,使Hadoop系统的性能很难得到提升。

使所有应用程序在同一个平台上运行

一些Hadoop发行版可能会要求你创建多个实例,一个优化执行将使同一个环境中所有的工作负载被同时处理,这就减少了重复数据的产生,因此提高了可扩展性和性能。

利用公共云平台获取更好的弹性和可扩展性

一个好的发行版使你可以在自己的防火墙内灵活地使用Hadoop以及可靠的云环境,比如亚马逊网络服务和谷歌计算引擎。

最后,选择正确的Hadoop发行版应符合业务需求,不仅仅考虑当前的需求还应考虑未来的需求。分析每个发行版的性能和可扩展性,同时考虑架构基础,这也是在组织内成功实施和评估Hadoop的基础。

原文链接:How To Maximize Performance and Scalability Within Your Hadoop Architecture(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
VB编程的必备技巧 VB编程的一些心得 VB编程技巧几例 VB编程经验点滴 VB编程俱乐部问答 VB编程如何控制I/O口 VB编程问与答 VB编程之提速攻略(二) VB编程之提速攻略(三) Windows/VB编程逐月通 VB编写键盘拦截程序 VB常见问题解答(1) VB程序中处理随机事件 VB的多媒体控件VBPLAY.VBX简介 VB技巧点滴 VB技巧汇编 (一) VB剪贴板的用法 VB开发CAI软件的小经验 VB软件设计中的几个问题 VB新手常见问题解答 VB修改注册表一特例 VB与VC混合编程中处理消息的方法 VB中的进制转换是怎样的? VB中调用带参数存储过程的实现(数据库) VB中感叹号“!”与圆点“.”的用法差异 VB中如何实现注册表的读写 VB中实现“擦视”技术 Visual Basic 2000年问题 Visual Basic 的未来 Visual Basic 命令分类表 Visual Basic三级跳 有用SDK编写的象“我的电脑”那样的程序吗? 请教:如何绘制成绩分析的正态分布曲线? bean里删除文件? 请问关于响应事件的问题?? 请问怎样用在Active DLL中调用ASP的response对象? 请介绍几本关于vb的书,不是入门的书,有没有向<delphi5开发人员指南》这样的书???? dos下编程,如何获得文件创建时间? 如何判断存储过程执行成功结束?(50分相送) 谁行行好吧,小弟谢过了!(sql的cd key) 请教现在是应该学习VB6还是VB.NET? 关于在mfc中自定义类的一个问题 请教现在是应该学习VB6还是VB.NET? 谁有在VB中开发DirectX的教程,请推荐下载地址. zrong(zr) TommyTong(童童) GreenWaterBlueSky(我的家在碧水蓝天) 进来看一看可以吗? 谁行行好吧,小弟谢过了!(sql的cd key) 这里是个关于Iczelion的win32的汇编教程中的一个问题,请各位指点! 请问如何让VB。NET编译的。EXE文件在没有装有。NET架构的系统上运行? 大白鲨:计算机软件专业到低学那些课程 窗口的最小化和最大化事件是什么? 怎样实现在主窗体显示后,出现登录窗口?? 三层结构系统的问题! 存储过程问题 如何从Select的结果中再查询数据? 求助:此书<<windows me程序设计手册>>附带光盘的源代码---作者台湾,位元文化 大白鲨:程序员的爱情问题 form1.WebBrowser1.Navigate('www.zz.ha.cn');showmessage('下载完成');总错误 提问:关于报时程序 如何用图像来显示一个灰度值矩阵? 终于下载完了77M的,高兴,爽! 树型控件中,我在itmexpanding 事件中写了代码,第一次展开树正常,但以后每展开一次,数据内容就会在原内容基础上增加,书上说必须清除 tab控件中的按钮怎样关闭对话框? 大白鲨:数据库查询进度 啥是message map 在哪儿啊?〉 请帮我解决用dreamweaver来做网页时令我头痛的一个问题?谢谢! 续:关于报时程序 如何修改DataGrid的列标头?? 我有一個推箱子游戲,是JavaScript的,可以自己增加關數,自己設計地圖,想做出n關都沒問題.想要的留下Mail! 有什么软件可以在windows98下看到有什么在内存里运行着 谢谢大家,看个网址,看看能不能访问!!!谢谢 谁知道哪有vs.C#编程百例一书中的百例download!多谢了! 如何使用ASP或VBSCRIPT或其它实现查询表单的分页打印?帮个忙! 妈的,遇到信用卡欺诈 ?请各位大侠帮忙,介绍一下关于制作报表方面的知识。 请问哪里有好的UNIX学习教程下载 请问什么函数是读取当前时间的在vc和tc3中分别是什么 高分悬赏 希望大家帮忙测试一个小软件 问一个小问题怎样用快捷键将窗口最小化? 用jdbc连接oracle找不到驱动问题。 请问:谁有中文的java1.3类库参考书??????????????? 发现MFC的一个bug大家快来看啊!!!! 竹竿的杆长和影长的比值是相等的什么意思 头皮上长了颗痣代表什么含义 1900年见证了西方列强的野蛮指什么事件,对中国产生了怎样影响 27.在操场上插几根长短不同的竹竿,在同一时间里测量竹竿长和相应的影长,填写下表. 通货膨胀和货币供求的关系是什么? 1900年-1949年中国的重要历史事件. 竹竿长1.5米影子长1.2米竹竿和影子长的比值 如何解释通货膨胀纯粹是一个货币现象 分解因式3(x-2y)的二次方+9(2y-x)先化简在求值(3x+2)(3x-2)-5x(x-1)-(2x-1)的二次方,其中x=1/31.一种打印纸,长a厘米,宽b厘米,在打印某文档时设置的上 下边距均为2.5厘米,左右边距均为2.8厘米 第五套人民币有几位冠字a 想问问物价上涨的原因,理论上就说货币供大于求造成通货膨胀,但像食品企业这些怎么知道供求关系?例如农场的场主,某些加工食品的原料来源等等,是什么因素造成上涨?理论与实际差太远了~ 求 诗经 论语 庄子 孟子 史记 汉书 和 唐诗宋词 中的成语共150个,最好有成语解释!在二月二十二日之前且有解释的,会给财富~ 竹竿长2米影子长1.6米竹竿和影子长的比值 根据货币流通规律说明通货膨胀的产生? 《论语》,《孟子》,《庄子》,《楚辞》,《史记》,《汉书》的作者分别是谁? 竹竿长2.5米影子长2米竹竿和影子长的比值 下列属于经济法律事实中的社会事件范畴的有哪些?战争买卖文凭沙尘暴暴乱 出自《论语》《孟子》《庄子》成语和成语的意义,不要句子的解释不需要出自的句子,只要写明出自哪本书就可以了,需要的是成语和成语的意思. 表示化学反应速率类似于v的那个字母读什么呀不是的 是另外一个读法 中国近代经济有那些事件?(1900-1940) 英语作文My Family(提示:短文中可以介绍家庭成员及他们的生活、工作等方面相关的信息)80词左右 用字母表示 指出美国二十世纪三十年代最能体现经济变化的历史事件 英语作文《My family》怎么写啊?拜托各位哥哥姐姐啦~就告诉我拉~ In my family ,my father is (tall)than my mother.He's often (quiet010点之前我想知道答案in my family,my father is()【tall】than my mother.he’s often()【quiet】.but when he talks with us he's very ()【funny】.my mother is 2 ye They’re my father,my mother,my baby sister and me.翻译中文 收集国内外时事热点新闻(政治、经济方面的均可)15条,每条字数不少于30字.(2013)必须是暑假期间的哈 我是实在找不到了 - - . 快开学了 我也不想 这样 字数也别太多 差不多30 40就好 征集“My Father” “My Mother”“My Family” 的英文小作文80字左右就好 They call my mother aunt and my father uncle 求翻译 2011年全球发生了什么大事 请详细列出什么时候什么地点什么事件 最好是关于经济.灾难的问题..谢谢 There ()3 people in my family .My father is a doctor.He ()reading newspapers.My mother is a teacher.She likes () TV.I'm a student.I like () football.It () a sunny day yesterday.My family () to a park together.First,we were happy.We () a boat and () e They are my father,my mother and I.They are my father,my mother and I.They are my father,my mother and me.哪种说法正确?请说明理由,尽量详细些, 急……!好的追加100分,因系统只能给这么多分啊,不好意思,要不我会多给的……1.一个多边形的每个内角和都等于144°,求它的边数.2.是否存在一个多边形,他的每个外角都等于相邻内角的五分之 1.The handbag _______there is my ID card was lostA .that B.which C.in which D./2.That is the cook ______came from LondonA.that B.which C./ D.who They are my father ,mother and I,They are my father ,mother and me ,哪个对为什么?这里面,my father ,mother and I 是表语吧 1、 若m,n为自然数,则多项式x的m次方减y的n次方减二的m加n次方的次数是( ).选项:1、m+n 2、m和n中较大的数.2、 多项式2x的3次方减x的平方乘y的平方加y的3次方加2的5次方是几次几项式? 楚人有涉江者 其剑自舟中坠于水含义 请帮助把这句英文翻译成汉语:Father and Mother I Love You! 数学简写的代替字母h是什么意思 要详细说明.(3)---Hurry up,Jack!----Just give me five minutes to put my desk in ____.A time B line C order D shape(6)---Tell me something about the young man.----Well,he is wearing a black____and black trousers.He looks smart.A dress B clothe 这段有几层意思?请写下来.课文片段我们家的大门内也有两盆,一盆红色的,一盆白色的.我小的时候,天天都要从这里走出走进.红色的花朵让我想到火,白色的花朵让我想到雪.火与雪是不相容的, 英语作文:My family's birthday不少于50个单词,非常急!请在今天中午13:00之前. (33)---Is that the right way up?---Yeah.I____so.A hope B suppose C.expect D.wish DUO DERM EXTRA THINExtra thin CGF dressingAposito DuoDerm CGF extra delgadoPansements DuoDerm CGF extra-mincesSterility guaranteed unless package is torn or damaged prior to useLa esterilidad garantizada a menos que elenvase se rompa o deteriore ante 英语作文My birthday of my family (17)Glass is made___bottles.A from B out of C into D up(18) Linda forgot___the table.So she cleaned it again.A to clean B clean C cleaning D cleaned回答和答案不一致啊 最后一头战象第12自然段从表达的意思上可以归纳为几层,分别是什么 四年级下册英语作文,My family birthday.100个单词左右,明天早上要交的! (26)---Who did you find in the room?----_____.A.Nobody B.Nothing C.None D.Neither(30)---The medicine tastes so bad.----It surely does.But it will_____you good.A give B want C do D help 谁能帮忙解释一下这段C程序是什么意思?求高手!//进行CRC检验u8 CheckSum(u8 *databuf){ u8 tmp = databuf[0]-1; u8 chksum=databuf[0]; while(tmp) { chksum^=databuf[tmp]; tmp--; } if(databuf[databuf[0]]==chksum) return 1; else datab My Birthday day的英语作文最好长一点的! 秦始皇统一文字有什么历史意义?我要一段话!不要太长也不要太短!五行就可以了!写写自己的想法,不要抄袭的!可以再长一些吗?尽量细致些!爱→譢风逝回答的挺好,参考网友们的再写写! they are my father mother and i 还是they are my father mother and 有什么区别呢? 谁知道这几个字是什么意思? 楚人有涉江者,其剑自舟中坠于水,遽契其舟. 求教英语 They are my father,my mother and me.最后的我是用me还是I? 求:公元1600—1900年西欧发生的重大历史事件.如题,希望时间段能够明确,意义方面强调一下,不需要太详细, 楚人有涉江者,其剑自舟中坠于水,遽契其舟,曰:"是吾剑之所从坠.寓言中的楚人可笑在哪里? 人身上不同的部位长“痣”的含义, 与楚人学舟意思相近的成语典故找一与“楚人学舟”意思相近的成语典故,实在不知道那就看一下是不是“胶柱鼓瑟”……
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘