说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

延迟250毫秒损失数百万美元,Hadoop系统该如何应对实时任务

HTML文档下载 WORD文档下载 PDF文档下载
管理越来越多的数据确实是一件让人头疼的事情,传统的数据库解决方案很难适应大数据的要求,使用Hadoop、选择一个合适的Hadoop发行版很有必要,而对于现有的Hadoop系统又该采取哪些措施进一步提升性能和扩展性?

【编者按】如果由于你的系统性能低下而造成业务处理缓慢、延迟现象严重,那你应该认真考虑是否该选择一个更好的Hadoop发行版了,因为网站性能的低下已经严重影响到销售转化率,250毫秒的延迟可能意味着几百万美元的损失。不同的发行版之间有着很大的差距,如何选择一个好的发行版,怎样改进现有的发行版,当然低成本也是必须要考虑的问题,MapR企业营销部门副总裁Michele Nemschoff为我们找到了答案。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

在Apache Hadoop的起步阶段,主要支持类似搜索引擎的功能。如今,Hadoop已经被数十个行业采用,它们依靠大数据计算来提升业务处理性能。政府、制造业、医疗保健、零售业和其他部门越来越多的从经济发展和Hadoop计算能力中受益,然而受到传统企业解决方案限制的公司将会发现竞争变得越来越残酷。

选择一个合适的Hadoop发行版和在业务中应用Hadoop一样有必要。最终,你会发现选择哪种Hadoop发行版取决于主机的规格,尽管性能和扩展性才是你应该仔细检查的两个主要特性。让我们了解一下一些具体的Hadoop性能和扩展性要求,以及对几个关键架构的要求。

性能

企业需要摆脱传统的数据库解决方案来管理数据,主要原因是为了增加原始性能并获得可扩展性。这可能会让你感到惊讶,因为并不是所有创建出的Hadoop分布系统都一样。

在我的另一篇文章中曾讲到,增加250毫秒的延迟可能会毁掉整个线上销售的旺季,我们可以了解一下为什么性能的低下(高延迟)会让人难以忍受。网站性能的迟缓会使线上的销售转化率下降7%,这对于流量很大的线上零售商来说意味着数百万美元的损失。

正如你在下图看到的那样,将MapR M7版本与另一个Hadoop发行版对比,在延迟上的差别意味着性能的不同,而不同发行版之间性能差距也是惊人的。


当你考虑Hadoop的实时应用时,比如金融安全系统的实时应用,那样对高性能增加的要求甚至更高。

要特别感谢像Hadoop这样的技术,它使金融罪犯窃取数字资产变得越来越难,金融服务公司比如Zions银行现在已经能够在银行客户感觉到任何实质性影响之前阻止财务欺诈。对于分析和实时数据响应来说,高性能和可靠性很有必要,这可以阻止破坏性欺诈活动。

扩展性

Hadoop的另一个主要优点是可扩展性。不用通过单一的企业服务器限制数据吞吐量,Hadoop可以跨计算机集群完成对大型数据集的分布式处理,从而在商品化硬件多个部分之间采用逐个击破的办法消除数据上限。

这种体系结构只是数据可扩展性提升的起点,还远没有结束。关于可扩展性,Hadoop平台内还有三个方面需要进一步考虑:

文件瓶颈

Hadoop默认的体系结构利用单一NameNode作为剩余数据节点的主节点。因为单个NameNode,所有数据被迫进入到一个瓶颈期,这就将Hadoop集群限制在只能有5000万到2亿个文件。

单个NameNode的执行情况也需要使用商业级NAS,而不是预算友好型的商品化硬件。

对于单一NameNode体系结构有一种更好的选择——使用分布式元数据结构。下面提供两种体系结构的可视化比较:


正如你所看到的那样,分布式元数据架构使用的完全是商品化硬件,不仅节省了成本,它还使性能提升了10-20倍,摆脱了文件瓶颈,使文件数上限达到了10亿,比单个NameNode的体系结构在容量上提升了5000倍,这确实是很大的成功。

节点扩展

Hadoop的一些较小用户对数据存储和处理并没有太高要求,因此能够在更少的节点上运行,而有些Hadoop实现则可以达到了数千节点的规模。

这也是Hadoop可扩展性非常出色的地方。从一个入门级大数据实现扩展到具有数千个节点的集群很容易,按照需求增加商品化硬件可以使成本最小化,这涉及到数据处理成本以及需求增加所需投入的成本。

节点容量

除了节点的数量,考虑到物理存储限制,Hadoop用户还应该检查每个处理和存储容量。你可以使用具有更高磁盘密度的节点减少总体节点数量,同时还能保证数据存储的要求。

架构基础

Hadoop的性能和可扩展性可以被进一步提升,前提是你要有多架构基础分布式系统的思想。

减少软件层

软件层太多,会导致导航成本的增加,使Hadoop系统的性能很难得到提升。

使所有应用程序在同一个平台上运行

一些Hadoop发行版可能会要求你创建多个实例,一个优化执行将使同一个环境中所有的工作负载被同时处理,这就减少了重复数据的产生,因此提高了可扩展性和性能。

利用公共云平台获取更好的弹性和可扩展性

一个好的发行版使你可以在自己的防火墙内灵活地使用Hadoop以及可靠的云环境,比如亚马逊网络服务和谷歌计算引擎。

最后,选择正确的Hadoop发行版应符合业务需求,不仅仅考虑当前的需求还应考虑未来的需求。分析每个发行版的性能和可扩展性,同时考虑架构基础,这也是在组织内成功实施和评估Hadoop的基础。

原文链接:How To Maximize Performance and Scalability Within Your Hadoop Architecture(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
VB如何使键盘、Mouse失效(JournalPlayBack Hook) VB如何使用 DBGrid VB如何突破 TextBox 32K 的限制? VB如何为执行程序加上参数? VB如何压缩较长的全路径文件名中的路径 (Path) 字串长度? VB如何在VB中实现密码的读取 如何在VB中使用命令行参数 VB如何在内存中的指定位置取数据? VB如何在已经存在的文本的textbox添加新的一行 VB如何在資料庫中存入單引號? VB如何正确使用VB6访问Access2000数据库 VB如何自动记录计算机开机时间? VB如何做到当我们单击窗体的最小化和关闭按钮时,窗体先最小化到任务栏成为按钮,然后消失呢?金山词霸能 软件工程篇-Const与#Const的对比 -VB资料 软件工程篇-从Visual Data Manager开始 -VB资料 软件工程篇-理解错误处理代理 -VB资料 软件工程篇-清空集合内容的几种方法 -VB资料 软件工程篇-受限制的共享软件Shareware -VB资料 设定CapsLock ScrollLock NumLock-VB资料 设置计算机名称-VB资料 深入SERIPTING RUNTIME LIBRARY-VB资料 '识别常数的简单四则运算-VB资料 实现平面工具栏 -VB资料 使程序不在 Ctrl+Alt+Del 弹出的对话框内-VB资料 VB使用 API 开始屏幕保护 VB使用rdoPreparedStatement实现参数化查询 使用Vb5制作Easter Egg 使用VB实现所见即所得功能 使用VB中的SERIPTING RUNTIME LIBRARY VB使用Win95的动画光标 VB使用Windows内建的图标 请问使用16倍速的刻录机能刻32倍速的盘吗 MYSQL如何实现自动删除数据库中的记录 紧急提问:CB中那些类用.操作符 请问一个概念的问题:??????????????????????? 如何生成报表文件啊? 装了oracle8i以后怎么登陆不了? 如何按照记录号转到指定的记录?不用SQL 用过magicskin的请进。 无法于数据库建立信任连接的问题_高分有送! 偶这个星期到深圳去,不知道在深圳有那些途径可以找到工作的? 手机掉到马桶里你会怎么办? 各位前辈帮忙看一下这个语句怎么解决(这是一个关于SQL语句的问题) 请教 java 命令的用法 用session跟踪用户的问题。 Xml中查找最大值! 请PHP高手推荐几本高阶的PHP书籍 偶这个星期到深圳去,不知道在深圳有那些途径可以找到工作的? Unicode问题 str:=#0+'9'+#0+'5'+#0+'8'+'~'+#207+'m'+'N' 在线等待。。 定位文件指针? 如何用ADO动态建SQL数据库 哪有 《Visual C++ 实践与提高——COM和COM+篇》下载 iis 为啥总出现 "the special module not found" 学习powerbuilder8.0 看哪些书比较好? 200相送,问题简单 一个使用用户空间控制流程的问题,望各位帮忙解答,小弟感谢不尽,在线等待 iis 为啥总出现 "the special module not found"(补充) 菜鸟问题---applet中的Runable方法, 紧急求助 装机:双敏的UKT400N主板性能怎么样?有啥缺点?适合超频吗? 请问vc编制数据库问题:如何读写binary字段 Chinajiji,看过来!多谢惠寄ISO/IEC 14882 请教各位高手用replace函数替换字符串时如何将颜色也变掉 SQL7.0备份的数据库如何在SQL2K中恢复? 如何改变编译出来的.exe文件的名称 谁有这样的矢量图设计系统例程可以参考参考? 谁有AVL树的代码呀。大家来讨论AVL树呀。呵呵 Maya 新手 哪位大侠能提供矢量图设计的例程! 请高人指点这个题目该怎么解决? 打包打包~~~~~什么是打包?? 多文件上传,一个很奇怪的现象! revalidate();怎样用? 怎樣得到系統的所有根目錄(如 C:,D:,E:),及根目錄下的所有子目錄. 求将excel文件导入notes数据库的方法(最好有例子),分不够可以再给! 小弟欲购编程器,各位大侠给点意见,大分相送,绝不亏待! 100分求教 如何访问远程数据库???? 怎么样才能取消上网自动填入密码 有没有了解“串口-TCPIP通信”的高手,请介绍一下 怎么把Socket设置为非阻塞状态的 关于窗口间刷新的问题 在Rt△ABC中,∠C=90°,AC=5,BC=12,○O的半径为3(1)当圆心O与点C重合时,○O与AB的位置关系怎么样谢 susan打算去西安旅游用英语怎么说 苟非吾之所有,虽一毫而莫取 三角形+三角形+三角形—圆形—圆形=75 圆形+圆形+圆形—三角形—三角形=5 三角形=?圆形=? 旋光度与什么有关 把树木的年轮看成是圆形的,如果一棵20年树龄的红衫树的树干直径是23cm,这颗红衫树的半径平均每年增加多少? 在Rt△ABC中,∠C=90°,AC=5,BC=12,○O的半径为3(1)当圆心O与点C重合时,○O与AB的位置关系怎么样拜 Betty的英语比Susan好用英语怎么说 如果一棵20年树龄的红杉树的树干直径是23cm,这棵红杉树的半径平均每年增加多少?说明理由 已知三角形与圆形的重合部分占三角形面积的5分之1,占圆面积的9分之2求三角形与圆的面积比.热求 快 为什么会有旋光度?书上只说是由于分子的构型不同,但是为什么构型不同会有左旋和右旋之分?为什么自然界中的只有右旋的葡萄糖和左旋的氨基酸?这是由什么决定的?莫非只有有神论才能解 回忆自己的读书感受,联系具体实例,说说自己从书籍中感受到哪些人类灵魂中的美丽 My parents are b____English teachers 希望susan去了西安后给我们带来照片用英语怎么说 在求节水文章开头,不要写的太深也不要太浮浅, 翻译 地震使整个城市成为一片废墟.(用in ruin) Susan经常跟经理一起去开会并做记录用英语怎么说 “且夫天地之间,物各有主,苟非吾之所有,虽一毫而莫取, 英语翻译十万火急!一小时内... 比旋光度公式 怎样在word里面写公式用WORD写得 小学一年级88页节约用水的作文怎么写 以《我乐在其中》为题写600字的作文!(最好写关于过年的) 辛亥革命征文比赛 800字 请你为新华小学2009年入学的新生编学号.这个编号要反映出学校校名、入学年份、班级和该省的性别及在班里的序号.2009年新入学的学生共84人,编为3个班.每班28名学生.一班有男生15人,女生13 二次函数配方y=-x2+x+1如何配方? “几乎一片废墟”用英语怎么说? 写设计封面的时候是先写学号名字,还是先学年级班级?- -已经写好题目了~ BLOOD-C文人为什么要和小夜打赌 玉树地震发生后,许多人被困在废墟下面.翻译成英语怎么说. 设x1,x2是方程x的二次方+6x+5=0的两个根,则x1,x2的等比中项为多少 运动会加油词咋写 ? 自己丰富才能感知世界的丰富,自己善良才能感知世界的美好,自己坦荡才能逍遥地生活 解释画横线词语意思 运动会的加油词怎么写 英语翻译谢谢聪明的人帮我翻译下,不要啰嗦的, 一些学校使用的学生卡能反映出很多信息,如2005 01 23表示“2005年入学的1班的学号为23号的同学”.你认为学生卡还可以怎样设计?你能设计一张含有更多信息的学生卡吗? 关于勤奋的话题作文 【歪批译吧】自己丰富才能感知世界的丰富英文 请你为自己编个学号,该学号必须体现学校、年级、班级、座号等信息.我是福建省三明市梅列区列西小学的,第28号 哪个洲的国家最多,哪个洲国家最少,哪个州没有国家 通过函数提取将学号转变为班级学号的3、4位代表班级,01代表1班,02代表2班,03代表3班,怎么用函数来提取并转换成文字呢? 图①,在△ABC和△ADE中AB=AC,AD=AE,LBAC=LDAE,且点B,A,D在一条直线,连接BE,CD,M,N分别为BE,CD中点.(1)求证BE=CD(2)求证△AMN是等腰三角形(3)在图①基础上将△ADE绕点A顺时针转,使点D落在线段AB上其 在100件产品中,有98件合格品,2件次品,从这100件产品中任意抽取3件,恰好有1件是次品的抽法有多少种?要求有过程.快! 林老师骑自行车从甲地到乙地,第一小时行了全程的3分之1,第二小时行了全程4分之1这时离哋还有20km甲、乙两地相距多少千米? 在三角形ABC和ADE中,AB=AC,AD=AE,LBAC=LDAE=a,求:LAOE=? 在100件产品中,有98件合格品,2件次品,从这100件产品中任意抽取3件恰好有1件是次品的抽法有多少种 8、某班48位同学参加一次跳绳测验,在规定时间里,最多的跳了175次,最少的跳了160次.那么,在该班中至少 多么质朴无华的车骑!可是它却装载了人类灵魂中全部的美丽! 东周的都城是? 在“情系玉树”的捐款活动中,五年级同学平均每位捐款12.5元,五年级有5个班,每班有48位同学. 东周君主实际控制的土地在哪里? 初三几何圆与三角形AD是ΔABC的角平分线,以D为圆心,AD为半径作⊙D交AB于E,交AC于F,AD=AE=2,BE=1,求AC的长 “大街小巷有大量的垃圾,严重破坏了城市的美貌”用英语怎么说? 多么质朴无华的车骑!可是他却装载了人类灵魂中全部的美丽!的意思! 问三角形是多少,圆形是多少 英语翻译有一个城市发生了地震 这句话用英语怎么说?最好用上happen 文言文中“苟非吾之所有”中的“之”是什么意思 三角形的个数是圆形的4分之5三角行有多少个? 地震切断了这个城市与外界的联系用英语怎么表达? 为什么说书是人类进步的阶梯? 储蓄过少不敢言退 不少美国中产阶级称沙特王室称将疏远美国 美国沙特关系或1亿美国人不工作 劳动力参与率创35巴基斯坦总理访美“提携”经济合作 签英国央行维持现行货币政策 看好经济走美知名私立大学拒受贫困学生 “因财施铁路总公司:火车退票找零不再四舍五入报告称朝鲜核试验场挖新坑道 短期内不南京大学两位院士候选人就论文是否造假北京今日将对“停车超3分钟须熄火”入慈溪夫妇8万元叫女儿代存 女儿身亡后18岁小姨子和姐夫好上了 以死要挟非慈溪两岁女童掉进大锅 全身严重烫伤送男子宁波路上擦肩而过时摸女孩胸 被行宁波出台国内首个网购争议处理办法非洲牛郎门谣言案落定 涉事网站被判侵俄印蒙三国总理同日访华非偶然 政治意同济大学开启中美共建全科医学系计划南京大学两位院士候选人就论文是否造假无业男子为供养情妇和私生子 诈骗父母各省区市通报违反八项规定典型 多涉违鸟巢·吸引云南蒙自货车冲进自救匝道起火 驾乘人太阳4年合同续约莫里斯兄弟 哥俩继续重庆燃气今日上市那个帅气的男人走了她的爱却长留心中期货公司突停业 客户恐慌抛单恒大四连冠就在眼前吉林省举行庆祝国庆65周年音乐会“乘节日期间,公交IC卡充值网点营业时间国庆节假期你是怎么过的?请与我们一起吉林森工家居体验馆盛大开业吉大一院门前有人玩“抢车位”?长春:“十一”期间违规放鞭炮将按照规本报包场“十一”请您看《黄金时代》困难群体参加养老保险 可申办政府贴息阿里布局在线旅游市场28.1亿元入股易建联突然之间当爹了微博晒与神秘娇妻里约“奥运地铁”首列车在长春下线“新文化+”免费送电影票 明天就可以第二届“长春慈善奖”评选结果揭晓凌晨 两车建筑垃圾被卸在路中间
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘