说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

延迟250毫秒损失数百万美元,Hadoop系统该如何应对实时任务

HTML文档下载 WORD文档下载 PDF文档下载
管理越来越多的数据确实是一件让人头疼的事情,传统的数据库解决方案很难适应大数据的要求,使用Hadoop、选择一个合适的Hadoop发行版很有必要,而对于现有的Hadoop系统又该采取哪些措施进一步提升性能和扩展性?

【编者按】如果由于你的系统性能低下而造成业务处理缓慢、延迟现象严重,那你应该认真考虑是否该选择一个更好的Hadoop发行版了,因为网站性能的低下已经严重影响到销售转化率,250毫秒的延迟可能意味着几百万美元的损失。不同的发行版之间有着很大的差距,如何选择一个好的发行版,怎样改进现有的发行版,当然低成本也是必须要考虑的问题,MapR企业营销部门副总裁Michele Nemschoff为我们找到了答案。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

在Apache Hadoop的起步阶段,主要支持类似搜索引擎的功能。如今,Hadoop已经被数十个行业采用,它们依靠大数据计算来提升业务处理性能。政府、制造业、医疗保健、零售业和其他部门越来越多的从经济发展和Hadoop计算能力中受益,然而受到传统企业解决方案限制的公司将会发现竞争变得越来越残酷。

选择一个合适的Hadoop发行版和在业务中应用Hadoop一样有必要。最终,你会发现选择哪种Hadoop发行版取决于主机的规格,尽管性能和扩展性才是你应该仔细检查的两个主要特性。让我们了解一下一些具体的Hadoop性能和扩展性要求,以及对几个关键架构的要求。

性能

企业需要摆脱传统的数据库解决方案来管理数据,主要原因是为了增加原始性能并获得可扩展性。这可能会让你感到惊讶,因为并不是所有创建出的Hadoop分布系统都一样。

在我的另一篇文章中曾讲到,增加250毫秒的延迟可能会毁掉整个线上销售的旺季,我们可以了解一下为什么性能的低下(高延迟)会让人难以忍受。网站性能的迟缓会使线上的销售转化率下降7%,这对于流量很大的线上零售商来说意味着数百万美元的损失。

正如你在下图看到的那样,将MapR M7版本与另一个Hadoop发行版对比,在延迟上的差别意味着性能的不同,而不同发行版之间性能差距也是惊人的。


当你考虑Hadoop的实时应用时,比如金融安全系统的实时应用,那样对高性能增加的要求甚至更高。

要特别感谢像Hadoop这样的技术,它使金融罪犯窃取数字资产变得越来越难,金融服务公司比如Zions银行现在已经能够在银行客户感觉到任何实质性影响之前阻止财务欺诈。对于分析和实时数据响应来说,高性能和可靠性很有必要,这可以阻止破坏性欺诈活动。

扩展性

Hadoop的另一个主要优点是可扩展性。不用通过单一的企业服务器限制数据吞吐量,Hadoop可以跨计算机集群完成对大型数据集的分布式处理,从而在商品化硬件多个部分之间采用逐个击破的办法消除数据上限。

这种体系结构只是数据可扩展性提升的起点,还远没有结束。关于可扩展性,Hadoop平台内还有三个方面需要进一步考虑:

文件瓶颈

Hadoop默认的体系结构利用单一NameNode作为剩余数据节点的主节点。因为单个NameNode,所有数据被迫进入到一个瓶颈期,这就将Hadoop集群限制在只能有5000万到2亿个文件。

单个NameNode的执行情况也需要使用商业级NAS,而不是预算友好型的商品化硬件。

对于单一NameNode体系结构有一种更好的选择——使用分布式元数据结构。下面提供两种体系结构的可视化比较:


正如你所看到的那样,分布式元数据架构使用的完全是商品化硬件,不仅节省了成本,它还使性能提升了10-20倍,摆脱了文件瓶颈,使文件数上限达到了10亿,比单个NameNode的体系结构在容量上提升了5000倍,这确实是很大的成功。

节点扩展

Hadoop的一些较小用户对数据存储和处理并没有太高要求,因此能够在更少的节点上运行,而有些Hadoop实现则可以达到了数千节点的规模。

这也是Hadoop可扩展性非常出色的地方。从一个入门级大数据实现扩展到具有数千个节点的集群很容易,按照需求增加商品化硬件可以使成本最小化,这涉及到数据处理成本以及需求增加所需投入的成本。

节点容量

除了节点的数量,考虑到物理存储限制,Hadoop用户还应该检查每个处理和存储容量。你可以使用具有更高磁盘密度的节点减少总体节点数量,同时还能保证数据存储的要求。

架构基础

Hadoop的性能和可扩展性可以被进一步提升,前提是你要有多架构基础分布式系统的思想。

减少软件层

软件层太多,会导致导航成本的增加,使Hadoop系统的性能很难得到提升。

使所有应用程序在同一个平台上运行

一些Hadoop发行版可能会要求你创建多个实例,一个优化执行将使同一个环境中所有的工作负载被同时处理,这就减少了重复数据的产生,因此提高了可扩展性和性能。

利用公共云平台获取更好的弹性和可扩展性

一个好的发行版使你可以在自己的防火墙内灵活地使用Hadoop以及可靠的云环境,比如亚马逊网络服务和谷歌计算引擎。

最后,选择正确的Hadoop发行版应符合业务需求,不仅仅考虑当前的需求还应考虑未来的需求。分析每个发行版的性能和可扩展性,同时考虑架构基础,这也是在组织内成功实施和评估Hadoop的基础。

原文链接:How To Maximize Performance and Scalability Within Your Hadoop Architecture(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
Hoodie:基于JS与CouchDB的超快速Web开发框架 设计优秀API的五大规则 盘点英特尔IDF2013第一天:技术产品新趋势 英雄组队去打怪!Nimble Quest开发团队访谈 云通讯平台打造本土Twilio 被逼无奈?传微软或明年秋发布iOS和Android版Office 欧洲各国政府将向大众开放公共数据 访联想云存储罗予晋:优化MooseFS,共建生态系统 磊友创始人赵霏:关于HTML5与Flash争执之我见 国际混乱C语言代码大赛优胜作品详解之“A clock in one line” 揭秘程序员大脑编程的七大“误区” 从Java到ObjC语言的桥梁:谷歌J2ObjC 0.7版本亮相 数据库管理系统ParElastic:打破常规 扩展云端MySQL 谷歌苹果专利纠纷意在战略无意和解 美法官为其苦恼 Facebook收购神秘移动软件创业公司Osmeta 修改驱动,使用Erlang+VoltDB实现每秒87.7万事务 横评美国IaaS“8匹狼”:AWS、GCE、Azure、Rackspace、SoftLayer、Dell、HP、Joyent 独立游戏精神释放的舞台:IGF China 2013作品火热征集中 三款热门入门级在线编程教程对比 微软modern.IE:网站兼容性测试利器 Localytics:AngularJS代替Backbone 代码减少一半 史上增长最快的SaaS服务Optimizely:13亿访客,10万次测试 IDF上的云计算故事 移动周报:百万年薪、微信疑云,老罗小马本周很忙 一个创业失败者的自述:我是如何搞砸一款产品 收入百万美元:一个放弃上大学的程序员 Cocos2D配Box2D:逆天小白程序员作iOS游戏 招聘移动开发,老板必问的10个问题 黑客用智能手机劫持和控制民航飞机 几小时即可使互联网瘫痪的黑客 现已加入谷歌 Tsar开源:淘宝内部大量使用的系统监控工具 我的确是做了错事,我决心去努力,但似乎力不从心? 100分 求《UML与Rational Rose从入门到精通》 急!各位高手关于要把多个DC放到一个pDC上显示的问题。 急。关于ppc和sybase的问题 请问编一个WINDOWS画笔 谁有c434009A主板的驱动程序。 请问在windows下如何实现像数据库一样的读、写锁? 为啥我在InstallShield中调用DLL中的函数总是出错呢? 如何能在HTML控件显示区域显示“....(指定的文件名)不存在”? 请问如何把TIF格式转换成JPG或GIF的格式?? 代理不能定时执行,请指教,谢谢。 怎样与外部数据库建立联合查询? 如何接受来自vbscript的字符数据列表 怎么在Gtk+的gnomemessagebox显示中文? (在线等待,急!)在vc中怎么使用datagrid控件 我使用的是odbc访问数据库 好急的问题,有关于SMS的接收字符处理问题,想了好几天没有结果 那位兄弟手头上有ASP.NET高级编程的电子书? DataGrid 控件问题,帮帮我把,朋友! automount? 一个比较难的问题! 关于datagrid的问题 在线等待 在cmd编辑器中用java运行已编译的文件运行不成功怎样解决 各位帮我解决一下这个问题!!!谢谢 关于ResourceManager的疑惑? 两台机器无法访问? 大家有没有听说过zebudom.js这个javascript的API?请问哪里可以下载它? 模块的连接 如何用php开发一个在线语音聊天室? 请问:有谁能提供Microsoft Project 2002简体中文专业版下载地址????急用!!!!!! 《The C++ Programming Language》有没有中译版? 请高手帮我看看: session的范围 硬件加、解密卡合作 请问那里能下到C或者C++的编译环境? 我的网页做好了,在我自己的机子上显示的很好看,在别的机子上有的显示的和在我的机子上显示的一样,很不错,但在有些机子上显示就变形了 怎样在文件中查找指定的字串? 为什么这两个查询都不能运行呢? 请教有关比对数据库的思路 运行结果出错!!!!!!!!!! google主页的问题(在线) (在线等待,急!)对话框中画图,超过了对话框大小,但是滚动条不能用 jbuilder7+jboss的配置问题? 求教:用UML做分析设计工具、用JAVA开发的一个办公管理系统的详细时间节点计划书。 數據庫數據顯示問題///急,在線等!!!!!個位幫幫忙? 讨论一下,eregi和strpos 为什么这两个查询都不能运行呢? 集成多文件夹操作窗口的软件有吗?有的请发QQ;6138215 怎么获得checkbox组中被选中的部分? sybase表中有没有自动编号的字段啊? 问一个很菜的问题?(在线等……) 解一元一次方程时,一般要怎样把方程化成一般形式? 吃一垫,真能长一智吗 如右图,某小区规划在长32米,宽20米的矩形场地如图,某小区规划在长32米,宽20米的举行场地ABCD上修建三条同样宽的小路,使其中两条与AD平行,一条与AB平行,其余部分种草,若使草坪的面积为566M 问一下仿一本男孩子必读的书写钢铁是怎样炼成的读后感有熟悉这个的吗?不好意思,麻烦各位{随机数K 吃一埑,长一智.的教育意义是什么? 谁认识这树?就是结这个果子的树 麻烦看下仿一本男孩子必读的书写钢铁是怎样炼成的读后感有人了解的说下吧, 吃一垫,长一智. 谁认识这是什么树树枝和树杆都是弯弯曲曲的再传一张 一些唯美的句子 “三下乡”社会实践是哪一年开始的 作为教师你感到最大的压力是什么? 国内和国外的臭氧发生器电极片(管式和板式)哪家最好?各家的优势是什么?国内用哪家的电极片比较多?我++++++++++分!) 根据句意,在括号里填上与“站立”意思相近的词.(不可重复)1 如今,一座座海洋石油平台已( )在海涛之中.2 月球上只能看到广袤的荒原上高山( ),巨石嶙峋.3 社会主义的中国像巨人一 英语翻译要写在简历里的 务必要准确 青苹果表皮的锈斑是什么?现在买的青苹果,表皮有很多褐色的锈斑,是什么东西?跟虫粉什么的有关系吗? 台风暴跳如雷,像头疯狂的巨兽,呼呼地向着城市扑去,用了什么修辞手法?急 我要名人求学的例子,或有关于求学的名言.急, 英语“赶上时代的步伐”最地道怎么说,书面语 他暴跳如雷,像___________.(比喻句) 是吃一堑,长一智,还是吃一蜇,长一智呢?麻烦知道的回答一下. 翻译:我们今天刚上班(书面语) 台风为什么暴跳如雷?急, 英语翻译Courage is the ladder on which all the other virtues mount.还有这句Despite all the life danger,with one selfless act from one common person,someone is saved,A hero is made. 英语翻译(他)能在短时间内掌握了工作要点和技巧,能够熟练使用TRS.有道翻译结果为In a short time grasp the working points and skills,Can skilled use TRS 《故乡的桂花雨》的主题是什么? culture smart or science intelligent原创文章!明天就要用! 有什么果实上有翅膀啊?什么果实上会长有翅膀? 我能行 主题班会的回答内容,尽量多.(中学生) 真情树 读后感 移动标点符号,改变句意:哥哥说:我是好青年. 什么样的女人最讨人喜欢拜托各位了 3Q 斯大林信基督吗?俄国人不都是信天主教么,但他(斯大林)是共产主义者,是不是无神论?请懂的回答 河南博物院怎么样 鸽子蛋书面语叫什么? 有人看过如果树知道么,有什么感想 他( )节省下自己的零花钱,( )靠帮邻居干活来凑足这笔钱》填什么关联词 "蛰"这个字用拼音怎么打? 我相信有神 但我却不信奉神 这算是有神论还是无神论我相信神是因为我觉得神只是比一般人强的人或生物,所以我也不信奉神 关于可以体现自己科学精神的作文,不少于500字 1.快车和慢车同时从A\B两地相向而行,3小时向隅后两车按原速继续前进,快车形式2小时到达B地,这时慢车距离A地还有110千米.求A\B两地相距多少千米?2.有一块铜与锌的合金,其中铜与锌的比是2:3, culture smart or science intelligent?用这个作演讲题目,着重说哪方面比较新颖啊?演讲内容是必须在culture smart和science intelligent两者中选一个来讲,还是可以说他们都很重要,相互依靠之类的? 现在问道怎么升级快?现在问道怎么升级快? .....(要用比例等式来计算...):只选最好的答案..1.师徒两人合做了84个零件,师傅5分钟做一个,徒弟9分钟做一个,要求在相同的时间完成,每人应该分配到多少个零件?2.走同一段路,小玲要12分,小丽 请高手帮忙解析culture smart or science intelligent这个是2009年CCTV杯的题目 我拿去问来自美国的外教 她说这个题目有错误 她从来没见过culture smart的说法 从这个短语的结构到较为深层的含义 尽可 夏衍为什么要赞颂小草的力量?这是课文上的一道题,马上要讲了,希望学过的,在下感激不尽! 上上月书面语怎么说 电机互锁的问题6台电机设M1-M6要求依次从M6到M1 互锁 (M6工作才能使M5工作 , M5工作才能使M4工作.)高手帮我弄个电路图啊 谢谢降序使用辅助常开触点即可实现。。。 这个我也不会啊 什么字站着和躺着变成不同的两个字?比如:“田、口、回”这些字站着和躺着念都是一样的,但哪两个字站着和躺着念是不同的呢? 吃一欠长一智什么意思? cultural smart or science intelligent 这可是当时什么(填关于轰的词语)的新闻 吃一寸 长一智什么意思 杭金衢高速公路义乌出口有几个,分别是…能说清楚具体位置最好,就是杭金衢高速公路义乌下来后会经过什么路… 这可是当时很什么(填关于轰的词语)的新闻 请教下仿一本男孩子必读的书写钢铁是怎样炼成的读后感J我想知道到,我在此先谢谢大伙了7dX ,某小区规划在长32米,宽20米的矩形场地上修建三条同样宽的3条小路,使其中两条与AB平行,另一条与AD平行,要使小路的宽为2m,那么剩余的耕地面积为多少平方米 请问含义是“少”的汉字有哪些,包括古代 人为什么要吃一垫才会长一智?不是有句古话;"吃一垫.长一智"人为什么要吃一次亏才会长一智呢?###不吃亏就长不了智了吗?$$$有时的一次亏会让你损失很多!我就以这为例:我在盛大以保中被骗 某小区规划在长4米,宽26的矩形场地上修建三条等宽的小路,其中两条与宽平行,一条与长平行,其余种草,草地面积为144平方米,求小路的宽 四川公务员上班陪领导游泳溺死续:副局三学童上学时遭绑架遇害 家长质疑校方男子驾车遭陌生人袭击追逐 逃到派出所上海自贸区“满月” 周边房价上涨三到专家:“以房养老”适合中国国情 明年媒体追问3小学生被绑架杀害:校车为何公安部要求依法从重从快打击航班“诈弹广西醉酒警察枪杀孕妇案死者家属拒绝政专家称今年将有45万人出国留学 90印度首都发生工厂火灾6人死亡两名法国记者在马里遭杀害南太平洋岛国汤加附近海域发生6.5级北京市委书记:把反恐防暴切实纳入维稳卫计委:医疗服务费用单纯靠政府承担是48家汽车生产企业将接受整顿 考核仍哈里王子遭英报窃听4名中国记者获国际科学记者奖巴塔首领遭美军无人机空袭身亡俄罗斯不阻挠斯诺登协助德调查永康一辆百吨槽罐车侧翻 压住宝马致母杭州10岁女童遭淫魔猥亵 家长怒称出奥克兰国际机场:新西兰之旅 -- 远新疆女篮更名,获440万赞助费百炼成仙召唤兽系统怎么玩 召唤兽系统罗振宇:人人都是坐台小姐江苏队引进国家队技术分析师高博“高净值人士财富管理”SAIF金融E移动医疗的服务怎么做?来听听传统医疗联动优势大讲堂与众筹咖啡、Bingg唐恩都乐宣布免费甜甜圈特惠6月5日回卡佛先生,你的电话号码是多少美国最震撼警察扫黄场面摄影欣赏 私人武极天下魔方怎么开启 开启方法介绍身体敲警钟时,你警惕了吗?聚焦中小微企业贷款难题平安普惠SME中国电信连续五年荣膺“亚洲全方位最佳沪港通带来新的赢家和输家银天下联合发起《我的诗篇》入围第五十21天美素挑战美丽任务 超模裴蓓蓄势一路一带,功夫在钱外上海汽车测试及质量监控博览会 HIL暖暖魔法搭配赛舒适休闲的打扮s攻略
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘