说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

延迟250毫秒损失数百万美元,Hadoop系统该如何应对实时任务

HTML文档下载 WORD文档下载 PDF文档下载
管理越来越多的数据确实是一件让人头疼的事情,传统的数据库解决方案很难适应大数据的要求,使用Hadoop、选择一个合适的Hadoop发行版很有必要,而对于现有的Hadoop系统又该采取哪些措施进一步提升性能和扩展性?

【编者按】如果由于你的系统性能低下而造成业务处理缓慢、延迟现象严重,那你应该认真考虑是否该选择一个更好的Hadoop发行版了,因为网站性能的低下已经严重影响到销售转化率,250毫秒的延迟可能意味着几百万美元的损失。不同的发行版之间有着很大的差距,如何选择一个好的发行版,怎样改进现有的发行版,当然低成本也是必须要考虑的问题,MapR企业营销部门副总裁Michele Nemschoff为我们找到了答案。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

在Apache Hadoop的起步阶段,主要支持类似搜索引擎的功能。如今,Hadoop已经被数十个行业采用,它们依靠大数据计算来提升业务处理性能。政府、制造业、医疗保健、零售业和其他部门越来越多的从经济发展和Hadoop计算能力中受益,然而受到传统企业解决方案限制的公司将会发现竞争变得越来越残酷。

选择一个合适的Hadoop发行版和在业务中应用Hadoop一样有必要。最终,你会发现选择哪种Hadoop发行版取决于主机的规格,尽管性能和扩展性才是你应该仔细检查的两个主要特性。让我们了解一下一些具体的Hadoop性能和扩展性要求,以及对几个关键架构的要求。

性能

企业需要摆脱传统的数据库解决方案来管理数据,主要原因是为了增加原始性能并获得可扩展性。这可能会让你感到惊讶,因为并不是所有创建出的Hadoop分布系统都一样。

在我的另一篇文章中曾讲到,增加250毫秒的延迟可能会毁掉整个线上销售的旺季,我们可以了解一下为什么性能的低下(高延迟)会让人难以忍受。网站性能的迟缓会使线上的销售转化率下降7%,这对于流量很大的线上零售商来说意味着数百万美元的损失。

正如你在下图看到的那样,将MapR M7版本与另一个Hadoop发行版对比,在延迟上的差别意味着性能的不同,而不同发行版之间性能差距也是惊人的。


当你考虑Hadoop的实时应用时,比如金融安全系统的实时应用,那样对高性能增加的要求甚至更高。

要特别感谢像Hadoop这样的技术,它使金融罪犯窃取数字资产变得越来越难,金融服务公司比如Zions银行现在已经能够在银行客户感觉到任何实质性影响之前阻止财务欺诈。对于分析和实时数据响应来说,高性能和可靠性很有必要,这可以阻止破坏性欺诈活动。

扩展性

Hadoop的另一个主要优点是可扩展性。不用通过单一的企业服务器限制数据吞吐量,Hadoop可以跨计算机集群完成对大型数据集的分布式处理,从而在商品化硬件多个部分之间采用逐个击破的办法消除数据上限。

这种体系结构只是数据可扩展性提升的起点,还远没有结束。关于可扩展性,Hadoop平台内还有三个方面需要进一步考虑:

文件瓶颈

Hadoop默认的体系结构利用单一NameNode作为剩余数据节点的主节点。因为单个NameNode,所有数据被迫进入到一个瓶颈期,这就将Hadoop集群限制在只能有5000万到2亿个文件。

单个NameNode的执行情况也需要使用商业级NAS,而不是预算友好型的商品化硬件。

对于单一NameNode体系结构有一种更好的选择——使用分布式元数据结构。下面提供两种体系结构的可视化比较:


正如你所看到的那样,分布式元数据架构使用的完全是商品化硬件,不仅节省了成本,它还使性能提升了10-20倍,摆脱了文件瓶颈,使文件数上限达到了10亿,比单个NameNode的体系结构在容量上提升了5000倍,这确实是很大的成功。

节点扩展

Hadoop的一些较小用户对数据存储和处理并没有太高要求,因此能够在更少的节点上运行,而有些Hadoop实现则可以达到了数千节点的规模。

这也是Hadoop可扩展性非常出色的地方。从一个入门级大数据实现扩展到具有数千个节点的集群很容易,按照需求增加商品化硬件可以使成本最小化,这涉及到数据处理成本以及需求增加所需投入的成本。

节点容量

除了节点的数量,考虑到物理存储限制,Hadoop用户还应该检查每个处理和存储容量。你可以使用具有更高磁盘密度的节点减少总体节点数量,同时还能保证数据存储的要求。

架构基础

Hadoop的性能和可扩展性可以被进一步提升,前提是你要有多架构基础分布式系统的思想。

减少软件层

软件层太多,会导致导航成本的增加,使Hadoop系统的性能很难得到提升。

使所有应用程序在同一个平台上运行

一些Hadoop发行版可能会要求你创建多个实例,一个优化执行将使同一个环境中所有的工作负载被同时处理,这就减少了重复数据的产生,因此提高了可扩展性和性能。

利用公共云平台获取更好的弹性和可扩展性

一个好的发行版使你可以在自己的防火墙内灵活地使用Hadoop以及可靠的云环境,比如亚马逊网络服务和谷歌计算引擎。

最后,选择正确的Hadoop发行版应符合业务需求,不仅仅考虑当前的需求还应考虑未来的需求。分析每个发行版的性能和可扩展性,同时考虑架构基础,这也是在组织内成功实施和评估Hadoop的基础。

原文链接:How To Maximize Performance and Scalability Within Your Hadoop Architecture(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
用Visual Basic创建FTP组件 用Visual Basic开发数据库浏览器 用Visual Basic轻松地设计Browser及Ftp程序 VB用Winsock控件发信Email VB用Winsock实现点对点通信 邮件检查程序(二) -VB资料 邮件检查程序(一) -VB资料 在VB程序中怎样挂断拨号网络 在VB中利用UDP协议编写聊天程序 在VB中模拟实现邮件传输 在VB中实现文件上传 在VB中使用UDP协议 在VB中用Outlook发电子邮件 在程序中打开 Internet 拨号连接窗口 -VB资料 在一个单位内部或通过广域协议(如X.25)互联的行业内部都有几十或上万台计算机互联,用Intrane 在应用中集成浏览器-VB资料 在桌面上建立一个 Internet 快捷键 -VB资料 VB怎样接收电子邮件(POP3协议简介) VB怎样用VB得知系统当前是否处于internet链结状态 VB制作自己的网络搜索软件 自动更新工作站的应用程序-VB资料 自己的IE——用VB制作浏览器 VB6制作Win98风格的工具栏 VB实现窗口的弹出式菜单 用VB做个漂亮的进度条 Cool 3D 浮動按鈕的模擬作法-VB资料 VB 5.0中实现鼠标拖放 VB5.0下工具条的制作 VB5.0中基于桌面的屏幕技巧 VB5.0中实现字体闪烁效果 VB5实现窗口图像缩放、滚动技巧 关于pos系统数据同步传输,欢迎大家进入讨论! 怎么得到本机的ip地址? 关于package 的问题 关于打开网页的问题 怎么在文本文件中的两行中添加一行?怎么删除一行? “split”分割问题 请教:怎么配置Tomcat可以禁止访问目录 ,比如访问 http://127.0.0.1/test 不会出现文件列表? 请问怎样在对话框窗口中的Edit控件里按下Enter键后不要退出 有关dremveaver ultradev 的动态网页制作问题, 请教高手。。 在delphi中如何实现全屏?? 100分。请大虾帮忙搞定 谁有存储过程的学习资料? 怎样判断计算机上有没有装madc数据库连接,? 项目中的一个问题,急待解决,请帮忙,谢谢 无聊散分 鼠标在图片上移动所发生的事件 一个怪问题:ping得通却NetTerm不上? JBuilder中如何拖动控件到面板,位置放置的问题。(高手指教) 请问在那里有csdn helper 下载 是否可以给表的字段编号? 我想让程序启动该怎么做 这样一个项目计划怎么写? vb.net 附值问题,请教高人 一次檢索出DataSet數據存至Session還是每次DataGrid翻頁時檢索為好? 一个程序不停的写一个文件,越来越大。怎样把以前的数据拷出来然后把他们从文件里删去? 会自动关机的电脑 怎样在listCTRL中加入彩色字?Waiting Online 请问到哪里去找w2k下编译需要的头文件和库文件呀 请问各位哪里有UNIX平台或LINUX平台的POWERBUILDER下载? 吐血给分!小问题,简单的很! 请教有关ServerSocket的问题 请问到哪里去找w2k下编译需要的头文件和库文件呀 想玩网络游戏,各位给推荐一下,谢了先!!! 请各位在这里留下已知的并已解决的BCB的BUG问题,也好让大家少走弯路了,谢谢! CMOS的问题,我是XP系统! 看看流星花园的搞笑版吧(转载) Word 和 Excel 启动不了 问几个菜鸟问题关于数组的。请大家帮忙! 关于用asp.net代码实现文件上传的问题!急! 新手提问:如何在vb中设计一个扁平的按钮。----在线等待~!~!! 这个查询可以在一条语句中完成吗?高分! 保存问题 关于浮点数累积误差的问题:水平直线旋转180度后两端点相差了1个像素。如何解决~高分谢高手。(内有代码) 一个在vb中使用数据库的问题,急! 请教VB怎样操作磁带机? SQL7.0表中记录打不开,提示如下: 怎么才能给Listview中的每一行都加一个图标,怎样引用Listview中每一行??? 关于文件的查找!! 急救!!关于数据导入问题!在线等待 weblogic如何保留jsp编译的中间源文件? 关于文件的查找!! 急求清史稿八十九列传刘统勋那段的翻译! 班级挑战书我们是一六班,要跟五班较量,哪位高人帮我想一想怎样写,最好写出来!还有替一五班再写一份,最好不要写重了!是成绩上的较量! 填动物的名称 哪位兄弟给个[清史稿 刘统勋传]的翻译 班级之间的挑战书怎么写我们九7班,他们九八班,应学校要求每个班都要找对手班级,不要太嚣张的,激情一点,然后,额,(里面有关于在学风,班风,纪律等等一系列的方面进行竞争的话——班头语 你知道《塞翁失马》这则寓言的寓意吗? 刘统勋在哪个电视剧中出现过 班级各小组的挑战书怎么写?急.哎.今天必须要完成那. 这则寓言告诉我们了什么道理.要简短,容易弄懂 仿句:我喜爱蓝色,蓝色是天空,我愿我的胸怀向天空一样宽广要自己写的、 急 如何写班级挑战书? 七年级《语文》160页的(塞翁失马)寓言的寓意 抬头仰望天空,它是那样的蓝,那样的惹我喜欢.在白云点缀的蓝天里让我不时的幻想,幻想那些可能和不可能发生的事. 班级挑战书怎么写学习上的啊.呵呵 类似《塞翁失马》的寓言故事有那些? 湖心亭看雪词语手册字词拜托 Brain Teasers:When do people have two mouths? 第36课 ________,因为他有尊严.补充完整 快不要书上的 湖心亭看雪的注释 填动物名称组词成语:()头()尾 ()首是檐 杀()骇() ()假()威 塞翁失马的寓意要简短 《湖心亭看雪》第一段翻译,赏析,重点字词及一切上课时需要的. when do pople have two mouths? 塞翁失马是什么寓意? 六年级400字中秋日记 请将下面问题各各填一种动物天空之王——大地之王——群山之王——大海之王——凤之王——雷之王——水之王——火之王——(不要重复,小说设定,以符合要求最多者给分,一个5财富)兄 塞翁失马的寓意是什么 湖心亭看雪的课下注释 湖心亭看雪翻译 注释 七年级下语文作业本答案全部,最好不要和答案一样...浙教版 不想回答的别过来损人 求一篇中秋节的日记,是要六年级水平的作文,500字以上, 甲乙两人分别在相距50km的两地同向而行,乙在甲的前面,甲每小时走16千米,乙每小时行18千米,如果乙先走一小时.问甲走出多少分钟后两人相距70千米? 七年级上册语文作业本答案求求各位大侠啦 找一篇关于【勇敢】这个话题的作文!600字以上.. ( )口余生 在中间填上什么动物名称! 一物体做匀加速直线运动,初速度为0.5m/s,加速度为0.1m/s,则该物体在4s内的位移和平均速度分别是多少? 宇宙是扩张的还是收缩? 填什么动物名称啊? 一物体做匀速直线运动,初速度为0.5m/s,加速度为0.1m/s^2,则该物体在第4秒内的位移和平均速度各是多少答案上是0.85m的0.85m/s^2 我要《湖心亭看雪》这一文的解释! 《湖心亭看雪》中的 强饮三大白 强字究竟是 痛饮 还是勉强我们老师说的是勉强,可百度百科以及其他大部分都说痛饮,惟少数说是勉强,而且解释的还不一样, 四字寓言故事有哪些? 我喜欢蓝色的天空,我喜欢打篮球,我喜欢交朋友.我喜欢看书. 湖心亭看雪 全文赏析 600字 读后感;钢铁是怎样炼成的,600字,快,十分钟之内,像六年级孩子写的 六年级中秋节日记,500字以上,带好词好句最好不要写错 速度越快越好 当然一定要500字以上 标点符号不算 《湖心亭看雪》中的“独”字如何解释为好?是独自还是孤独? 《塞翁失马》的意思 《海燕》中 海燕的形象表现 形象特点 象征意义《海燕》中 海燕的形象表现 形象特点 象征意义 要 表现→形象→象征 的答题形式 一共要5个 急 《塞翁失马》中“其父”的意思 塞翁失马的意思是什么 《湖心亭看雪》中的“强饮”应如何解释? 英语翻译我要准确的 一字一字的对译 呵呵我要的是塞翁失马这篇课文的翻译 不是塞翁失马这个成语的翻译 七年级上册语文作业本答案,急!答案别老师收走了 求 我的大学生活英文作文 水平不用太高 带汉语翻译的谢谢 塞翁失马的意义结合自己的生活体验,“举例”!谈谈你对塞翁失马寓意的理解 物体以5m/s的初速度做匀变速直线运动 第3s内的位移是2.5m 物体的加速度是 求解释和过程 信改变了我的生活 那篇作文的中文翻译、不要英语原文、谢谢 《塞翁失马》寓意 塞翁失马的含义快
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘