说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Hadoop虽然强大,但不是万能的

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop很强大,但企业在使用Hadoop或者大数据之前,首先要明确自己的目标,再确定是否选对了工具,毕竟Hadoop不是万能的!本文中列举了几种不适合使用Hadoop的场景。

随着 Hadoop 应用的不断拓展,使很多人陷入了对它的盲目崇拜中,认为它能解决一切问题。虽然Hadoop是一个伟大的分布式大型数据计算的框架,但Hadoop不是万能的。比如在下面这几种场景就不适合使用Hadoop:

1、低延迟的数据访问

Hadoop并不适用于需要实时查询和低延迟的数据访问。数据库通过索引记录可以降低延迟和快速响应,这一点单纯的用Hadoop是没有办法代替的。但是如果你真的想要取代一个实时数据库,可以尝试一下HBase来实现数据库实时读写。

2、结构化数据

Hadoop不适用于结构化数据,却非常适用于半结构化和非结构化数据。Hadoop和RDBMS不同,一般采用分布式存储,因此在查询处理的时候将会面临延迟问题。

3、数据量并不大的时候

Hadoop一般适用于多大的数据量呢?答案是:TB 或者PB。当你的数据只有几十GB时,使用Hadoop是没有任何好处的。按照企业的需求有选择性的的使用Hadoop,不要盲目追随潮流。Hadoop很强大。但企业在使用Hadoop或者大数据之前,首先要明确自己的目标,再确定是否选对了工具。

4、大量的小文件

小文件指的是那些size比HDFS的block size(默认64M)小得多的文件。如果在HDFS中存储大量的小文件,每一个个文件对应一个block,那么就将要消耗namenode大量的内存来保存这些block的信息。如果小文件规模再大一些,那么将会超出现阶段计算机硬件所能满足的极限。

5、太多的写入和文件更新

HDFS是采用的一些多读方式。当有太多文件更新需求,Hadoop没有办法支持。

6、MapReduce可能不是最好的选择

MapReduce是一个简单的并行编程模型。是大数据并行计算的利器,但很多的计算任务、工作及算法从本质上来说就是不适合使用MapReduce框架的。

如果你让数据共享在MapReduce,你可以这样做:

  • 迭代:运行多个 MapReduce jobs ,前一个 MapReduce 的输出结果,作为下一个 MapReduce 的输入。
  • 共享状态信息:但不要分享信息在内存中,由于每个MapReduce的工作是在单个JVM上运行。

原文链接:Hadoop isn’t Silver Bullet(编译/Arron 审校/周小璐)

解决sybase用户数据库不能进入故障的一种方法-Delphi资料 解决一个DBF表时的&quot;Index not found..&quot;错误-Delphi资料 精简Delphi数据库应用系统 精简Delphi数据库应用系统-定制BDE驱动程序 精简数据库应用系统-Delphi资料 开 发 基 于ORACLE7 数 据 库 的 管 理 信 息 系 统-Delphi资料 开 发AS/400 应 用 系 统: PB5 与Delphi3 的 比 较 利 用Delphi 开 发 响 应 用 户 输 入 的 数 据 库 查 询Web Server 程 利用Delphi开发响应用户输入的数据库查询Web Server程序 利用Tbatch组件完成数据批处理-Delphi资料 如 何 恢 复Sybase SQL Anywhere 的 数 据 库-Delphi资料 如何捕捉KEY VIOLATION等错误-Delphi资料 如何得到SQL返回的计算结果-Delphi资料 如何动态的读取Delphi中的PopupMenu的Caption ? 如何动态设置DBGRID。比如,动态设置DBGRID的COLUMNS。及如何在数值数据格式成千分位 如何返回BDE的状态信息?-Delphi资料 如何控制关键字段的重复输入及报错-Delphi资料 如何设置Microsoft SQL Server 全文索引服务 ?-Delphi资料 如何设置多用户环境的PARADOX数据库-Delphi资料 如何实现在一个Dbgrid中显示多数据库-Delphi资料 如何用SQL查询日期型字段?-Delphi资料 如何在数据库中存放avi文件-Delphi资料 如何在注册表中注册BDE-Delphi资料 筛选数据-Delphi资料 实现不同数据库系统之间的数据转移-Delphi资料 使 用WISQL32 同 时 访 问SQL SERVER 和SYBASE 数 据 库Delphi资 使用Session构件可以在打开有密码的库时不用输入密码-Delphi资料 使用SQL实现字段数据的模糊查询-Delphi资料 数据表的索引被损坏了怎么办-Delphi资料 数据库的密码、日期显示-Delphi资料 数据库应用程序开发中图像数据的存取技术-Delphi资料 TDBlistBox如何使用? forgot的散分帖:CSDN的朋友们,再见了!这是我的告别帖。 问一个OLE的问题 ejb高手进来,一个entitybean +事务控制问题 我用delphi6创建远程数据模块的时候,怎样才能出现sever.tlb的类型库文件的窗口.谢谢!! 请问我的配置错在哪里? 怎样监控是否有人ping你?QQ:68628692在线等待,有急用 怎样监控是否有人ping你的机器?QQ:68628692在线等待,有急用 在线等待!!!马上给分,我的MFC里没有 mfc42u.lib,谁可以发一份给我? 如何能够得到系统中IE的版本呢 请教高人! 100分 ListView的内容存成Txt文件! 在图中间生成一白色方框,在里面写字,问题是图和方框相交的地方想要温柔平滑漂亮模糊的那种过渡 100分,有谁知道如何让列表视图中的Item在不同的条件下显示不同的图标? PB6.5中,编辑代码的时候,最下边有一状态条能显示光标当前的行号,列号。我不知怎样把它给隐藏了,请问在哪里可以打开? 好长时间没有提问了啊,大家来帮我 请问如何改变字体颜色? CSDN2000 的CD中的哪个INSTALL SHIELD能变成注册版吗? 如何得到打印机纸张的高度和宽度以及缺省打印(在线等待) 如何让GetFileSaveName对话框打开时是指定目录,比如程序当前目录? 怎样用JAVASCIRPT改变表单背景和表单的只读属性?? 我手头有两份ISA服务器详细设置和安全策略的中文说明书(含图解),我想让大家共享,欢迎大家下载! 数据串行化等问题,请高手指点,一直在线恭候高手????????????????????? 高手请进:如何实现象vc里面一样的 关键字着色?在线等待?马上给分 dbchart内如何动态显示数据源的内容 ODBC高手看过来 在 html help workshop 如何做出 what's this 功能 怎样把网卡设为混杂模式? 请各位大侠给分析一下各种数据库格式的优劣?(如MDB、DBF等等) 请问这个论坛的 CSDN论坛助手.Net(0.21)哪里有下载? 新手提问:关于使用CSocket,为什么我跟服务器建立连接后马上就断开呢 ★★请教AVI文件的API函数★★(关于将位图存成avi时写入的一点问题:急问)(150) 求救!救急!各位仁兄帮帮忙!! 【急】如何处理一组RadioButtonList呢? 签名活动:目前csdn里面发现很多作弊者,反对作弊者进来签名! 哪有中文MSDN下载?先谢谢 请帮忙看一下这个setfilter应怎样写? (这个问题,不会没有人不知道!)关于vfp6统计图的问题`~急呀`~救命呀`~~~回答者都给分`~~ 打印预览窗口的显示问题 vb中的trim在c# 中如何表达 数据库 我为中国队加油,看看我的为中国队加油首页! 关于FLASH的??<在线等待> 请教各位大虾!!!急,我的分数全部送出!!! 高手们怎么样才能在窗体上引入FLASH动画呀????? 好烦啊!oracle 7.3.4数据导到oracle9i的字符集问题 每当我最困难的时候,我就想起了csdn,50分奉送!!!!!图像问题 QuickReport设置的问题 如何打印源代码! 那位大虾知道ACTIVEX命名的由来 请问什么错误,在brinkster测试通过,但是放在另外的站点,却不行了。 正常情况下活塞与汽缸壁的间隙参数多大,此时的润滑油油膜厚度多大?烧机油情况下活塞与汽缸壁的间隙参数多大,此时的润滑油油膜厚度多大?谢谢请给具体参数 铁跟氯气的反应方程式 电源电压不变,某电阻的阻值增加3欧姆时,电流强度变为原来的五分之...电源电压不变,某电阻的阻值增加3欧姆时,电流强度变为原来的五分之四,原来的阻值是多少? 碳酸钙高温分解成氧化钙和二氧化碳 要在多高的温度下? 如何把炭和铁的混合物分开 人喝什么毒药死的最快?最毒的 足量二氧化碳通入次氯化钙溶液中的离子方程式和化学方程式-0- 大气层是不是为人类提供氧气 什么毒药利害?人喝了会死 详细过程,快8.碳酸钙经过高温煅烧可分解成氧化钙和二氧化碳,这也是工业上生产生石灰的化学原理.称取两份碳酸钙,一份跟足量的稀盐酸反应,另一份在高温条件下充分煅烧,若要放出等质量 如果地球失重,地球还有大气层么?还会有氧气么? 人喝了毒药一定会死么?3Q 亚硫酸钠溶液中投入Na2O2的离子方程式和化学方程式? 高锰酸钾去如何消毒 7.22日全食江苏宜兴天气宜兴7月22日,天气如何啊,能不能看到日全食?这里是很好的观测点啊!看不到就可惜了!我还没看过呢! 请问碳酸钙分解成氧化钙和二氧化碳是可逆反应吗如题.另外补充:诸如化学课实验上,要使碳酸钙分解,温度大概需要多少度.该反应可逆否,如果可逆的话是否只能通过增加环境压强来产生逆 什么品牌的排毒药比较好 初中化学如何区分混合物和纯净物混合物和纯净物的概念我知道,但是出一个题如何快速区分他们,有没有什么窍门,比如牛奶和硫这两种物质,在不知道他们有什么组成的情况下,怎么区分啊快, 以熔融的氧化钠为电解质的乙醇燃料电池 正负极以及总方程式问题补充: 注意!是熔融的 氧化钠 Na2O Na2O也会和H2O反应啊 (化学)木炭怎样证明是混合物要求证明(我知道木炭含有C-H-O三种物质,但应该怎样证明)(是燃烧后剩下C...)抱歉,说错了 木炭和甲烷哪个是纯净物?为什么是甲烷呢?木炭不是C吗, 高温红美纹胶带能耐多少温度? 一道高一化学题(甲烷燃烧)120℃、101.3kPa,甲烷(CH4)和过量的O2的混合物,用电火花引燃(CH4+2O2=CO2+2H2O)后,恢复到原来的温度和压强,测得反应后气体密度为相同条件下H2密度的15倍,则原混 空气中氧气含量大约占五分之一.4千克空气中大约含氧气多少千克 高温云母线最高能耐多高温度? 甲烷与氧气燃烧,生成一氧化碳 二氧化碳和水 水的量为25.5,我算出如果完全燃烧氧气应生成30.8,现在产物总质量49.6克,那么就少了6.4克二氧化碳,答案上说的少的是6.4克氧气,这是怎么回事,急 空气中氧气的的含量占多少? 目前最好的高温胶能耐多高温度,多长时间,哪里有? 硫酸属于纯净物还是混合物 大气中氧气含量的变化对地球有影响吗. 玻纤管最多只能耐200的高温吗?有没有耐温度更高的? 单独说硫酸是纯净物还混合物 空气中氧气含量大约占5分之1.4千克空气中大约含氧气多少千克? 耐高温电缆能耐多高的温度,长期工作温度和短期工作温度是多少? 甲烷计算题已知在标准状况下,甲烷的密度是0.717g/L,含碳75%,含氢25%(均为质量分数),利用这些数据,通过计算确定甲烷的分子组成 江苏宜兴明天天气 蛋白质的空间结构主要取决于?A. 肽链氨基酸的序列. B. α-螺旋β-折叠. C肽链中的氨基酸侧链. D. 肽链中的肽键 E.肽链中的二硫键位置 为什么? 醋酸清洗水垢的化学方程式?快啊!急啊! 日本处于什么带 蛋白质的空间结构是由什么结构决定的 醋酸除水垢的方程式 一段导体的电阻减少6欧姆,原电源上电流增大四分之一,原导体为多少? 维持蛋白质空间结构的原因是什么化学键? 怎样理解“我们呼吸着的空气,是由氮气、氧气和广告组成的”这句话 怎样确定活塞和气缸的配合间隙 蛋白质如何形成空间结构? 二氧化碳在常温下能和氧化钙反应生成碳酸钙吗 23*33’等于多少*? 氢气遇高温是不是会燃烧我家有个烤火炉,还有一个小娃娃耍的那种氢气球.如果那个气球遇到那个炉子会不会爆哦!thanks 氮气对宇航员呼吸没有作用所以“人造氧气”不需要氮气,需理由同上 有致人死的毒药吗 玻璃纤维的燃烧状态是什么样的?玻璃纤维燃烧冒烟吗?火焰是什么颜色的呀?燃烧后物质是什么样的?不燃烧产生的焰色反应是什么颜色的呢? 氧化钙可以和二氧化碳直接反应生成碳酸钙吗 江阴2010年1月1日至23日的天气预报我有急用 氢气燃烧生成的水中含氢气? 氧化钙和二氧化碳能反应生成碳酸钙吗? 江苏南通2012年5月29日气温变化情况是八点,十点,十二点,十四点,十六点,十八点,二十点的. 活塞与汽缸壁的间隙大小,大约在多少毫米范围内? 加热碳酸钙生成氧化钙与二氧化碳的反应是可逆反应吗? 江苏的5月,有哪些农作物?气候如何?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘