说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Hadoop虽然强大,但不是万能的

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop很强大,但企业在使用Hadoop或者大数据之前,首先要明确自己的目标,再确定是否选对了工具,毕竟Hadoop不是万能的!本文中列举了几种不适合使用Hadoop的场景。

随着 Hadoop 应用的不断拓展,使很多人陷入了对它的盲目崇拜中,认为它能解决一切问题。虽然Hadoop是一个伟大的分布式大型数据计算的框架,但Hadoop不是万能的。比如在下面这几种场景就不适合使用Hadoop:

1、低延迟的数据访问

Hadoop并不适用于需要实时查询和低延迟的数据访问。数据库通过索引记录可以降低延迟和快速响应,这一点单纯的用Hadoop是没有办法代替的。但是如果你真的想要取代一个实时数据库,可以尝试一下HBase来实现数据库实时读写。

2、结构化数据

Hadoop不适用于结构化数据,却非常适用于半结构化和非结构化数据。Hadoop和RDBMS不同,一般采用分布式存储,因此在查询处理的时候将会面临延迟问题。

3、数据量并不大的时候

Hadoop一般适用于多大的数据量呢?答案是:TB 或者PB。当你的数据只有几十GB时,使用Hadoop是没有任何好处的。按照企业的需求有选择性的的使用Hadoop,不要盲目追随潮流。Hadoop很强大。但企业在使用Hadoop或者大数据之前,首先要明确自己的目标,再确定是否选对了工具。

4、大量的小文件

小文件指的是那些size比HDFS的block size(默认64M)小得多的文件。如果在HDFS中存储大量的小文件,每一个个文件对应一个block,那么就将要消耗namenode大量的内存来保存这些block的信息。如果小文件规模再大一些,那么将会超出现阶段计算机硬件所能满足的极限。

5、太多的写入和文件更新

HDFS是采用的一些多读方式。当有太多文件更新需求,Hadoop没有办法支持。

6、MapReduce可能不是最好的选择

MapReduce是一个简单的并行编程模型。是大数据并行计算的利器,但很多的计算任务、工作及算法从本质上来说就是不适合使用MapReduce框架的。

如果你让数据共享在MapReduce,你可以这样做:

  • 迭代:运行多个 MapReduce jobs ,前一个 MapReduce 的输出结果,作为下一个 MapReduce 的输入。
  • 共享状态信息:但不要分享信息在内存中,由于每个MapReduce的工作是在单个JVM上运行。

原文链接:Hadoop isn’t Silver Bullet(编译/Arron 审校/周小璐)

For循环语句详解 - DOS BAT批处理编程入门教程(五) Android编程之实现GPS定位 android编程实现仿iphone的tab效果 系统变量 - DOS BAT批处理编程入门教程(三) Android编程获取手机的IMEI Android开发中14个很有用的编程技巧 Android蓝牙栈bluez使用方法 Android模拟GPS数据生成kml和nmea文件 Android签名用keytool和jarsigner制作apk文件 谈谈Android中文短信的实现 Android中文短信开发技巧 Android来电号码获取代码 Android AIDL初学者必看内容 Android与XML解析 Android天气预报程序开发实例与定位信息 Android中文短信开发终结篇 Android权限列表permission说明 Android输入法开发实例解析 Android示例程序Snake贪食蛇源代码分析 Android平台View的按键事件KeyDown用法 Android加速感应器实现屏幕自动旋转-Sensor属性 Android视频播放类VideoView解析 Javascript如何检测浏览器关闭了小叉叉 文件操作 - DOS BAT批处理编程入门教程(六) 获得手机中的电话簿 Android开发学习小心得 VC中用CPPToolTip轻松实现工具提示 Android中MediaRecorder类实现视频录制 WEB开发中将数据库记录转换到EXCEL表格文件xls供下载 F#是什么语言 函数式编程语言F#:基于CLR的另一个头等编程语言 resin 中jsp文件无法显示图片,怎么回事? 请教思归!!asp.net中弹出对话框的问题 debug命令f怎么用呀? 笔记本电池,能外挂吗?~~~~ 工具欄的顯示應算較專業的問題 寻求共同创业的伙伴! COM+组件远程调用问题 如何才能把计算稿保存下来? 急。chr 与ord的运用! 为什么当我在dreamweaver里把表格的单元格宽度设定为像素了,可当我的字符串超过它的宽度,它不换行?而是拉长我的单元格 使用delphi第三方控件出现的问题 用什么函数把int转成nvarchar 关于上网的问题 关于图片的循环移动问题 寻求共同创业的伙伴! 关于Keil C51的编译问题 谁有《 Inside The C++ Object Model》英文版电子版 请教《深入浅出MFC》中有关“动态创建”的一个问题。 图像缩放和居中显示的问题 请教如何用DDraw实现屏幕随鼠标移动而滚动,就象星际中的地图比屏幕大,但可以滚动显示。 一点问题,劳驾各位高手啦。。谢谢!!! 一个双向链表得问提求救啊 截获、修改本地程序通过socket发出的包的问题 请教DDraw资源网? 可不可以把这两个合并成一句查询语句呀 问一下IDirect3DDevice8::SetTransform第一个参数的问题 如何把一个窗体放进动态链接库中? 集合Set 和 数组Array 的问题 论坛出现乱码怎么办?急!急!急!!! 如何使用JList添加记录项???? 谁遇到过VB printer对象在少数机器上乱码的问题,有的机器又是好的。 不能使用make menuconfig?请指教 DBGRID中要点两下才能进行编辑状态,如何只一下就能进入编辑状? 郁闷啦,5。1加班到11点,放分 急需FlashFXP的注册码(当天就给分) 小问题 谁告诉我一个exchange server 的下载地址啊? 为什么我装的 XP在桌面上没有“我的电脑”“Internet Explorer”“网上邻居”“我的文挡”,只有一个回收站??? 论坛开发策划书怎么写? 请教JBUILDER8编译时的问题 ADSL 的问题 关于合并分区的问题,急! 在编译msdn中的vc例子程序时找不到mfc42u.lib文件 想把握住一份不可能的爱情,今天才知道我失败了,极度郁闷,散分 请问哪里有ASP+MSSQL的教程,多谢! 请教在BCB6中怎么打开Class Explorer? 再问一变,疑惑中 求助Weblogic的问题~! 菜鸟来问问题关于JSP配置??????HELP! 有趣,真有趣的数据库设计题 散分!我已经脱离苦海了!写给像我一样被classpath郁闷的菜鸟们。 请问有谁知道水族箱中的有害物质怎么化验.比如氯,氨.硝酸盐 平面上有5个力作用在o点..平面上有5个力作用在O点,O点和各力的矢量终点恰好在一个正六边形的各顶点,这五个力中最小的力为1N,那么这五个力的合力大小为? c(1/5)KMnO4, 如何测凸透镜的焦点 1g重的物体以250m/s的速度撞击静止的平面,请问撞击能产生多大的力 logspace 对数等分向量 v=logspace(0,2,5)v =1.0000 3.1623 10.0000 31.6228 100.0000v=logspace(0,3,5)v =1.0e+003 *0.0010 0.0056 0.0316 0.1778 1.0000v=logspace(0,4,5)v =1 10 100 1000 10000我想问的是怎么得出来的? +2价钙离子的什么化合物能和氯化铁溶液反应 为社么说人是单细胞生物? 多维空间是指什么?(如四维)一维是长,二维是宽,三维是高,四维是什么?五维呢?六维呢?tarcysusu,能否说得更详细一些? 空的那题 人是单细胞生命吗? 侯氏制碱法制的的是什么物质? 怎么测量凸透镜的焦点 PO是什么意思啊如题 谢谢了收到一张订货单,订货单上也有PO-100**号,下面有一句话是这样的:送货时在送货单上注明PO号是多少?请问,这句话是不是说让我们送货过去的的单上注明他们订货时 侯氏制碱法制得的是什么 办理澳大利亚短期商务签证456,被拒签了.澳大利亚大使馆说我有可能停留那边工作,我该怎么反驳?(原文)The likelihood of you overstaying, seeking to remain in Australia or applying for another visa after your arrival i 外贸中的“PO”是什么意思?“2个PO”又是什么意思? 侯氏制碱法中的“碱”指的是什么? 出国当对外汉语教师好吗? 一个黑洞的能量 张华有一张直径为10厘米半圆形纸片他从中剪下一个面积尽可能大的圆那么剩下部分纸片面积是精确0.01平方厘米 斜面上有一个物体,那么当这个物体静止、匀速下滑、匀加速下滑时,斜面对地面的压力该怎么求? 求空着的那几题! 张华有一张直径为10厘米的半圆纸片,他从中剪下一个面积尽可能大的圆,那么剩下部分的面积是? 一个物体从夹角为α的斜面上以a加速滑下,斜面对地面的压力改变如何?据说是减小了mgsinα,原因是什么呢? 空的几题 如何辨别一个壶是“化工壶”或“代工壶”? 属蛇的养什么动物好 ‘曾经在法国做国2年汉语教师’怎么写? 如何鉴别化工壶 空着的那题 湖南省面积最小的地级市 强相互作用力 弱相互作用力会做功吗 盐酸能与过氧化纳反应吗反应的化学方程式是什么? 农村院里有蛇养什么动物治它 最上第二题,题中的公式 光合速率=净光合速率+呼吸速率,这三个量分别是什么?公式怎么得来? 过氧化纳和盐酸反应的化学方程式 人从哪里来?单细胞从哪里来?宇宙从哪里来? 光子和电子哪个大?光子也是在原子核里吗? 铝与盐酸、氢氧化纳反应需掌握的知识点有哪些?化学计量数与反应有什么联系? 池塘里有龟和鸭共23只,它们的腿共有60条,龟和鸭各有多少只?用算术法 光子和电子传递能量是一对一的,就算光子的能量未传递完也不会给别的电子.那么,如果光子能量未传递完,那光子上剩下的能量干吗去了?发光么? 怎么利用EAN-128码来传递信息 质量为m的小球夹在光滑墙壁与斜面体M之间,M静止于地面,求1.地面受的压力 2.M受地面的摩擦力 氨水吸收二氧化硫后再往吸收液里加浓硫酸生成二氧化硫硫酸氢氨和硫酸氨的离子方程式 关于原朝、宋朝、清朝、明朝、唐朝、春秋、三国古诗各10首.注明作者,朝代 单细胞生物与人的关系?单细胞生物于人类的关系密切,有的对人有益,可做鱼的饵料,如--,--,--,可吞食细菌,使污水净化的如--.有的对人有害,如使人得疟病的--,使人得痢病的--,使人得小虫病的--. 1颗恒星最多只能有1颗孕育生命的星球吗?尤其是智慧生命?有没有可能在宇宙中1颗恒星有 多 颗 孕育 智慧 生命的星球? 4、把一张正方形的纸连续对折4次,折后的每一小块占这张正方形纸的( ). 池塘里有龟和鸭共20只,它们的腿共有64只,龟和鸭各有多少只列方程 为什么我们能看到光子的颜色? 为什么氨盐的检验不能直接加热,再用湿润红色的石蕊试纸在试管处检验?为什么一定是加入强碱加热,再用湿润红色试纸在试管口检验? 关于圆周运动受力问题 三相交流电咋会产生220伏380伏电我知道基本概念,不要把解释概念来当答案.重点是解释三相e=Esinwt产生的正玄交流,相与相间是380,按向量分析它应是另一相的方向相反,大小相等的一个量,即是 GBZ/T 160.29-2004氨的纳氏试剂分光光度法,方法验证的数据 谁发现了光子 KMnO4所表达的意思是什么?H2SO4所表达的意思是什么?最好详细点,比如说分子 急需唐诗、宋朝的诗,明朝的诗,清朝地诗,各五首.这是家作啊! 照相设备的分辨率有没有一个极限?比如把一个小区域的所有光子信息都记录下来? KMnO4是什么 韩首名宇航员学MBA挨批京津冀等六省联防大气污染 北京抓八大韩亚空难最后一名留医伤者出院 共留医美国“监控门”又酿新风波 德法意等国默克尔电话疑遭美安全机构窃听 致电奥拯救英国最胖男子澳科学家“查叶探金”印度灾民仅获1美元政府补偿美欧操纵非洲转基因论战乳腺筛查有误区人大代表:现在村干部随身带公章 不给专家:收入分配是改革大问题 应降垄断颐和园被指随意拆老物件 回应系修缮石北漂保安自学半年考取律师 帮千余农民季建业落马内幕披露 出事后被免职速度印尼一男子酷似奥巴马 形象遭中国企业城管监察成北京公考最热职位 竞争比达云南数百村民打砸公务车 事件因强行征菲律宾总统仍拒绝为马尼拉人质事件道歉太原晋源区政府承认向法院发函 领导称湖南3名干部为升官偷拍县委书记 视频全力冲刺 加快建设确保完成畅通郑州工河南新增4家国家级高新技术产业化基地首批逾百大学生创业项目获扶持郑商所表示将积极推动白糖期权上市全国青运会郑州日进两铜郑州5家物流园区入选全省示范榜单市长电话一周综述突出“三个重点” 狠抓案件查办执法人员集中整治二七广场经营乱象“扎根社区心里才踏实”迎接“双十一” 多方备战忙全省千名优秀导游集中培训提升服务“老家河南・寻城记”带您探访古都文化上海旅游来郑推介邀您畅游黄浦江畔脑血管病防治专家详解高危因素应对出动160名执法队员集中整治二七广场迎接“双十一” 多方备战忙 快递 “揭秘郑州火车站职业骗子 每人每天能骗郑州金水:“互联网+”深化警示教育尚网科技:手机怎么设置路由器?单身狗请自觉点赞
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘