说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Hadoop虽然强大,但不是万能的

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop很强大,但企业在使用Hadoop或者大数据之前,首先要明确自己的目标,再确定是否选对了工具,毕竟Hadoop不是万能的!本文中列举了几种不适合使用Hadoop的场景。

随着 Hadoop 应用的不断拓展,使很多人陷入了对它的盲目崇拜中,认为它能解决一切问题。虽然Hadoop是一个伟大的分布式大型数据计算的框架,但Hadoop不是万能的。比如在下面这几种场景就不适合使用Hadoop:

1、低延迟的数据访问

Hadoop并不适用于需要实时查询和低延迟的数据访问。数据库通过索引记录可以降低延迟和快速响应,这一点单纯的用Hadoop是没有办法代替的。但是如果你真的想要取代一个实时数据库,可以尝试一下HBase来实现数据库实时读写。

2、结构化数据

Hadoop不适用于结构化数据,却非常适用于半结构化和非结构化数据。Hadoop和RDBMS不同,一般采用分布式存储,因此在查询处理的时候将会面临延迟问题。

3、数据量并不大的时候

Hadoop一般适用于多大的数据量呢?答案是:TB 或者PB。当你的数据只有几十GB时,使用Hadoop是没有任何好处的。按照企业的需求有选择性的的使用Hadoop,不要盲目追随潮流。Hadoop很强大。但企业在使用Hadoop或者大数据之前,首先要明确自己的目标,再确定是否选对了工具。

4、大量的小文件

小文件指的是那些size比HDFS的block size(默认64M)小得多的文件。如果在HDFS中存储大量的小文件,每一个个文件对应一个block,那么就将要消耗namenode大量的内存来保存这些block的信息。如果小文件规模再大一些,那么将会超出现阶段计算机硬件所能满足的极限。

5、太多的写入和文件更新

HDFS是采用的一些多读方式。当有太多文件更新需求,Hadoop没有办法支持。

6、MapReduce可能不是最好的选择

MapReduce是一个简单的并行编程模型。是大数据并行计算的利器,但很多的计算任务、工作及算法从本质上来说就是不适合使用MapReduce框架的。

如果你让数据共享在MapReduce,你可以这样做:

  • 迭代:运行多个 MapReduce jobs ,前一个 MapReduce 的输出结果,作为下一个 MapReduce 的输入。
  • 共享状态信息:但不要分享信息在内存中,由于每个MapReduce的工作是在单个JVM上运行。

原文链接:Hadoop isn’t Silver Bullet(编译/Arron 审校/周小璐)

如何学会600多种编程语言 “第五届中国云计算大会”将于2013年6月5-7日在京召开 Ridiculous Fishing:游戏遭遇山寨如何一雪前耻 老游戏的今天:Doodle Jump每周进账2万美元 剑指Evernote 谷歌正式推出Google Keep 开源的JS MVC框架 Backbone.js 1.0发布 前Facebook资深员工王淮给技术创业团队的十点建议 微软发布Windows Embedded 8系列操作系统 Google Play 4.0抢先体验 中国 vs. 非洲:移动医疗的前世今生 Java大数据框架初创企业Concurrent获400万美元融资 基于Edge Animate开发CSS3 Animations 后端服务商Firebase发布全新iOS SDK [爆料]百度云或在秘密打造实时移动Web App开发框架 打造最佳开发团队的几点建议 Facebook与开发者交恶 扼杀第三方应用 负载大逃亡:四十二路怪兽联军及七条逃生法则 那些年,MIT技术男们奇妙的黑客作品 深度分析:腾讯3.3亿美元收购Epic股份值吗? 传下一代iOS或将推行扁平化设计 iOS开发者注意:苹果将拒绝访问UDID的应用上架 领先Google、Amazon、Dropbox,Apple云存储用户最多 传IBM重新设计晶体管 预计五至七年内成熟 快讯:云计算大会6月召开 云计算概念企业股票飙升 集成开发环境:Qt Creator 2.7.0发布 移动周报:“今日头条”CEO,爱冒险的技术宅 从China Daily的iPad版,看中国纸媒如何摆脱“旧情结” 天睿推出大数据探索平台:“开箱即用”的数据分析 Basho开源Riak CS,与AWS S3兼容的云存储架构 MongoDB Days北京杂记 VMware携手亿阳信通 铺垫混合服务 **请教:怎么让MSFlexgrid的一行显示一种颜色. 一个小问题,希望有人能解答! DLL高手请入,关于在DLL中引出对象的问题?????? 求教!!有关DLL调用中返回字符串类型出错的问题。 Delphi怎么实现子类化? session 和 cookie 各有千秋,区别在那里啊?敬请赐教! fm1008leaf(小幻姬(玉笛书生的徒弟)):我考考你就知道你是真是假! jneu(沧海桑田)怎么不理我?有关宏拷贝问题 paradox中的NUM类型在sql语句中是什么类型?为什么asfloat会出错? 关于J2EE的就业前景,值不值的花二万元参加一个二十天的培训,欢迎大家热烈讨论 在listbox 中,如果知道了一个Item的内容,怎么知道它的indix 今有同仁问到,三十以后咋过。恰巧心情郁闷,发上几句牢骚。 少年暗恋对象,早已嫁作人妇。那天遇见街头,孩子叫我叔叔。 OICQ问题! 如何可获得Table 内字段的类型及长度? windows2000 server 的internet 共享怎样设置权限 软件开发的请进来讨论,关于报酬的问题。大家多提建议。 1.为什么有些地方可以用MessageBox函数,有些地方不可以2.mfc的CView::OnFilePrint提供了打印的方法,要是一个程序没有视图要打印一般用什么方法? 请问在DEVELOP2000里面可以使用进度条控件吗?怎么编程实现? ???oracle监听器问题? WebBrowser控件获得网页中文本框的名称该如何写? CFtpConnection 怎样在FastReport中控制或判断所连接的数据库表到了eof? CTypedPtrList模板对象中,如何删除指定位置的元素??十分着急! ms sql server 的技术问题 怎样清除事务日志????????? 在那里改个人在cdsn.net注册信息(如名字,地秩)? 关闭窗口的事件如何触发?( 高手们请问deiphi如何实玩宏代换???????????十分火急!!!!!!! 请帮忙!!SOS!!! 请问如何实现宏代换????????????? 关于打印的一个不错的设想 我是新手,初次接触网络管理,请问要管理局域网需要具备哪些方面的知识,需要安装那些应用软件?有什么好书可以介绍吗?谢谢各位! 在VB中设计控件,其上放有uText1、Text2,当uText1失去焦点时,并不触发Validate事件 如何在程序中判断是否做了超级连接? 怎样使listview中的大图标左右居中,上下居中。 怎么样处理聊天室的退出问题? 比较大的问题,请做过JAVA系统集成方案的朋友指点!!! applet,这个霸道的家伙!怎么解决阿? c++类的一个小问题 一个大家都很棘手的问题 关天构造函数的问题 学习《windows程序设计》中的问题? pb8里的autoscript怎么弹出那么慢 消息:c++与Visaul c是不是有一定的区别呢? 怎样通过程序获得当前可用的拨号网络列表?? 高手在哪里?-------> 如何在第一时间里获得屏幕的变化呢?及获得屏幕变化的那部分?各位大师,帮帮我。谢了。 请问想具备基本的网络和数据库管理方面的知识,看什么书好啊?请大家帮忙推荐一下,谢谢! 请教W2k下使用Access的问题 大家帮帮忙,sql菜鸟问题, 各位兄弟帮忙看一下 谁知道高程分数线?拜托告知一声! 如何判断是否做了超级连接? 纯粮酿造和食醋酿造的白醋有什么区别 食盐加碘为什么只可加碘酸钾而不可加碘单质或其他碘化合物? 食盐中碘含量 食醋是白醋吗 为什么要吃含碘的盐? 1.五水硫酸铜和硫酸铜溶液有什么区别?不是硫酸铜加水得到五水硫酸铜吗?2.硫酸铜溶液是由无水硫酸铜加水得来的吗?3.CuSO4·5H2O是属于化合物还是什么?4.水合结晶硫酸铜又是怎么回事?是什么 已知NAHCO3不稳定,受热易分解成NA2CO3、H2O、CO2气体.现将某碳酸钠和碳酸氢钠的混合物共27.4g加热到质量不再变化时,称得剩余固体质量为21.2g.求混合物中碳酸钠的质量.(Na—23,H—1,C—12,O—16) 加碘食盐所含的碘元素是以什么形式存在的.单质还是化合物? 硫酸铜五水硫酸铜无水硫酸铜无水硫酸铜不能容解是吗?如果能溶解,那它的溶质叫什么?五水硫酸铜溶解以后的溶液叫五水硫酸铜还是硫酸铜?为什么?具体有什么区别? 有关金属化学反应的问题前段时间,我在大街上碰到一个哑巴尼姑,听人说是量尺算命,把我拽过来给我量完后,就送给我一个黄金色的观音像,(并且还给我开了光).我回去之后就把黄金色的观 无水硫酸铜加水是化学反应吗? 如何由硫酸铜溶液怎么得到五水硫酸铜? 活泼金属的化学反应,. 无水硫酸铜吸水变蓝是化学反应么/ 高一化学题(气体摩尔体积计算)在标准状况下,11.2LCO和CO2的混合气体质量为20.4 g.求它们的体积之比和质量之比. 加热3.24gNa2CO3和NaHCO3的混合物至质量不再变化.盛衰固体质量为2.51g.计算原混合物中Na2CO3的质量分数. 无水硫酸铜溶于水是化学反应吗 一道高一化学题(关于气体摩尔体积计算)19世纪有些化学家测定某元素R的相对原子质量时,采用的办法是:用等容积的烧瓶4只,分别盛入N2、X、Y、Z四种气态物质,操作时先把烧瓶抽成真空,充 将36mlKBr和KI的混合溶液分为两等份.向其中一份通入足量的cl2,完全反应后,将溶液蒸干,灼烧所得物质,得到6.1g固体残留物.测得另一份混合液中I离子的浓度为0.86mol/L.计算:1)原溶液中含有KBr的 高一“碱金属”的化学计算题1-2个正确选项!标况下,CO2、CO的混合气体充满盛有足量NA2O2的密闭的22.4L的容器中.用火花使其反应完全.反应后,容器内有:()A.0.5molCO B.0.125molCO2 c.0.25mol NA2CO3 D.0.5 高一化学气体摩尔体积练习在同温,同压下,A容器的氯气和B容器的氨气中,若他们所含的原子数相等,则这两个容器的体积比是?A 2:1B 2:3C 1:2D 1:3 在50g46%的乙醇水溶液中,含有的分子总数为多少?(不考虑物质的电离)写出计算过程.可以给出必要的解释更好. 化学计算题,关于金属的某样品为铜和锌的合金,为测定合金中铜的含量,取用20G此样品,分四次向其中加入稀盐酸与这充分反应.每次所用盐酸体积与反应剩余固体的质量如下:第次 样品质量(G CS2(常温下为液体)在氧气中充分燃烧生成SO2和CO2,若0.1mol CS2在1mol O2中完全燃烧,反应后气体混合物在标准状况下的体积是多少? 上海某些工厂用硫磺生产硫酸,现将S燃烧生成SO2,进一步氧化成SO3,最后与谁反应制的98%的硫酸(1)98%的硫酸的密度为1.84g/ml,则该硫酸的物质的量的浓度(2)取100g的该硫磺,加水稀释至1 化学金属的计算题,急.小娟取CU-ZN合金的粉末32.5g,与该足量盐酸反应后,产生了0.4kg的气体,计算 出该合金中铜的质量分数. 高一化学题下列说法正确的是()A 28克氮气所含有的原子数目为NAB 4克金属钙变成钙离子时失去的电子数目为0.1NAC 1mol甲烷的质量与NA个甲烷分子的质量之和相等D 标准状态下,22.4L甲烷和乙炔混 一道化学计算题,(一)将一定量 Cl2 通入250mL KBr 溶液中,反应后将溶液蒸干,测知所得固体中含溴元素10g,且 K+ 与 Cl- 的物质的量之比为2:1.试求:(1)通入Cl2的体积(标准状况).(2)原KBr 由某二价金属氧化物和某三价金属氧化物的等物质的量组成的混合物两者之比为28:51,取这种混合物19.75克,恰好能与166mL浓度为20%、密度为1.10g/立方厘米的盐酸反应.试求这两种金属的相对原 市场上有卖不含碘的盐吗?是什么品牌的? 食醋是不是就是白醋? 托盘天平两端的烧杯中各盛浓度和质量都相同的足量稀硫酸,此时天平平衡;然后向一烧杯中加入6克镁粉,向另一烧杯中加入6克铜铝合金,充分反应后,托盘天平仍保持平衡,则铝铜合金中铜的质 怎样测试盐含不含碘把土豆切开放点盐,土豆变色就是含碘,这种方法对吗? 食醋是不是白醋 【高一化学】检验碘的实验》》》卫生部规定食盐中必须加碘,其中碘以碘酸钾(KIO3)的形式存在.已知溶液中IO3(-)和I(-)可发生反应:IO3(-)+5I(-)+6H(+)====3I2+3H2O.据此反应,可用试纸和一些生活中 不含碘的食盐能吃吗 食醋的标准有什么? 白醋是不是食醋? 设计一个试验检验含碘食盐中的碘试验原理,材料,仪器和要注意的问题 食醋的酒精含量标准是多少? 白醋是不是叫食醋 检验食盐中的碘(实验)?验证食盐是否含碘,用一般家庭中有的东西能检验出来吗?如果不行的话,用用什么方法呢? 关于食醋的制法的疑问,请专业人士解答?原料先经蒸煮、糊化、液化及糖化,使淀粉转变为糖,再用酵母使发酵生成乙醇,然后在醋酸菌的作用下使醋酸发酵,将乙醇氧化生成醋酸.这句话中我有两 请问水银和水会发生化学反应吗 无水硫酸铜与什么反应能变色还要在后面写出化学式 白醋和其他食用醋成分有何区别? 砒霜和汞会产生什么化学反应?中药十九畏里已经明确说了``“水银莫与砒霜见”`` 两种药在一起用不但不会毒性相冲而消失``反而会比原来的毒性更强所以很好奇,砒霜和汞化学反应会产生什 氢气能使无水硫酸铜变色吗 日常食用醋和白醋的区别是什么, 一道化学计算题 高一将6.9g钠和4.2g硅同时投入盛有足量蒸馏的大烧杯中 1、在标准状况下能收集到多少升氢气? 2、无气体生成后所得溶液体积恰好为100ml,求溶液中溶质的物质的量的浓度 无水硫酸铜放入水中变色是化学反应吗?是无水硫酸铜! 用白醋洁面可以美白,请问白醋是那种食用醋吗?还是别的什么白醋?具体要怎么弄的?其实我是要问如果用白醋洗脸,可以用那种食用的白醋吗?会对皮肤造成什么损失吗?另外这针对年龄吗? 将氢氧化钠和碳酸氢钠的固体混合物20.8g在密闭容器中加热到约250℃,经充分反应后排出气体、冷却,称得剩余固体质量为15.9g.试计算混合物中氢氧化钠的质量分数.答案为68.1% ,如果是答案错了, 含碘食盐怎样日常保存?如题我想找些关于含碘食盐的日常保存的资料,做探究用的. 跪求高一必修一化学计算题求解 急!~~~将0.1mol的铁铝混合物溶于100mL/L硫酸溶液中,然后再加1moL/LNaOH溶液中,然后再滴加1moL/L NaOH溶液(1)若在滴加NaOH溶液过程中,欲使亚铁离子和铝离子刚好沉 一道高一的化学计算题4.3gNa、Na20、 Na2O2的混合物语足量的水反应,生成0.36的混合气体,放点条件下,这些气体恰好完全反应,求各组成物质的质量.谢谢啦!可以顺便求出准确数值吗 怎么去除食盐里的碘 金属和金属会产生化学反应吗?为什么?最外层电子可以通过共用而趋向稳定吗?像镁和氧一样 我国规定食用加碘盐中碘元素的含量为每千克食盐含碘20ng-40mg.生产中通常加入碘元素的稳定化合物碘酸钾(KIO3)来达到这一生产标准.现有10t食盐,大约应加入多少碘酸钾?怎样才能使这些食 如何验证盐中含碘首先,在选购时应注意检验一下含碘量.用少许盐放入白瓷碗内,用水拦湿入微量漂白粉拌匀,再加入少量淀粉,搅拌观察.若盐中含碘,便呈蓝色,含碘越多,蓝色越深,若无碘则呈现
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn