说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Hadoop虽然强大,但不是万能的

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop很强大,但企业在使用Hadoop或者大数据之前,首先要明确自己的目标,再确定是否选对了工具,毕竟Hadoop不是万能的!本文中列举了几种不适合使用Hadoop的场景。

随着 Hadoop 应用的不断拓展,使很多人陷入了对它的盲目崇拜中,认为它能解决一切问题。虽然Hadoop是一个伟大的分布式大型数据计算的框架,但Hadoop不是万能的。比如在下面这几种场景就不适合使用Hadoop:

1、低延迟的数据访问

Hadoop并不适用于需要实时查询和低延迟的数据访问。数据库通过索引记录可以降低延迟和快速响应,这一点单纯的用Hadoop是没有办法代替的。但是如果你真的想要取代一个实时数据库,可以尝试一下HBase来实现数据库实时读写。

2、结构化数据

Hadoop不适用于结构化数据,却非常适用于半结构化和非结构化数据。Hadoop和RDBMS不同,一般采用分布式存储,因此在查询处理的时候将会面临延迟问题。

3、数据量并不大的时候

Hadoop一般适用于多大的数据量呢?答案是:TB 或者PB。当你的数据只有几十GB时,使用Hadoop是没有任何好处的。按照企业的需求有选择性的的使用Hadoop,不要盲目追随潮流。Hadoop很强大。但企业在使用Hadoop或者大数据之前,首先要明确自己的目标,再确定是否选对了工具。

4、大量的小文件

小文件指的是那些size比HDFS的block size(默认64M)小得多的文件。如果在HDFS中存储大量的小文件,每一个个文件对应一个block,那么就将要消耗namenode大量的内存来保存这些block的信息。如果小文件规模再大一些,那么将会超出现阶段计算机硬件所能满足的极限。

5、太多的写入和文件更新

HDFS是采用的一些多读方式。当有太多文件更新需求,Hadoop没有办法支持。

6、MapReduce可能不是最好的选择

MapReduce是一个简单的并行编程模型。是大数据并行计算的利器,但很多的计算任务、工作及算法从本质上来说就是不适合使用MapReduce框架的。

如果你让数据共享在MapReduce,你可以这样做:

  • 迭代:运行多个 MapReduce jobs ,前一个 MapReduce 的输出结果,作为下一个 MapReduce 的输入。
  • 共享状态信息:但不要分享信息在内存中,由于每个MapReduce的工作是在单个JVM上运行。

原文链接:Hadoop isn’t Silver Bullet(编译/Arron 审校/周小璐)

JavaEE快速开发框架Wabacus 4.0发布,开发效率提高五倍以上 市盈率创新高 谷歌为什么会在苹果博弈中暂时胜出 从Rovio遇到危机,看现在应用市场的演变 Windows Azure支持Android应用 面向东亚推广云服务 抛弃DRAM、拥抱闪存,Facebook重做Memcached 夏普三星联姻 电子行业或将多元化发展 从下拉菜单设计细节看Amazon对用户体验的把握 Chartboost美女CEO:40人团队服务3亿移动玩家 Distimo:新晋开发者想让产品得到关注越来越难 OpenFeint绝迹后,开源项目OpenKit继续前进 美FDA通过搜索引擎和社交平台预警药品副作用 挖坟三星“眼球追踪技术”背后的技术团队 为什么开发者热衷在Stack Overflow上查阅API文档? Facebook推新News Feed 欲造就“个性化报纸” 女神程序员的一天:暴力测试social爬虫代码 2013IBM云存储路线图:更快,更简单,更安全 二战大数据故事:数学家、物理学家、概率论击败德国潜艇 软件定义网络服务商Pertino B轮融资2000万 Scringo社交组件,让你的应用“热闹”起来! Android开发必备:Eclipse 4.2 SR2版本发布 32场!2013年360HTML5校园行首站告捷 移动周报:不做内容,只钻技术的快播 一周消息树:中国开源发展缓慢的“病因” 百度应用引擎BAE正式开放 新增支持Node.js CloudVelocity,下一个VMware? Buffer创始人谈开发:先验证,后编程! 谷歌可穿戴式产品再度来袭:会说话的鞋子 未来Chrome OS或取得Android般成功 云落地@北京,北京市北斗公共平台或开放API? GitHub再遭攻击 主要服务中断约一小时 移动开发者将有望拥有.app域名使用权 壹?ACCESS2000的数据库有几行坏了,无法用ACCESS修复/无法删除,一读到该行ACCESS就直接退出,怎么办? 号外:今天终于卖了侯捷的Inside The C++ Object Model ,休息时可以翻番,为了祝贺特灌水100 谁能给我连 接sql2000数据库数据原的原代码===火急!!! 高手帮忙,如何让我能用jbuilder5? 请问用Perl编写用户交互程序 请问各位大哥,上海的高程考试在哪里报名啊? dcom 服务器关闭时怎能捕捉异常 三戒,有请~~~ 谁知道websphere的试用版怎么做掉? 打印DataReport时怎样用API改变系统的纸型,急急急急急急急急急!!!! 新来的~~来报到了~~只能送20分~~希望大家不嫌弃~~ 请成功使用JBuilder5的朋友指教!! 激情放送 五位QQ号,100块,你会要吗? 555~~~~挂了PASCAL挂了,5555~~~~我学不好DELPHI 了5555谁帮我呀!!! 有编过游戏修改器的高手吗? jinesc领分~~~ 如何使UpDown每次增加或减少0.5? 有个问题很困惑,请教 上傳后,服務器端如何接收? 各位高手好!现在有谁是正在使用 LINUX 上网的.报一下好吗!!!!!! 我快神经了,求救 各位高手好!现在有谁是正在使用 LINUX 上网的.报一下好吗!!!!!!!! 别笑我傻,又有简单问题 各位高手好!现在有谁是正在使用 LINUX 上网的.报一下好吗!!!!!!! 各位高手好!现在有谁是正在使用 LINUX 上网的.报一下好吗!!!!!!!!!!!! 各位高手好!现在有谁是正在使用 LINUX 上网的.报一下好吗!!!!!!!!! 大家都谈谈建立什么样的目录结构能更好的管理硬盘里的东东 lilo 如何设置??请赐教!! 各位高手好!现在有谁是正在使用 LINUX 上网的.报一下好吗!!!!!!!!!!!1 mts是什么? mts是什么?? 学习汇编要什么基础,要看什么样的书,有没有好的汇编的电子参考书下载呢? 腾讯的qq怎么不好用了? 有CCNA,Scjp2,高程的计算机本科生能卖多少?(答者有分,只能给33分,没办法) word的表格问题 如果开另外一个线程来进行注册码检验,是否比较难CRACK? 请问高程考试考试的难度 怎么让程序启动的时候接受参数? mts是什么??? 我也调查:这里有多少冠名以“独孤”的,为何独孤???? 菜鸟SOS 个人论:编写程序方法论(原作者,huangbeyond) 向流版主学习,戒网!戒网!成天在网上瞎转,不如下去加强学习,碰到问题再上网寻求答案,天天在网上泡得久了,看到各大PB网站的编程技巧都有些视而不见了.....到PB论坛很多人都象到自己喜爱的聊天室了,到论坛好象就是来聊天一样.....戒网!戒网! 如何编写一个集成Ms Word的控件,能够处理WEB上的文件排版 怎么不能下载呢? 我是女孩,有人信吗??嘻嘻~~ 谁知道关于用vc编游戏的书,请各位大虫们介绍介绍好吗?谢谢了!!!!!!!!!! 有关sql server不能显示中文啊?? 关于B/S动态刷新问题 想不到,摩机三年今天居然栽了 英语翻译像四川九寨沟,张家界,安徽黄山,桂林山水,等等 英语翻译词组 梦想中的旅行 可不可以用dreamy trip?dreamy 不是有 虚幻的 模糊的意思嘛? 英语翻译 "周末去旅游好吗?"的英文翻译是什么? “旅行很快就结束了”英文翻译要用过去时! 王勃故事 文言文 急 英语翻译 翻译下就行 我看看大意3. Results and discussions3.1. Extraction kineticsThe characteristics of the bed and the particles were: particle average diameter of 3.9×10−4 m, true particles density of 1524 kg/m3, apparent bed de 翻译英文:天气变冷,注意保暖. 文言文 王勃故事 我们用了一周的时间在桂林欣赏了美丽的风景英文翻译 天气变冷了 英汉互译 文言文 王勃故事 的题 我喜欢那美丽的风景!用英语怎么说? 天气变冷了 用英语怎么说 It is 《王勃作》译文我不要滕王阁序的译文,我要的是《王勃作》这篇的译文,是写王勃在写《滕王阁序》的过程等等的那篇古文啊~OK? 我们用一周的时间在桂林欣赏了美丽的风景英文翻译 用英语翻译 :这的天气突然变冷, 《唐才子传》王勃的译文?开头是:勃子子安,太原人,王通之孙也.百度上的那个不一样的~不要复制过来,请看清楚了再回答! 我将站在巴黎铁塔的最高层去欣赏巴黎美丽的风景 用英语翻译不要拿机器翻译 英语翻译英语翻译:如果吃药之后还没好,我就带你去医院看病. 王勃故事(简短) 英语翻译希望哪位达人帮我翻译.事后会追加分值.摘要:发展旅游电子商务不仅是中国旅游业自身发展需要,也是信息时代中国旅游业面临国际旅游业竞争的必需.通过分析中泰旅游电子商务发 英文翻译:你需要带上一些衣服,因为在这个天气去山上,早晚有点冷 王勃故事 现代科学研究发现:人除了头部大脑外,还有一个大脑藏在肚子里,称为“腹脑”.换句话说,你再也不能像过去那样将肚子简单地视为“酒囊饭袋”了.它是你的“第二大脑”.那么,造 英语翻译我觉得,最理想的度假地一定是一个美丽的海滨城市,那里要有充足的阳光,柔软的沙滩和多姿多彩的海滩派对.还要有很多美女帅哥,数不清的椰子树以及一整天都放不完的动听音乐.我 英语翻译chicking file system on E最前面这个chicking是不是指系统的某个文件名呢? 英语翻译王勃著《腾王阁序》,时年十四.都督阎公之不信,勃虽在座,而阎公意属子婿孟学士者为之,已宿构矣. 旅游新热点 用个英文翻译 英语翻译Happy birthday to a special friend!Although I haven't known you many years,Perhaps because you've dried so many tears,Pleasure reigns as I these greetings send.Your happiness should last till all things end!Because you've been so sweet an 英语翻译王勃著《滕王阁序》,时年十四.都督阎公不之信.勃虽在座,而阎公意属子婿孟学士者为之,已宿构矣.及从纸笔巡让宾客,勃不辞让.公大怒,拂衣而去,专会人伺其下笔.第一报云:‘南昌 自己画的画 英文翻译 最热门的旅游景点在哪里?风景旅游景点最多旅游人数是哪里? ha ku na ma ta ta 翻译成中文是什么意思?我这个人是个英文盲. 你喜欢哪一类型的画?求英语翻译 上海热门旅游景点有哪些? 英语翻译you never know until you try you uever know until you try and you never try unless you really try you give it your best shotyou do the best you can and if you've done everythingin your power,and still fail_the truth ofthematter is that yo 英语翻译:你明天和他一起来上海吗? 英语翻译“你越轻视我,我越要游得快”.关键是“越---越---”句式 在中文里它的发音是ta.翻译成英文 英语翻译亲们,最近想跳槽到一家鞋企,人家要英文简历.我现在想知道报价员的英文该怎样翻译的.如果您是这行的就更好,希望能得到您的指点, 求“去上海一定要去东方明珠电视塔游玩”的英文翻译,关键词include Close my eyes and feel your mindTime has passedI walk like a shadowNever knewWhat I am going throughYou touch my heart and take my breath awayWhisper on the wind so softlyLet the bright stars fill out dreams with loveReach for your hand (you re holdi 英语翻译想翻译好报价单上交,该去哪里翻译啊 你给了我一次愉快地旅行 英文翻译 英语翻译它叫做——pet girl 英语翻译注意:请用人脑翻译 帮忙用英语翻译一句话 “一次遥远的旅行” 英语翻译 英语翻译是以What's —— —— —— this computer 英语翻译我相信你在中国将会有一个美好的旅行! 英语翻译 初一英语翻译:价格合理 英语翻译 进行一次家庭旅行 以下英文翻译成中文这是啥意思giankangshenghuoyacheengde? 旅游景点英文翻译 英语翻译是7个词语和成的 英语翻译1.One pair of platinum and diamond jewelery2.a surprise gift3.A group of special envoy4.A mysterious lucky5.A beautiful story,a love song for some exciting6.Wearing a white wedding the bride7.She is the world's most beautiful bride8.At th 英语翻译先是关于九寨沟滴1.五花海2.五彩池3.我们路过了许多景点.(注意哈,过去时)4.熊猫海5.诺日朗瀑布6.树正寨还有一句:从山脚爬到山顶一共有3800米,但我和爸爸还是坚持爬了上去, 英语翻译To minimise ATM fees,withdrawal the maximum allowed each transaction,usually 20 banknotes or 20000 baht.Your personal daily withdrawal limit will be enforced if less than the equivalent of 20000 baht.If you intend to bring Travellers Cheq 英语翻译Ofcourse,in a company that’s grown from three employees to 10,000 and from zerovalue to hundreds of billions of dollars in about five years,it may bequibbling to talk about “problems”,but there’s no doubt that such rapid growthdoe
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn