说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Hadoop虽然强大,但不是万能的

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop很强大,但企业在使用Hadoop或者大数据之前,首先要明确自己的目标,再确定是否选对了工具,毕竟Hadoop不是万能的!本文中列举了几种不适合使用Hadoop的场景。

随着 Hadoop 应用的不断拓展,使很多人陷入了对它的盲目崇拜中,认为它能解决一切问题。虽然Hadoop是一个伟大的分布式大型数据计算的框架,但Hadoop不是万能的。比如在下面这几种场景就不适合使用Hadoop:

1、低延迟的数据访问

Hadoop并不适用于需要实时查询和低延迟的数据访问。数据库通过索引记录可以降低延迟和快速响应,这一点单纯的用Hadoop是没有办法代替的。但是如果你真的想要取代一个实时数据库,可以尝试一下HBase来实现数据库实时读写。

2、结构化数据

Hadoop不适用于结构化数据,却非常适用于半结构化和非结构化数据。Hadoop和RDBMS不同,一般采用分布式存储,因此在查询处理的时候将会面临延迟问题。

3、数据量并不大的时候

Hadoop一般适用于多大的数据量呢?答案是:TB 或者PB。当你的数据只有几十GB时,使用Hadoop是没有任何好处的。按照企业的需求有选择性的的使用Hadoop,不要盲目追随潮流。Hadoop很强大。但企业在使用Hadoop或者大数据之前,首先要明确自己的目标,再确定是否选对了工具。

4、大量的小文件

小文件指的是那些size比HDFS的block size(默认64M)小得多的文件。如果在HDFS中存储大量的小文件,每一个个文件对应一个block,那么就将要消耗namenode大量的内存来保存这些block的信息。如果小文件规模再大一些,那么将会超出现阶段计算机硬件所能满足的极限。

5、太多的写入和文件更新

HDFS是采用的一些多读方式。当有太多文件更新需求,Hadoop没有办法支持。

6、MapReduce可能不是最好的选择

MapReduce是一个简单的并行编程模型。是大数据并行计算的利器,但很多的计算任务、工作及算法从本质上来说就是不适合使用MapReduce框架的。

如果你让数据共享在MapReduce,你可以这样做:

  • 迭代:运行多个 MapReduce jobs ,前一个 MapReduce 的输出结果,作为下一个 MapReduce 的输入。
  • 共享状态信息:但不要分享信息在内存中,由于每个MapReduce的工作是在单个JVM上运行。

原文链接:Hadoop isn’t Silver Bullet(编译/Arron 审校/周小璐)

14条建议,使你的IT职业生涯更上一层楼 依托微信的电商产品实践——SDCC 2013讲师潘凡专访 IBM将向Google、英伟达等授权Power架构技术 人脑研究将推动下一代网络革命?从大爆炸到大收缩 H3C携手F5将“空转”数据中心变为“分布式数据中心” W3C小组发布Web存储API推荐标准 开发者必备的6款源码搜索引擎 闪亮登场:开发者制作图形图表所需的11款JS工具包 来自两位技术大牛的博弈:HBase或将制霸NoSQL? 应用改变世界 2013英特尔&#174;创新应用大赛火热开启 看13位CEO、创始人和高管如何提高工作效率 对首次购买智能手机用户而言,苹果吸引力并不大 Amazon Appstore面向Web应用开放 开发者可添加应用内付费功能 CSC收购成功转型的大数据初创公司InfoChimps 嘀嘀打车发展报告:成全球最大出租车调度平台 又摊上事儿了,Android的MasterKey再次出现bug 比特币挖矿必备工具 硬件性能大比拼 RDBMS vs. NoSQL:反派为什么会得以存活并发展壮大 帮助优化移动网站:谷歌发布新指南和PageSpeed Insights工具 增强Web可用性,你需要避免的七大设计错误 Python六大开源框架对比:Web2py略胜一筹 海外看中国:老外开发者间流传着的7件事儿 京东云峰:电商移动云平台背后的技术 初创公司DigitalOcean:55秒搭建一个云服务器 分布式系统事务原子性的非阻塞实现 IBM发布基于人脑特性设计的全新计算架构和编程语言 16款加速编码的HTML5在线工具 JFrog:开源项目的最大挑战是文档和许可 5个技巧打造完美用户体验,不到两年完成用户万到千万的增长 CDN未来的机遇和挑战 华为S12700全可编程交换机进一步挑战思科 高手::::请教一个简单的问题???? 还是.net连oracle的问题 急救!VB访问Linux服务器上的Oracle8i的问题 如何在没有安装.net的机子上运行C#程序阿?? 在模板实参推演中,数组的长度是如何得知的呢??? asp作提交表单 自动发到指定邮箱里。 急哭了!在线等待!!!!!! 为何我的sql服务管理器停止不了,一直为“正在停止”,而一旦停止了却又启动不起来? 怎样调用IE的一些功能??? 求教,急! 初学asp,问个简单的问题吧:怎么样知道客户端的时间? strus的配置和使用,我用jdevelop, ADO+MSSQL对DataSet中Record定位 欢迎讨论,关于水晶报表实现:折线图,或者柱形图问题 在线求助:如何读取B端操作系统信息和浏览器信息? 系統用戶使用權限的設計 combox 问题 急寻MAYA编程高手 服务器端有一个很大的XML(10M)文件,怎样从client端读取? CMainFrame 的窗口句柄怎么得到 从数据库读出文本如何保持原来格式 ? 在winform中,请教关于combobox的一个小问题 Stream Write error??????????? 存储过程的and和or连用 谁有新浪或网易等的短信网关接口? 请问如何在水晶报表里面定义一个全局变量?谢谢 如何配置SMTP服务 使用触发器时想到的 为什么要实现双接口 求DOM(DOMAIN OBJECT MODEL)的详细资料,顶着有分 winxp 在重启时总是提示:"此媒体的类型产品号无效请用正确的cd重新安装",系统进不去! 那位老大给仍一个visual assist 6.0的key,等待中。。。。 请问哪儿有类似于TDBchart数据显示的图形控件? 服务器端有一个很大的XML(10M)文件,怎样从client端读取? 业务导肮? 安全操作系统,谁能用? delphi7中怎么关闭一个子窗体,然后又能正常创建 急!请问怎样把SimensSDK和CodeWarrior整合起来? 江湖救急! 还是关于两个时间之间的处理的问题,大家看看! 高分求助:关于OPENFORM的问题! <秦>(全本) :am(酒徒) 强烈推荐 安全操作系统,谁能用? 高手助我!!!如何从数据库中的日期格式中分别取得年、月、日??? 关于拦截文件操作的API的钩子程序求教:qq:55020921(再问) 我用asp.net开发的网站。客户机没装。net框架,能不能访问网站。 跨年的问题 在线等 谢谢 嗨!哥们们!中科大美国加里福尼亚州州立大学计算机硕士张左伟“软件测试管理体系与案例分析”免费公开课去吗???? 求代码(屏蔽源代码的),给高分 评职称,大学的时候没过4级,能评吗? 急!请问怎样把SimensSDK和CodeWarrior整合起来? 有几个问题请高手指教,多谢,多谢!!! 已知0 泰罗奥特曼中有一集一个宇宙飞蛾怪兽吐雾覆盖整个地球,然后泰罗飞向奥特星球,这集就结束了,下集的内容 求证,任意连个连续整数之积是2的倍数 甲、乙两数的和是323.2,如果把乙数的小数点向右移动两位就等于甲数,求甲数是多少?求啦, 数学同步上16页最后一题延伸扩展怎么做Ax6=Bx9 A:B=( ):( )4X=y除5 X:Y=( ):( )是关于比例的 甲乙两数的和是323.2,甲数的小数点向左移动两位就等于乙数,甲数是多少 甲、乙两数的和是323.2.,乙数的小数点向右移动两位就等于甲数是 甲、乙两数的和是323.2,甲数的小数点向右移动两位数就等于乙数,乙数是( ). 拓展延伸最后一题 ,(3)题 求视频:宇宙英雄泰罗奥特曼宇宙飞蛾上 泰罗奥特曼宇宙蛾是好的还是坏的? 数据显示中国赴美名校留学生每4人就有印度连环爆炸案已致6人死亡 反对党指因监听事件遭指责 德情报部门计划加强智能手机横行 日本偷拍案件五年翻一番伊朗将举行系列会谈 为新一轮核问题谈韩国自主研发太空观测卫星抵俄基地 拟500万叙利亚人在国内成难民 冲突严陕西“房姐”龚爱爱案10月31日二审买机票就送高铁票 两岸廉价航线延揽长男子半夜裸身从奉化游泳到鄞州 吸毒重庆一校从不请家长 学生犯错到小房间朱莉疑似吸毒后视频曝光“宝”类理财产品收益率普跌“哈利·波特已有些许白发”嬉水消夏假应聘真敲诈,企业用工遇“碰瓷”军队审计发现线索必须移送执法部门高振华作品展纪念张大千诞辰宝山大华女篮俱乐部成立把联系点建成示范点旧改目标任务完成过半巴士集团更新2300辆空调车
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘