说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

7个大数据流言——避免错误的Hadoop和云分析决策

HTML文档下载 WORD文档下载 PDF文档下载
要说Google的3大论文打开了大数据处理之门,那么Hadoop无疑是创造了大数据处理的开源传奇!然而传奇的周围从不缺乏流言,这不,为了“辟谣”,Adam Bloom在VMware博客上发表了入门Hadoop需要避免的7个流言。

Hadoop是由英雄们创造的开源传奇,然而传奇经常还伴随着一些流言——这些流言可能会导致IT高管们带着乐观的心态去制定策略。

数据体积和数据使用在以惊人的速度增长着,这一点从分析师的分析中不难获得——IDC今年在数据存储上的 增长速度将达到53.4%,AT&T声称 无线数据的流量在过去的5年内增长200倍,如果你着眼自己通信渠道的话,将毫无疑问的发现互联网内容、电子邮件、应用通知、社交消息以及每天自动接收的消息都在显著的增长。这也是为什么 从McKinsey到Facebook再到Walmart都重点聚焦于大数据。

就像我们看到的90年代与2000年代的互联网泡沫,大数据同样会导致一些公司做出糟糕的设想和决策。

Hadoop毫无疑问是公司为了解决大数据需求的主要投资领域之一,而类似Facebook这些在大体积数据处理上有所建树的公司都公开的吹捧过在Hadoop上取得的成功,同样初入大数据领域的公司也必先着眼这些成功的典型。Adam Bloom的一个MIT(麻省理工学院)计算机科学校友曾对他说:“when all you have is a hammer, everything looks like a nail。”通过Hadoop的炒作,我们可以避免 功能固着(functional fixedness)这种认知偏差。 Hadoop是一个多维的解决方案,可以通过不同的方式进行部署和使用。下面就看一下公司在开始Hadoop项目之前必须了解的一些关于Hadoop和大数据的预先构想的错误理念

1. 大数据只关系到体积

在体积之外,许多工业先锋还经常提到 variety(多样)、variability(可变)、velocity(速度)和value(价值)。撇开所有单词都押头韵,关键点在于大数据并不是体积上的增长——它正在向着实时分析、结构化和非结构化来源方向发展,并被用于尝试和制定更好的决策。综上所述,不是只有分析大体积数据才会获得价值。举个例子,超时限的存储和分析1PB的数据的价值可能比不上实时分析1GB的数据。从工具集上考虑,你可能需要一个内存数据网络进行实时的分析,从新鲜的数据上获得价值,而不是去解剖过时的数据获得价值。

2. 传统SQL不可以在Hadoop上使用

当Facebook、Twitter、Yahoo!在Hadoop上豪赌时,他们同样知道HDFS和MapReduce受限于处理类似SQL语言的能力,这也是 Hive、 Pig和 Sqoop最终得以孵化的原因。基于全球上大量的数据都是通过SQL来管理,一些公司和项目都在Hadoop和SQL的兼容上狠下功夫。

3. 取代大型机!Hadoop是唯一的新IT数据平台

在IT投资组合里有很多一直长期存在的投资,而大型机就是这么一个例子,与ERP、CRM和SCM这些系统一样演变至今。而如果大型机不想被公司或者架构遗弃,它就必须展示在现有投资环境中的价值。而VMware的许多客户在使用大型机上都遇到了速度、规模和开销的问题,但是并不是没有途径去解决这些问题,比如像vFabric SQLFire这样的内存大数据网络就可以被嵌入或者使用分布式缓存途径去解决类似队列的高速摄取、促进大型机的批处理或实时分析报告这些问题。

4. 虚拟化会导致性能下降

Hadoop最初的设计只是在实体服务器上运行,然而随着越来越多机构的采用,许多公司都希望它能作为数据中心服务在云中运行。为什么这么多的公司都希望虚拟化Hadoop?首先要考虑管理基础设施的扩展性,VMware快速的认识到扩展计算资源,比如虚拟Hadoop节点,当数据和计算分开时会对性能有所帮助,否则如果你关闭某个Hadoop节点将丢失上面的所有数据或者添加一个没有数据的空节点。而鉴于这个原因,许多来自MapR、Hortonworks、Cloudera和Greenplum的专业Hadoop发行版都支持 Project Serengeti和 Hadoop Virtualization Extensions(HVE)。

5. Hadoop只可以在数据中心运行

首先,存在SaaS云服务解决方案。许多云服务允许你云端运行Hadoop、SQL,这无疑可以帮助你省下数据中心建造投资的时间和金钱。对于一个公有云运行时,Java开发者可以从Spring Data for Hadoop以及一些其它的GitHub中的用例获益。

6. Hadoop对虚拟化毫无经济价值

Hadoop通常解释在一堆商用服务器上运行,这样就会有人认为添加一个虚拟层在带来额外支出的同时并不会有额外的价值收益。用这个观点看是存在缺陷的,你并没有考虑到数据和数据分析事实上都是动态的。想成为一个利用Hadoop能量去成长、创新及创造效率的公司,你必须改变数据的来源、分析的速度等等。虚拟化基础设施同样可以减少物理硬件的封装,让CAPEX直接等于纯粹的商用硬件,而通过自动以及更搞笑的利用共享基础设施同样可以减少OPEX(运营成本)。

7. Hadoop不可以在SAN或NAS上运行

Hadoop在本地磁盘上运行,对于中小型集群它同样可以在一个共享的SAN环境下运行良好。而高带宽比如10GB Ethernet、PoE以及iSCSI对性能同样有很好的支持。

总结

宣传异或是炒作只能作为接受新事物的参考,在做决策之前必须进行深入的了解和分析。被流言所迷惑而做出错误的决策,必然会让投资陷入危险的境地。 

原文链接: 7 Myths on Big Data—Avoiding Bad Hadoop and Cloud Analytics Decisions(编译/仲浩 审校/王旭东)

“  第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名! 

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “ 

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加! 

【企业开源系列】收发一条Twitter推文的背后 在IE11中更快地获得您需要的内容 暴露程序员身份的8个行为 英特尔创新应用大赛大评审!创新也有中国风 苹果面临一问题:正源源不断地失去优秀工程师 初学编程者必知的五个网站 大数据基准测试专题论坛:基准测试是一把尚未完成的尺子 大数据应用(下):应用驱动技术,DaaS创造价值 大数据研究与发展专题论坛:大数据在各领域中的应用及发展策略 雅虎新目标:欲收购照片分享网站Imgur 移动开发工具访谈《近匠》第01期:七牛云存储—BaaS进化论 ShareSDK:A轮融资到位!将推社会化评论SDK 70美元,你也能用Raspberry Pi做个专属iBeacon基站 7个鲜为人知却超实用的PHP函数 从管理远程式团队和分布式团队中所获得的宝贵经验 Netflix开源数据流管理器Suro Google新创意:天花板加麦克风 人脑植芯片 苹果获弯曲屏新专利 可给手机弄个大波浪卷 真正的跨平台硬件测试:3DMark已打通PC、iOS、Android 将Chrome浏览器变成终端工具 【开源推荐】AllJoyn:打造全球物联网的通用开源框架 21张图带你走进Google数据中心 Snapchat C轮融资5000万美元 投资方是Coatue Management 又一个被谷歌寄生的平台,Chrome应用启动器现来到OS X上 雷军遇上刘德华:创业、艺术、移动互联网 为了抗衡Android,传微软开始考虑WP和WinRT免费 维护代码库的五个精华实践 微软发布安全补丁 IE11.0.2随之而来 Qt 5.2正式版发布 全面支持移动平台 如何节约手游制作成本?揭秘CocoStudio编辑器强悍功能 市场竞争白热化:三大云服务商上演双十二“三国杀” 请帮忙看看这段流操作的代码错在哪里? javabean高手请进!请赐教!!! 请各位高手指点一下,什么软件开发java比较方便,效率较高? 谁能告诉我,怎样将邮箱中的信件复制到本地硬盘.谢了 需要什么权限才能在active directory里添加用户??(实际上是想添加email帐号),谢谢各位 test 请问在winXP里该如何实现如下功能呢? 再问一次,怎么在mandrake下设显示器的刷新率!怎么想给分都送不出去! 当用c++编程时,能不能不用回收内存?100分 用VC处理XML文档时遇到的一些细微而重要的问题 大家能不能给我给我点 我有一个关于注册表的问题? delphi中要想定义一个整个工程文件中可以访问的变量怎样做才好?(说者有分) 本人泡MM精华之作,大家快看!! 25分散尽! 如何使用paradox.net? 类的定义与实现细节是否要放在不同文件 各位:我想当斑竹,位兄弟是否同意?:) 关于shell和key事件 为什么我的问题总是无人回答?给高分100!VC和VB下好用的控件在delphi下不好用!是不是dll的问题? pascal 为什么没有介绍在pIIII下汇编的书? paradox数据库的操作问题 text字段如何转换成image字段?? 东日论坛新开张 关于异常的问题,请各位大哥帮帮忙!(50分) 我有很多数字,如何以固定的间隔和行宽在打印机完整地上输出? 学过C++,想学java,难吗?多久能上手? 如何设置系统的日期,时间? 我的网卡的驱动一直装不上? 在下请问,在游戏中实现人物的移动有哪几种方法? 关于地址栏的显示问题 老大们来看看! 今天高兴,散分,先进者自有大大的好处 对不起网管我没看清楚发错了地方请您帮忙转到java区里吧谢谢你了! my oracle8.1.7 on redhat7.2进不去,请高手指教 关于打印机不能够正常打印问题 关于XP的时间问题? 哪位知道在VC下通过敲击键盘模拟钢琴键发音——通过声卡在音箱中实时发出声音 本人泡MM精华之作,大家快看!! 互联网上控件的安全性问题 SDK的疑惑? gluLookAt()函数的用法 什么是类如何来理解应用它!!!看书看了不是很理解 第一次来csdn 高兴,散分,第一个进入者得! 怎样从ACCESS数据库中读出jpeg,gif,bmp...图片? web的验证如何与数据仓库验证一致?请高手看看 我用JBUILDER作的JPUPUPMEUN show(jpane,getx,gety) 的显示位置老在鼠标下一大截,在JPANE的左上角击鼠标右键出现多余显示 请问如何作封面? 国内有自由软件开发组织吗? 如何永久的挂载非linux分区? 谁知道甲酸与乙酸(冰醋酸)的区别及怎样鉴别乙酸可以食用,甲酸可以代替乙酸食用吗? 镁粉中混进少量铝粉,将铝粉除去,可选取用的试剂是什么? 配置1000毫升 0.1mol/L盐酸溶液,12mol/L的多少毫升重新来一道配置1000毫升 0.1mol/L盐酸溶液,应取浓盐酸12mol/L的多少毫升 开水有不烫手的吗!为什么! 除去镁粉中的少量铝粉,可选用的试剂时.A盐酸B稀硫酸C水D氢氧化钠溶液为什么选D 镁能与冷水反应生成Mg(OH)2 2AL+2H2O+2NAOH=2NaAlO2+3H2↑根据除杂 不增和不减 这增了氢氧化镁沉淀,减少了镁单质为 0.05%氢氧化钠溶液的配制是取110克氢氧化钠溶于100毫升的蒸馏水中然后吸取上层清液2.7毫升溶于1000毫升水 开水烫手怎么办 0.1mol的钠,氢氧化钠,过氧化钠,氧化钠分别溶解在100ml水中,则它们的溶质质量分数大小顺序是怎样的?应该是氢氧化钠小于钠小于氧化钠等于过氧化钠 可是为啥氧化钠等于过氧化钠?应该过氧化 偏铝酸根与碳酸根为什么可以反应, 为什么开水会很烫手? 求化学高手 相同物质的量 【 0.1mol】的,钠,氧化钠,过氧化钠,氢氧化钠溶于水 比较溶质的质量分数大小求详细解释 偏铝酸根和碳酸根哪个更易与氢离子反应 在高山上"开水"不烫手的原因 瓶子里得冰融化了,为什么瓶子外会有水?瓶子外的水从什么地方来的? 偏铝酸根为什么能跟碳酸根发生双水解反应? 这是物理题:你相信不烫手的开水吗—--- 理由是----- 瓶子里的冰融化后瓶子外面和瓶子下面的水是哪来的 就像冰冻的可乐,从冰箱里拿出来后可乐瓶子上会出现一些水,这些水是哪来的! 7g反物质能否毁灭地球质能转换公式 :E=mc^2我不晓得地球毁灭需要多少能量,查资料显示,核弹的能量以吨tnt衡量1吨TNT炸药爆炸释放的能量约为4183兆焦,假设4k话说美国的核弹可以毁灭地球 把5.1g镁铝合金的粉末放入过量的NaOH的溶液反应,得到3.36L氢气 1.铝的质量分数 2.镁和铝的物质的量之比 水和冰装到一个瓶子里那它是混合物吗 如果把地球变成反物质再与其他物质湮灭产生的能量能毁灭宇宙吗 碳酸根和铝离子能否共存?为啥?他们不能双水解吗? 将铝放入烧碱溶液中,若反应过程中有1/3molAl消耗掉,则生成氢气的物质的量是a 1.5 B 3 C 0.5 D 6 尿素与硝酸反应吗?谢谢! 求亚硝酸钠和盐酸反应方程式.产生的是什么气体?为什么答案说是遇空气变为红棕色的为亚硝酸钠? 中国氢弹有多大威力 尿素会和硝酸反应吗?硝酸大概在5mol/L 醋酸洋红 成分醋酸洋红里面有些什么元素 现在的氢弹威力到底有多大?摧毁东京要几颗? 盐酸和硝酸反应生成什么?方程式怎么写? 亚硝酸钠与稀盐酸的反应方程式及其现象 玻璃杯和瓷杯能不能在微波炉里加热? 除去镁粉中的少量铝粉为什么要用氢氧化钠溶液为什么不和镁反应 白醋中的醋酸挥发后剩余的成分是什么,有什么危害,还能食用吗 中国氢弹的威力有多大 NaOH溶液除去镁粉中混有的少量铝粉怎么去除的?反应式我知道,可是NAOH不会和镁反映? 亚硝酸钠和稀盐酸的反应方程式 氢弹有多大危害 在做盐酸与氢氧化钠中和反应实验时稀盐酸用胶头滴管滴加稀盐酸目的是什么 冰醋酸挥发的气体成分是什么冰醋酸易挥发大家都知道 有刺激性气味产生 但是挥发出的气体成分是什么呢 将足量的铝粉投入到100ml 1.0mol/L的氢氧化钠溶液中,充分反应后能得到标准状况下的氢气多少升?.因为讲新课的时候我请假了..=..请不要只给答案..写出计算过程..不然我看不懂哇... 水在化冰之后为什么瓶子会扁了我的意思是说,昨天我把未喝完的冰水放入冰箱的保鲜室(温度为2摄氏度)中,在放入之前还特意扭紧了瓶盖.可是今天再拿出来喝时,发现冰已经大部分化了,同 食用醋酸是什么 除去镁粉中混有的少量铝粉,可选用什么试剂 在做盐酸和氢氧化钠中和反应的实验时,通常不需要用到如题A酚酞试液B试管C滴管D量筒麻烦说明下理由 1% 抗坏血酸溶液怎么配 兆吨级氢弹有多大威力? 做氢氧化钠与盐酸的中和反应实验为什么要用指示剂 先将对氨基苯磺酸与盐酸混合,再滴加亚硝酸钠溶液进行重氮化反应,为什么? 除去镁粉中的少量铝粉,用哪种试剂A盐酸B氢氧化钠C硝酸D食盐水 做氢氧化钠与盐酸的中和反应实验为什么要用玻璃棒不断搅拌 冰乙酸和冰醋酸是一种东西么? 千万吨级氢弹威力有多大?说中国是唯一还有千万吨级氢弹的国家为什么中国还要存这种氢弹啊?跟中子弹相比,两个谁厉害? 在实验室里用盐酸和氢氧化钠溶液作用探究中和反应看不到现象有硫酸代替盐酸用氢氧化钾代替氢氧化钠实验前想氢氧化钠中加酚酞 什么是抗坏血酸3+ 出去镁粉中的少量铝粉,可以选用的试剂是什么?如题 配置1000毫升0.1mol/L的盐酸需要盐酸多少毫升?如何计算? 尿常规检查中一项 氢弹的威力有多大?细致! 配置1000毫升 0.1mol/L盐酸溶液,应取浓盐酸12mol/L的多少毫升
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘