说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

7个大数据流言——避免错误的Hadoop和云分析决策

HTML文档下载 WORD文档下载 PDF文档下载
要说Google的3大论文打开了大数据处理之门,那么Hadoop无疑是创造了大数据处理的开源传奇!然而传奇的周围从不缺乏流言,这不,为了“辟谣”,Adam Bloom在VMware博客上发表了入门Hadoop需要避免的7个流言。

Hadoop是由英雄们创造的开源传奇,然而传奇经常还伴随着一些流言——这些流言可能会导致IT高管们带着乐观的心态去制定策略。

数据体积和数据使用在以惊人的速度增长着,这一点从分析师的分析中不难获得——IDC今年在数据存储上的 增长速度将达到53.4%,AT&T声称 无线数据的流量在过去的5年内增长200倍,如果你着眼自己通信渠道的话,将毫无疑问的发现互联网内容、电子邮件、应用通知、社交消息以及每天自动接收的消息都在显著的增长。这也是为什么 从McKinsey到Facebook再到Walmart都重点聚焦于大数据。

就像我们看到的90年代与2000年代的互联网泡沫,大数据同样会导致一些公司做出糟糕的设想和决策。

Hadoop毫无疑问是公司为了解决大数据需求的主要投资领域之一,而类似Facebook这些在大体积数据处理上有所建树的公司都公开的吹捧过在Hadoop上取得的成功,同样初入大数据领域的公司也必先着眼这些成功的典型。Adam Bloom的一个MIT(麻省理工学院)计算机科学校友曾对他说:“when all you have is a hammer, everything looks like a nail。”通过Hadoop的炒作,我们可以避免 功能固着(functional fixedness)这种认知偏差。 Hadoop是一个多维的解决方案,可以通过不同的方式进行部署和使用。下面就看一下公司在开始Hadoop项目之前必须了解的一些关于Hadoop和大数据的预先构想的错误理念

1. 大数据只关系到体积

在体积之外,许多工业先锋还经常提到 variety(多样)、variability(可变)、velocity(速度)和value(价值)。撇开所有单词都押头韵,关键点在于大数据并不是体积上的增长——它正在向着实时分析、结构化和非结构化来源方向发展,并被用于尝试和制定更好的决策。综上所述,不是只有分析大体积数据才会获得价值。举个例子,超时限的存储和分析1PB的数据的价值可能比不上实时分析1GB的数据。从工具集上考虑,你可能需要一个内存数据网络进行实时的分析,从新鲜的数据上获得价值,而不是去解剖过时的数据获得价值。

2. 传统SQL不可以在Hadoop上使用

当Facebook、Twitter、Yahoo!在Hadoop上豪赌时,他们同样知道HDFS和MapReduce受限于处理类似SQL语言的能力,这也是 Hive、 Pig和 Sqoop最终得以孵化的原因。基于全球上大量的数据都是通过SQL来管理,一些公司和项目都在Hadoop和SQL的兼容上狠下功夫。

3. 取代大型机!Hadoop是唯一的新IT数据平台

在IT投资组合里有很多一直长期存在的投资,而大型机就是这么一个例子,与ERP、CRM和SCM这些系统一样演变至今。而如果大型机不想被公司或者架构遗弃,它就必须展示在现有投资环境中的价值。而VMware的许多客户在使用大型机上都遇到了速度、规模和开销的问题,但是并不是没有途径去解决这些问题,比如像vFabric SQLFire这样的内存大数据网络就可以被嵌入或者使用分布式缓存途径去解决类似队列的高速摄取、促进大型机的批处理或实时分析报告这些问题。

4. 虚拟化会导致性能下降

Hadoop最初的设计只是在实体服务器上运行,然而随着越来越多机构的采用,许多公司都希望它能作为数据中心服务在云中运行。为什么这么多的公司都希望虚拟化Hadoop?首先要考虑管理基础设施的扩展性,VMware快速的认识到扩展计算资源,比如虚拟Hadoop节点,当数据和计算分开时会对性能有所帮助,否则如果你关闭某个Hadoop节点将丢失上面的所有数据或者添加一个没有数据的空节点。而鉴于这个原因,许多来自MapR、Hortonworks、Cloudera和Greenplum的专业Hadoop发行版都支持 Project Serengeti和 Hadoop Virtualization Extensions(HVE)。

5. Hadoop只可以在数据中心运行

首先,存在SaaS云服务解决方案。许多云服务允许你云端运行Hadoop、SQL,这无疑可以帮助你省下数据中心建造投资的时间和金钱。对于一个公有云运行时,Java开发者可以从Spring Data for Hadoop以及一些其它的GitHub中的用例获益。

6. Hadoop对虚拟化毫无经济价值

Hadoop通常解释在一堆商用服务器上运行,这样就会有人认为添加一个虚拟层在带来额外支出的同时并不会有额外的价值收益。用这个观点看是存在缺陷的,你并没有考虑到数据和数据分析事实上都是动态的。想成为一个利用Hadoop能量去成长、创新及创造效率的公司,你必须改变数据的来源、分析的速度等等。虚拟化基础设施同样可以减少物理硬件的封装,让CAPEX直接等于纯粹的商用硬件,而通过自动以及更搞笑的利用共享基础设施同样可以减少OPEX(运营成本)。

7. Hadoop不可以在SAN或NAS上运行

Hadoop在本地磁盘上运行,对于中小型集群它同样可以在一个共享的SAN环境下运行良好。而高带宽比如10GB Ethernet、PoE以及iSCSI对性能同样有很好的支持。

总结

宣传异或是炒作只能作为接受新事物的参考,在做决策之前必须进行深入的了解和分析。被流言所迷惑而做出错误的决策,必然会让投资陷入危险的境地。 

原文链接: 7 Myths on Big Data—Avoiding Bad Hadoop and Cloud Analytics Decisions(编译/仲浩 审校/王旭东)

“  第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名! 

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “ 

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加! 

add(expr) -JQuery API children(expr) -JQuery API contains(str) -JQuery API end() -JQuery API filter(filter) -JQuery API filter(expression) -JQuery API find(expr) -JQuery API is(expr) -JQuery API next(expr)-JQuery API not(elems)-JQuery API not(expr)-JQuery API not(el)-JQuery API parent(expr)-JQuery API parents(expr)-JQuery API prev(expr)-JQuery API siblings(expr)-JQuery API Events事件-JQuery API bind(type,data,fn)-JQuery API blur(fn) -JQuery API blur() -JQuery API change(fn) -JQuery API click(fn)-JQuery API click()-JQuery API dblclick(fn) -JQuery API error(fn) -JQuery API focus(fn)-JQuery API focus() -JQuery API hover(over,out)-JQuery API keydown(fn) -JQuery API keypress(fn)-JQuery API keyup(fn)-JQuery API 请问有没有什么比较好的反编译软件能将dll文件反编译回c的? 高分寻求英文简历捉刀人!!——请帮小弟看看有没有不妥之!! test:给分文本框.enabled=false;cmd_管理 不存在,我怎么给分? 各位大虾!!请教一个有关建立oracle8i表之间关系的问题???? 你会吗?有用但有点难度的问题。n个数的最长单调子序列的O(nlgn)的算法. VB很菜的问题 请帮忙 if问题 我考中程查分怎么没有成绩??我是上海的!! Delphi学习(-):IDE快捷键大征集: 各位大虾!!!嘻嘻~`我是新手哦,请大家帮我解次问题呀~~~`哇!!这个问题好晕哦~` 为什么只能看四页问题? 上海的软考成绩什么时候出来??? Delphi中如何执行ZIP文件?谢谢! 菜鸟问题:初始化代码放在哪? 在ITEMCHANGED里获得值? 如何操作dbf文件? 请推荐关于c/c++的优秀英文译本 请问: 投稿程序员杂志要多少时间才有回音? 一个难题!非常着急,希望大家帮我解决! 为什么该父类无法调用其子类. 请教CDateTimeCtrl控件问题! 高分求救!哪位哥哥能否帮我解决一下几道C编程的题目,我讲感激不尽!!!谢谢 我找到一个DELPHI的技术站点,还可以,请大家来LOOK 动态显示图片!!!!!! 本人是beginner for vc++,希望以后多交流。现请求一个vc++作的画图程序 大侠执教:投稿程序员杂志要多少时间才有回音? 有办法在控制台程序启动时,隐藏它的DOS窗口吗? 关于MFC中的Project Settings问题 两个编程的初级问题 谁能给我一个关于二叉树的完整的程序。 认识的进来聊天 , 我是东宝 (yeti_lee) 我是一名学生,学计算机(一个普通大学)。请教大家几个问题 大连成绩如何查??有人查到了吗?请聊聊 分是个累赘,我放完它~!来的就有,讲些凄惨的事情和遭遇,大家比谁惨,越惨的给分越多,兄弟我此举是为了找平衡。 怎样得到当前系统打印机的各项信息?????特别是打印纸张方向!!! 高分求救——我有几道C程序的编程题目,望各位高手帮忙解决!谢谢 哪位告诉我select语法,我忘了group by 的使用方法,谢谢! 请问哪儿有电子版的《COM编程精彩实例》,谢谢! 请问:要想学习vb和数据库的知识,哪些书比较好?请各位朋友帮忙推荐几本好书?谢了~! 请问有谁知道PB8编译后打包,PARADOX数据库驱动程序需那些啊????急!!!!!! 在oracle存储过程中怎么使用cursor作为返回值? [TIPS]Win9x和WinNT/2000下面都可以去掉OICQ广告的方法! 触发器问题 关于bdgrid的问题,高手请来,一定高分相送!!!!急 怎么建立WIN2000的域信任关系 用data控件连接DBf数据库时为什么出现“找不到可插入的ISAM”错误? 大家等会儿再吃饭!先看一看这里的送分大餐...... 他们怎么想的?居然没有bcb? 高手指教:如何在vc中控制刻录机和磁带机进行数据备份和恢复? 请问各位高手,怎样才能学好c语言。有没有什么好一点的网站和源码提供,多谢。 如何解决在向量位图背景下的窗口移动是的刷新置后问题?? 2010年山东会考物理选修1-1答案2010年12月24号下午的 谢谢哥哥姐姐叔叔阿姨 好人一生平安 文科做的那一模块 1-1 第九题,为什么C选项是正确的 几种短周期元素的原子半径及主要化合价如下表:下列选项正确的是:元素代号 L M X R T原子半径/nm 0.160 0.143 0.102 0.089 0.074主要化合价 +2 +3 +6、-2 +2 -2A.离子半径大小:r(M+3)>r(T2-) 2010年12月山东青岛会考物理答案请将该答案发往本处,以过关. 问一下这道生物题的C选项为什么正确? W,X,Y,Z为短周期元素内除稀有气体外的四种元素,它们的原子序数依次增大,其中只有Y为金属元素,Y的最外层电子数和W相等原子的质,Y,Z两子数之和为W的X两元素质子数之和的3倍,由此可知,W是____ 高中物理会考的公式及例题 关于离子反应的化学题目.在离子反应中,Mgcl2和Na(oH)2反应生成Mg(OH)2沉淀和Nacl即NA离子和CL离子.我想问的是它们都结合成了NACL怎么还能叫做自由移动的离子呢,它们不是结合到一起了吗,怎么自 高中物理化学题,急!1、将54.4g铁和氧化铁的混合物,投入到足量的稀硫酸中,充分反应后收集到4.48L氢气(标况),并测得溶液中既没有Fe3+也没有固体残留,求原混合物中铁和氧化铁的质量各为多 化学键类型相同的是?A:HL和NaBe B:H2S和K2S C:H2O和NH3 D:F2和NaCL 有关化学离子反应的一些题目1、(1)向NaHSO4溶液中逐滴加入Ba(OH)2溶液至中性,请写出发生反应的离子方程式(2)在以上中性溶液中继续滴加Ba(OH)2溶液,请写出此步反应的离子方程式2、在一 用一众试剂除去下列各物质中的杂质,括号内为杂质,并写出离子方程式①BaCl2(HCl):试剂________离子方程式____________②O2(CO2):试剂________离子方程式____________③硫酸根离子(碳酸根离子) 某合成树脂A,干馏后得到的蒸汽经冷凝后得到一种和树脂组成相同的烃B.B的蒸汽0.312g,在标准状况下体积是67.2ml.1molB在催化剂存在的条件下吸收1mol氢气后生成烃C.C不能使溴水退色,可以使酸性 一道化学离子反应的习题用碳酸钠、氯化钡和盐酸做试剂,除去氯化钠溶液中还有的少量钙离子和硫酸根离子,每种试剂只能用一次,提纯后的溶液中只准许留有钠离子、氯离子、氢离子和氢氧 高中物理化学的概念题怎么做? )已知化合物A与B、M与N的元素组成相同,且四种物质中含有同一种元素.A与B在常温下均呈液态.D为固体单质,与X的浓溶液在常温作用无明显现象,加热时有大量气体产生.(相关转化中所有反应物与 H2O、HCl分别含有什么化学键 谁有新疆维吾尔自治区 新疆生产建设兵团 高中物理化学学业水平测试题及答案?没有答案也行- -. please发到这里或者邮箱上 sunxiaohan650@sina.com 谢谢,有用会追加分噢~历届的噢~ 分明天一起给 离子反应2个高锰酸钾和16个盐酸反应生成2个氯化钾,2个氯化锰,5个氯气,8个水,问当有5.6升(标准状况下)氯气生成时,转移电子的物质的量为多少? NACL+CO2+NH3+H2O=NAHCO3+NH4CL是著名的侯氏制碱法的重要反应 不正确的是A NAHCO3D的溶解度较小B NAHCO3不是纯碱C析出固体后的溶液为NAHCO3的不饱和溶液D该反应可以获得氮肥 2011山东省烟台高二学业水平会考物理答案 20,21问,要过程分析 两道关于离子反应的化学题1.下列各组物质的稀溶液互相反应,无论前者滴入后者,还是后者滴入前者,反应现象相同,且离子方程式也相同的是A.Ba(HCO3)2 溶液与Ba(OH)2溶液B.NaAlO2溶液与稀硫酸溶液C 2010山东会考物理答案(在线求.) A 自由电荷的运动必定形成电流B 形成电流必须要有自由电荷C 有电压必定形成电流D 电流的单位“安培”是国际单位制中的基本单位多选的,希望认真看看再回答, 氨盐水与CO2方程式为什么不是NaCl+NH3.H2O+CO2=NaHCO3↓+NH4Cl答案是NaCl+NH3+H2O+CO2=NaHCO3↓+NH4Cl,为什么二氧化碳是与氨气和水反应而不是与氨水反应? 山东省2011会考英语答案我是淄博博山的.今年会考了.英语不及格、求答案.哥哥姐姐弟弟妹妹叔叔阿姨爷爷奶奶们、帮个忙.给份选择和词汇运用的答案啊! 两颗人造卫星都绕着地球做圆周运动,质量m1:m2=2:1,轨道半径之比为1:2.则他们的速度之比为多少? 一道高中文科数学导数题f(x)=x(3)-3/2ax+a(2 ) 其中括号内为上标 求0 高三化学题,求详解 物理会考级别的题如图所示,在空间A、B分别放置正点电荷Q1和Q(再无其他电场或带电物体了)2,且Q1>Q2.若A、B所受电场力大小分别为F1与F2,A、B两点的场强分别为E1与E2,则比较F1与F2,E1与E2的大 高中文科数学导数设函数f(x)=x^e^x-1+ax^3+bx^2,已知x=-2和x=1为f(x)的极值点(1)求a和b(2)讨论f(x)的单调性函数f(x)=sinx+sin(2+90°),x∈R1.求f(x)最小正周期2.求f(x)的最值3.若f(x)=3/4, 将0.02mol铜片溶于100mL 9mol/L HNO3中,产生336 mL气体(只含NO、NO2).该气体与一定量O2混合后,用足量NaOH(aq)完全吸收.有关反应如下:NO2+NO+2NaOH→2NaNO2+H2O,2NO2+2NaOH→NaNO3+NaNO2+H2O.O2的体积至少为(气体 跳水运动是我国体育运动强项之一,高台跳水项目要求运动员距离水面10m的高台上跳下,完成动作后入水若运动员起跳瞬间重心离高台台面的高度为1m,斜向上跳离跳台的瞬间速度为3m/s,跳至最高 人民教育出版社的高中数学选修1-1第三章导数听不懂,谁能讲一下. 现有ABCDEF六种化合物,已知他们的阳离子有K+,Ag+ ,Ca + ,Ba2+,Fe2+ ,Al3+,阴离子有CL- ,OH- ,CH3COO-,NO3- ,SO42-,CO32- 现将他们分别配成0.1mol.l-1的溶液 进行以下实验:测得溶液ACE呈碱性且碱性为A>E>C 向B溶液 NH4Cl+NaOH=NaCl+NH3+H2O 其中为什么离子键被破坏,共价键没有被破坏 若曲线Y=2X^2-4X+P与直线Y=1相切 则实数P= ,请用导数算, 若制取氯气,电子转移数量最少的是( )A.KCLO3与浓盐酸反应B.MnO2与浓盐酸反应C.KMnO4与浓盐酸反应D.K2Cr2O7与浓盐酸 2010年广东会考物理答案是什么 当函数F(X)=X*2的X次方 取到最小值时,X=? 某酸性溶液中只有Na+、CH3COO-、H+、OH-四种离子.则下列描述正确的是 ( ) A.该溶液由pH=3的CH3COOH与pH=11的NaOH溶液等体积混合而成B.该溶液由等物质的量浓度、等体积的NaOH溶液和CH3COOH 求2010年广东省高二会考物理试题及答案 “abcdef为原子序数依次增大的短周期主族元素……”A,B,C,D,E,F为原子序数依次增大的短周期的主族元素.已知:A,C,F三种元素原子的最外层共有11个电子,且这三种元素的最高价氧化物对应的水化 NH3·H2O+(NH4)2SO4=? 2011年6月广东省化学生物物理会考答案.最好能有试卷的原题对答案. 在短周期元素中同一主族能构成离子化合物的有那些 NH3+H2O===NH3`H2O===NH4+与OH-向1mol/L氨水中加入AlCl3固体时,平衡向正反应方向移动,OH-的浓度为什么减小,而NH+又为什么增大了,我完全看不懂. 第八题选项C哪错了? 关于短周期元素的一道化学题在短周期元素中,氢化物的水溶液呈碱性,且能与氢元素形成一价阴离子,请问是什么元素?一价阴离子又是什么 25℃时,PH=7的(NH4)2SO4与NH3·H2O混合溶液中,铵根离子和硫酸根离子之比是()a.2:1b.大于2:1c.小于2:1d.1:1 第八题选项C哪里错了? 我是福建高中生想读文对物理化学不感兴趣 怎么做会考会比较容易过呢 会考容易过么 经历过得可以谈谈么 山东省2010年12月24日物理会考答案 第八题C选项错在哪里 浙江省高中文科生需要读哪些书?最好详细点.还有物理化学会考是考哪几本书? 2010年山东省高中物理会考答案 河北省会考2011地理试题 高中文理科会考数学物理化学题目是不是不一样的?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn