说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

7个大数据流言——避免错误的Hadoop和云分析决策

HTML文档下载 WORD文档下载 PDF文档下载
要说Google的3大论文打开了大数据处理之门,那么Hadoop无疑是创造了大数据处理的开源传奇!然而传奇的周围从不缺乏流言,这不,为了“辟谣”,Adam Bloom在VMware博客上发表了入门Hadoop需要避免的7个流言。

Hadoop是由英雄们创造的开源传奇,然而传奇经常还伴随着一些流言——这些流言可能会导致IT高管们带着乐观的心态去制定策略。

数据体积和数据使用在以惊人的速度增长着,这一点从分析师的分析中不难获得——IDC今年在数据存储上的 增长速度将达到53.4%,AT&T声称 无线数据的流量在过去的5年内增长200倍,如果你着眼自己通信渠道的话,将毫无疑问的发现互联网内容、电子邮件、应用通知、社交消息以及每天自动接收的消息都在显著的增长。这也是为什么 从McKinsey到Facebook再到Walmart都重点聚焦于大数据。

就像我们看到的90年代与2000年代的互联网泡沫,大数据同样会导致一些公司做出糟糕的设想和决策。

Hadoop毫无疑问是公司为了解决大数据需求的主要投资领域之一,而类似Facebook这些在大体积数据处理上有所建树的公司都公开的吹捧过在Hadoop上取得的成功,同样初入大数据领域的公司也必先着眼这些成功的典型。Adam Bloom的一个MIT(麻省理工学院)计算机科学校友曾对他说:“when all you have is a hammer, everything looks like a nail。”通过Hadoop的炒作,我们可以避免 功能固着(functional fixedness)这种认知偏差。 Hadoop是一个多维的解决方案,可以通过不同的方式进行部署和使用。下面就看一下公司在开始Hadoop项目之前必须了解的一些关于Hadoop和大数据的预先构想的错误理念

1. 大数据只关系到体积

在体积之外,许多工业先锋还经常提到 variety(多样)、variability(可变)、velocity(速度)和value(价值)。撇开所有单词都押头韵,关键点在于大数据并不是体积上的增长——它正在向着实时分析、结构化和非结构化来源方向发展,并被用于尝试和制定更好的决策。综上所述,不是只有分析大体积数据才会获得价值。举个例子,超时限的存储和分析1PB的数据的价值可能比不上实时分析1GB的数据。从工具集上考虑,你可能需要一个内存数据网络进行实时的分析,从新鲜的数据上获得价值,而不是去解剖过时的数据获得价值。

2. 传统SQL不可以在Hadoop上使用

当Facebook、Twitter、Yahoo!在Hadoop上豪赌时,他们同样知道HDFS和MapReduce受限于处理类似SQL语言的能力,这也是 Hive、 Pig和 Sqoop最终得以孵化的原因。基于全球上大量的数据都是通过SQL来管理,一些公司和项目都在Hadoop和SQL的兼容上狠下功夫。

3. 取代大型机!Hadoop是唯一的新IT数据平台

在IT投资组合里有很多一直长期存在的投资,而大型机就是这么一个例子,与ERP、CRM和SCM这些系统一样演变至今。而如果大型机不想被公司或者架构遗弃,它就必须展示在现有投资环境中的价值。而VMware的许多客户在使用大型机上都遇到了速度、规模和开销的问题,但是并不是没有途径去解决这些问题,比如像vFabric SQLFire这样的内存大数据网络就可以被嵌入或者使用分布式缓存途径去解决类似队列的高速摄取、促进大型机的批处理或实时分析报告这些问题。

4. 虚拟化会导致性能下降

Hadoop最初的设计只是在实体服务器上运行,然而随着越来越多机构的采用,许多公司都希望它能作为数据中心服务在云中运行。为什么这么多的公司都希望虚拟化Hadoop?首先要考虑管理基础设施的扩展性,VMware快速的认识到扩展计算资源,比如虚拟Hadoop节点,当数据和计算分开时会对性能有所帮助,否则如果你关闭某个Hadoop节点将丢失上面的所有数据或者添加一个没有数据的空节点。而鉴于这个原因,许多来自MapR、Hortonworks、Cloudera和Greenplum的专业Hadoop发行版都支持 Project Serengeti和 Hadoop Virtualization Extensions(HVE)。

5. Hadoop只可以在数据中心运行

首先,存在SaaS云服务解决方案。许多云服务允许你云端运行Hadoop、SQL,这无疑可以帮助你省下数据中心建造投资的时间和金钱。对于一个公有云运行时,Java开发者可以从Spring Data for Hadoop以及一些其它的GitHub中的用例获益。

6. Hadoop对虚拟化毫无经济价值

Hadoop通常解释在一堆商用服务器上运行,这样就会有人认为添加一个虚拟层在带来额外支出的同时并不会有额外的价值收益。用这个观点看是存在缺陷的,你并没有考虑到数据和数据分析事实上都是动态的。想成为一个利用Hadoop能量去成长、创新及创造效率的公司,你必须改变数据的来源、分析的速度等等。虚拟化基础设施同样可以减少物理硬件的封装,让CAPEX直接等于纯粹的商用硬件,而通过自动以及更搞笑的利用共享基础设施同样可以减少OPEX(运营成本)。

7. Hadoop不可以在SAN或NAS上运行

Hadoop在本地磁盘上运行,对于中小型集群它同样可以在一个共享的SAN环境下运行良好。而高带宽比如10GB Ethernet、PoE以及iSCSI对性能同样有很好的支持。

总结

宣传异或是炒作只能作为接受新事物的参考,在做决策之前必须进行深入的了解和分析。被流言所迷惑而做出错误的决策,必然会让投资陷入危险的境地。 

原文链接: 7 Myths on Big Data—Avoiding Bad Hadoop and Cloud Analytics Decisions(编译/仲浩 审校/王旭东)

“  第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名! 

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “ 

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加! 

Google Dremel vs Apache Hadoop 低功耗之争:英特尔 VS ARM NEIC-诺基亚体验创新中心 助力开发者创享新移动互联时代 Google地图主管Daniel Graf:新设计,新目标 浴火重生:OpenFeint创始人推开源平台OpenKit 紧随AWS数据仓库服务 Rackspace力鼎Cloudant 创业者谈:畏惧失败,但也要拥抱失败 谷歌赢得一场战斗 苹果能否赢得战争? 走进大学校园:是什么让学生成为独立开发者? 移动周报:为什么说独立开发者才是光明康途? MapFan eye:看日本地图导航应用的新玩法 数据会被清空:部分三星、魅族手机存安全漏洞 IE10简化文件访问 支持FileReader API 从MySQL迁移到MariaSQL Wikipedia力求开放 奥巴马筹款网站的制作过程 国内芯片厂商发力4G 新岸线2013年将推LTE方案 CMDN Club 23期:开放平台和O2O移动产品开发 花旗调低Apple股票评级 不信iPhone5会卖得好 2012年Linux Journal读者选择奖结果公布 百度云SiteApp:三步轻松创建移动网站 Twitter跨数据中心图片存储系统Blobstore解析 摩托罗拉携手中国移动发布Intel Inside智能机新锋丽i MT788 第五届“英特尔杯”全国大学生软件创新大赛圆满落幕 Appro推出液冷超级计算机 Dell:曾敦促微软WinRT放弃Windows品牌 IE10十大优点:渲染页面比Chrome快8% 法国电信:开放平台下的O2O移动产品怎么玩? 客如云创始人彭雷:寻找O2O“失落的半圆” 中国电信宋鹏飞:天翼开放平台的服务及架构解析 W3C小组宣布:HTML5标准制定完成 还记得DUQU吗?起因可能是Windows中存在了20多年的漏洞! 请问:在运行发现错误时为什么Delphi先出来显示错误,如何在错误出现时,首先用VC调试? 熟悉 DirectShow高手请进 vc6.0有没有库graphic.h和 bios.h? 水晶报表ReportSource 的绑定问题 在线等待,回答马上给分(关于存储过程参数问题!!!!!!!!!!) 100分相赠,求短程序!! 一个很简单的问题,帮帮我!! applet中参数如何保存到数据库?急!!!!!!!!!!!!!!! 如何在自己的函数中向指定菜单(比如“保存”)发消息 求助!!! 数据增加问题!解决马上给分! 请指教!!! 下载了源代码之后怎么打开呢? 再问一个字符串问题 如何用C语言读键盘缓冲区,这样为什么不行? 如何实现这样的窗体,马上给分!! weblogic 7.0 连mysql的pool出错,看看 毕业论文:各种排序算法的比较与分析。高分求相关资料。 如何将当前页面textarea的内容传递给新打开的页面中的iframe中? 求助:Windows XP 无法安装DirectX SDK? 怎么把64*64 bmp缩小为32*32 菜鸟问题,急需解决,请大家帮忙!! 问一个数据库相连的简单问题 毕业论文:各种排序算法的比较与分析。高分求相关资料。 关于my3b (重阳公子) 的注释的问题,我也在奇怪. 平铺的数据 征集意见:写一个酒店管理系统.分不够再加 vb.net是怎么回事/?在学之前要哪些基础准备? 在VMware如何装SCO UNIX 谁有VMware版的SCO UNIX 5.06啊!!! 如何实现啊?---- 求一个函数! 50分,请大家帮忙寻找这个笔记本网卡驱动紧急求助(Fast Ethernet pc card) 求 Quoted-Printable,8bit编码方式的解码函数 菜COM:DELPHI如何独立编译,WAITING ONLINE 请求速答 请指点 但不知pb是怎么回事 在学之前要哪些基础准备? Authorware新家园,捧捧场哦 各位,那有候捷翻译的《windows 95系统大奥秘》的简体中文版可下啊 关于作用域 反对有些人以爱国或真理为名侮辱我们的政府!!!!! 但不知delphi是怎么回事 在学之前要哪些基础准备? 请问 SET XACT_ABORT ON 怎么用啊 散分!!分不够再加!!! 请问扩展名名为asp的文件怎么打开? [ZT]GOOGLE的彩蛋 看看,怎回事? Xsl:for-each进行循环,如何能从循环中退出!急急急!!!给分 怎样实现更新 DBGrid 选中的多行记录? 有人能帮我看看这个存储过程到底是为什么运行不了吗?晚上结 请教高手 :在一个bean内只能有一个结果集吗? 如何从表单radio中得到它的value值呀. 验证问题 如图所示是一种自动测定油箱内油面高度的装置,R是滑动变阻器,它的金属滑片P是杠杆的一端.从油量表(电流表改装而成)指针所指的刻度,就可以知道油箱内油面的高度.问:如果要用电压表 红砖柱长,宽,高,1000*500*3500,单个柱能承受多重的力 介绍基本关于道教的书推荐些好的,关于道教史的也好南怀瑾大师的书也好 在四棱锥P-ABCD中CD//AB,AD⊥AB,AD=DC=1/2AB,BC⊥PC,(1)求证PA⊥BC(2)若M是线段PB中点,求证:CM‖平面PAD 一实心正方体,棱长为3cm,质量为156.6g,密度是多少,物体平放在1m²的水平桌面正中央,桌面受到的压强是 Pa(g=10N/kg) 在竖直屏幕前有一点光源S,从这点光源 右侧有一小球向右水平抛出,则小球的影子在屏幕上的运动情况是()为什么是匀速运动?希望能给解决! 高的反义词是什么请帮回答 道教四大名山龙虎山用英文怎么翻译? 请问电梯门这样的画法 那它的开门方式是哪一种 反义词的快来平坦 魁梧 忙乱 道教之音用英语怎么说?道教之音翻译成英文 电梯启动问题,求办法1楼.电梯向上起动时,有明显向上拉的感觉,向下启动时,有向上倒溜.不知道是不是平衡系数的原因,还是零速启动补偿太小,还是什么原因.电梯是新安装不久的,以前好像没 高的反义词是什么 一般电梯的机械效率是多少 一小球以水平速度Vo抛出,在抛出处有一点光源S,在抛出点正前方有一竖直墙,墙上小球的影的运动是A自由落体运动 B变加速直线运动 C匀加速直线运动 D匀速直线运动 翻译 我记得家里还有些鸡蛋和牛奶 I remember ____some eggs and milk ____at home 竞走和跑步有什么区别啊? the article is very beautiful的中文意思?求英文水平好的朋友翻译下这句英文 手写拍照发过来,已知3倍根号(x²-4)=根号(y-2)+根号(4-x²)-根号x,求2x²-xy+y²除以x²-xy+y²的值. 跑步和竞走的区别在于》 boy is very beautiful是什么意思? 1.复数Z1=3+4i,Z2=t+i Z1,Z2拔为实数,求t2.a∈R,Z1=a-i/1-i,Z2=Z1*i(1)若Z1=-1,求实数a值(2)若a>0且IMZ2-REZ2=3 求|Z2|3.Z为虚数|Z|=根号5,若Z^2-2Z拔为实数(1)求复数Z(2)若Z的虚部为正数,且W=Z+4sinx*1(x∈R),求|W|的取值 汽车开在水平公路上,在一个瞬间内轮胎与地面接触的那个点,在瞬间的速度是多少 如图所示,杠杆在水平位置平衡,A.B 为同种材料制成的正方体,边长分别为 0.2m 和 0如图所示,杠杆在水平位置平衡, A.B 为同种材料制成的正方体,边长分别为 0.2m 和 0.1m, 且已知 OA:OB=1:2,物体 A 对 Don't care much about, omelets are not made without breaking eggs是什么意思如题 谢谢了 there isn't any ink in the bottle、are there any eggs in that basket,什么意思 像a little a lot lots of less lest many much等这样表述数量多少的不管是不可数名词还是可数名词的词?全部的写给我一下. ABCD四点对应的均为整数,分别为abcd,且2b-3a=11,问ABCD中,哪一点是原点?还有几题也帮我看一下!(谢谢)1、在数1,2,3,4,5,6,7,8的前面分别添加:“+”或“—”,使它们的和喂0.2、计算:(1-3)*(3- Are there any eggs in that badket? 在500mL Fe2(SO4)3和CuSO4的混合溶液中加入16.8g的铁粉,搅拌并充分反应后,经过滤、洗涤、干燥,可得到6.4g铜,.要使溶液中SO4 2-完全沉淀,需加入2mol/L的BaCl2溶液500mL.则原混合溶液中硫酸铜的物质的量 在矩形ABCD中,o为AC的中点,若向量BC=3a,向量DC=2b,则向量AO=?3a和2b上都有箭头 如果你的左边是一面墙,你在中间,右边是三个灯泡,那么照到墙上有你的几个影子拜托各位了 3Q谁式式看 高手come onHe looked rather untidy as there were two buttons --- from his coat.空格里填off 为什么? 若O是平行四边形ABCD对角线的交点,且向量AB=4a,向量BC=6b,则3a-2b=? 一个直角梯形,画一条直线变成三个三角形 化学沉淀溶解平衡的难题 高手come on!就拿AgCl当例子吧1.少量AgCl固体在溶液中溶解 溶解部分完全电离AgCl==Ag+ + Cl-可是根据沉淀溶解AgCl(s)Ag(aq)++Cl-(aq) 又是怎么回事?2.如果我拿未饱和的AgCl溶液 在四边形ABCD中 AB向量=a+2b,AD向量=a-3b,BC向量=3a+b,其中a,b不共线,则四边形ABCD为A平行四边形 B矩形 C梯形 D菱形 亲爱的( )800字左右,文笔好一点的,现在人的思想太脏了.拜托是作文, 变频电梯频率与额定速度公式曳引机比为53:1 曳引轮直径为680mm 电动机转速为1465 曳引比为2;1 求额定速度为0.6m/s时,应设置的频率为多少HZ? 猫头鹰是什么科的? 如某品牌汽车质量为M,汽车行驶时弯道部分的半径为r,路面倾角为a(g=10),动摩擦因数为u路面倾角为a(g=10),为使汽车不打滑,最大速度为多少,正弦值=0.05,r=60m,u=0.3,则弯道汽车行驶最大速度是多少 Jim can you help me take away the r__ 填什么, 只要算式.要说明算式的意思.如果说答案,那就请说明答案怎么来的.共有20道有奖竞猜,答对一题得5分,答错一题扣4分,不答不得分也不扣分.小胖得了63分,那么他有()道题没有做?(最好方程, 亲爱的,聪明的打救我 快 Jim can you help me take away the r___?请那位大虾告诉我填什么! 如图所示是一种自动测定油箱内油面高度的装置,R是定值电阻,R'工作过程是以下的哪一个?A 油面升高,R'变大,表指针偏转小 B油面升高,R'变小,表指针偏转较大C.油面下降,R'变大,表指 如果某品牌车的质量为m,汽车行驶时弯道部分的半径为r,汽车轮胎与地面摩擦力为u,路面设计的倾角为β为使汽车转弯时不打滑,汽车行驶的最大速度是多少? 在800米长跑比赛中,裁判员用什么表测量时间电子停表或机械停表 如图所示是一种自动测定油箱内油面高度的装置其中R是滑动变阻器,阻值范围是0~100Ω,它的金属滑片是杠杆的一端,油量表是由电流表改装而成,实际是量程为0~0.6A的电流表,从指针所指的刻度就 用托盘天平称量一个小烧杯的质量,当天平的指针不在零点而偏向右是开始称量,砝码为5g,游码为0.4g,则当天平达到平衡时,小烧杯的实际质量是大于5.4g还是小于5.4g或者等于5.4 曳引式电梯具有什么特点? 16:She doesn’t normally behave like that; she is __________.1.putting it up 2.putting it down16:She doesn’t normally behave like that; she is __________.\x051.putting it up 2.putting it down 3.putting it out 4.putting it on16:She doesn’t 比例和比例尺有什么区别 已知,三角形ABC中A(-1,-7/2),B(6,0),C(1,3/2)点D(2/5,0)在AC上,求ABC的面积.(平面直角坐标系中的面积问题,一定要有过程) 已知a,b,c,d都是有理数,a,b互为相反数,c,d乘积为1,求3分之2cd-2a-2b的值. 用托盘天平称量小烧杯的质量为多少 电梯曳引轮绳槽一般是什么形状的?+电梯曳引轮绳槽一般是什么形状的 She doesn't like taking.She is _____. 小红同学用托盘天平称量烧杯的质量,天平平衡后的状态如下所示,该同学称取的烧杯实际质量为( )A.23.8g B.32.6gC.32.3g D.27. 请问曳引机的曳引比是怎么计算的,如何判断电梯的曳引比?曳引比和绕绳比有什么区别吗? 印度开建“全球最高”塑像 呼吁民众捐斯诺登找到工作 在俄社交网站上班英国检方称《世界新闻报》曾窃听哈里王“歧视胖子” 香奈儿艺术总监惹官司戴“谷歌眼镜”开车遭传讯偷渡客残杀5人 凸显底层华人困境普京登顶权势榜 只怪奥巴马不争气首个完整境外诈骗集团被批捕新一轮伊核对话可能取得重要进展奥巴马豪华座驾“野兽”细节曝光 具备印度真的脏乱差吗?撕去贴在印度身上的国际组织称:叙利亚已销毁化武设备挪威小镇人造“太阳”告别黑暗冬日(高小伙宁杭高速上搭不到客车 准备从南京温州街头有精神病史的男子挥刀挟持自己杭州男子因收入没妻子高将其推入河中淹金正恩或未会见到访蒙古国总统(图)日俄防长会前俄展军事肌肉 俄侦察机飞英国检方称《世界新闻报》曾窃听哈里王美国超级追星族与上万明星合影美正式削减50亿美元食品券 4700受益“更名红利” 同方全球人寿营收增全国神经病学著名专家中山一院大型义诊防秋燥1948年那一夜,黄啸侠拳法击败西洋大学生与农民工 比工资太矫情到2020年广州居民可享受珠三角1小ECCO推出 高尔夫休闲系列他们奏响了挑战命运的最强音昆明一夜暴雨多地一片汪洋抓到一名嫌犯! 美两地爆炸案黑手或为看新闻就扫码期待驾考“先学后付”发挥倒逼效应他们奏响了挑战命运的最强音期待驾考“先学后付”发挥倒逼效应Numbers数字产品质量消费教育基地揭牌冯小刚回应: 饭好不怕晚,茶吃后来酽“高烧不退” 8月70个大中城市超八孕妈妈爱打鼾 小心影响胎儿发育星巴克在华推瓶装星冰乐安监总局: 对西宁闪爆事故严肃追责
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘