说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

7个大数据流言——避免错误的Hadoop和云分析决策

HTML文档下载 WORD文档下载 PDF文档下载
要说Google的3大论文打开了大数据处理之门,那么Hadoop无疑是创造了大数据处理的开源传奇!然而传奇的周围从不缺乏流言,这不,为了“辟谣”,Adam Bloom在VMware博客上发表了入门Hadoop需要避免的7个流言。

Hadoop是由英雄们创造的开源传奇,然而传奇经常还伴随着一些流言——这些流言可能会导致IT高管们带着乐观的心态去制定策略。

数据体积和数据使用在以惊人的速度增长着,这一点从分析师的分析中不难获得——IDC今年在数据存储上的 增长速度将达到53.4%,AT&T声称 无线数据的流量在过去的5年内增长200倍,如果你着眼自己通信渠道的话,将毫无疑问的发现互联网内容、电子邮件、应用通知、社交消息以及每天自动接收的消息都在显著的增长。这也是为什么 从McKinsey到Facebook再到Walmart都重点聚焦于大数据。

就像我们看到的90年代与2000年代的互联网泡沫,大数据同样会导致一些公司做出糟糕的设想和决策。

Hadoop毫无疑问是公司为了解决大数据需求的主要投资领域之一,而类似Facebook这些在大体积数据处理上有所建树的公司都公开的吹捧过在Hadoop上取得的成功,同样初入大数据领域的公司也必先着眼这些成功的典型。Adam Bloom的一个MIT(麻省理工学院)计算机科学校友曾对他说:“when all you have is a hammer, everything looks like a nail。”通过Hadoop的炒作,我们可以避免 功能固着(functional fixedness)这种认知偏差。 Hadoop是一个多维的解决方案,可以通过不同的方式进行部署和使用。下面就看一下公司在开始Hadoop项目之前必须了解的一些关于Hadoop和大数据的预先构想的错误理念

1. 大数据只关系到体积

在体积之外,许多工业先锋还经常提到 variety(多样)、variability(可变)、velocity(速度)和value(价值)。撇开所有单词都押头韵,关键点在于大数据并不是体积上的增长——它正在向着实时分析、结构化和非结构化来源方向发展,并被用于尝试和制定更好的决策。综上所述,不是只有分析大体积数据才会获得价值。举个例子,超时限的存储和分析1PB的数据的价值可能比不上实时分析1GB的数据。从工具集上考虑,你可能需要一个内存数据网络进行实时的分析,从新鲜的数据上获得价值,而不是去解剖过时的数据获得价值。

2. 传统SQL不可以在Hadoop上使用

当Facebook、Twitter、Yahoo!在Hadoop上豪赌时,他们同样知道HDFS和MapReduce受限于处理类似SQL语言的能力,这也是 Hive、 Pig和 Sqoop最终得以孵化的原因。基于全球上大量的数据都是通过SQL来管理,一些公司和项目都在Hadoop和SQL的兼容上狠下功夫。

3. 取代大型机!Hadoop是唯一的新IT数据平台

在IT投资组合里有很多一直长期存在的投资,而大型机就是这么一个例子,与ERP、CRM和SCM这些系统一样演变至今。而如果大型机不想被公司或者架构遗弃,它就必须展示在现有投资环境中的价值。而VMware的许多客户在使用大型机上都遇到了速度、规模和开销的问题,但是并不是没有途径去解决这些问题,比如像vFabric SQLFire这样的内存大数据网络就可以被嵌入或者使用分布式缓存途径去解决类似队列的高速摄取、促进大型机的批处理或实时分析报告这些问题。

4. 虚拟化会导致性能下降

Hadoop最初的设计只是在实体服务器上运行,然而随着越来越多机构的采用,许多公司都希望它能作为数据中心服务在云中运行。为什么这么多的公司都希望虚拟化Hadoop?首先要考虑管理基础设施的扩展性,VMware快速的认识到扩展计算资源,比如虚拟Hadoop节点,当数据和计算分开时会对性能有所帮助,否则如果你关闭某个Hadoop节点将丢失上面的所有数据或者添加一个没有数据的空节点。而鉴于这个原因,许多来自MapR、Hortonworks、Cloudera和Greenplum的专业Hadoop发行版都支持 Project Serengeti和 Hadoop Virtualization Extensions(HVE)。

5. Hadoop只可以在数据中心运行

首先,存在SaaS云服务解决方案。许多云服务允许你云端运行Hadoop、SQL,这无疑可以帮助你省下数据中心建造投资的时间和金钱。对于一个公有云运行时,Java开发者可以从Spring Data for Hadoop以及一些其它的GitHub中的用例获益。

6. Hadoop对虚拟化毫无经济价值

Hadoop通常解释在一堆商用服务器上运行,这样就会有人认为添加一个虚拟层在带来额外支出的同时并不会有额外的价值收益。用这个观点看是存在缺陷的,你并没有考虑到数据和数据分析事实上都是动态的。想成为一个利用Hadoop能量去成长、创新及创造效率的公司,你必须改变数据的来源、分析的速度等等。虚拟化基础设施同样可以减少物理硬件的封装,让CAPEX直接等于纯粹的商用硬件,而通过自动以及更搞笑的利用共享基础设施同样可以减少OPEX(运营成本)。

7. Hadoop不可以在SAN或NAS上运行

Hadoop在本地磁盘上运行,对于中小型集群它同样可以在一个共享的SAN环境下运行良好。而高带宽比如10GB Ethernet、PoE以及iSCSI对性能同样有很好的支持。

总结

宣传异或是炒作只能作为接受新事物的参考,在做决策之前必须进行深入的了解和分析。被流言所迷惑而做出错误的决策,必然会让投资陷入危险的境地。 

原文链接: 7 Myths on Big Data—Avoiding Bad Hadoop and Cloud Analytics Decisions(编译/仲浩 审校/王旭东)

“  第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名! 

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “ 

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加! 

重新验证 Win 95 用户口令 -VB资料 桌面的大小 -VB资料 字体改变事件 -VB资料 自定义组合热键 -VB资料 自动更换墙纸的小软件-VB资料 自动记录应用软件工作时间 -VB资料 自动卷动TextBox -VB资料 自动开始上次关机时关闭的应用 -VB资料 自动装入注册设置 -VB资料 自己编程模拟 MouseEnter,MouseExit 事件 -VB资料 走进VB6啃一块骨头 做成一个时间限制的测试版 -VB资料 PHP中利用jQuery实现SWF图像上传和裁剪 VB.NET或C#将DataSet快速导出到Excel中 HashSet的equals和hashCode重写问题 PendingIntent实现原理和代码 IntentService实现原理及内部代码 AsyncTask实现原理和内部代码 Neither user nor current process错误 ListView的右边滚动滑块启用方法 Live Wallpaper动态壁纸开发 控制软键盘显示和隐藏 设置Activity大小不再全屏原理 Android面试题,看看你基础如何? Android Canvas绘图抗锯齿解决方法 Android xliff和字符串资源 android.hardware.USB类介绍 Android开发经验谈之应用间数据共享 android_asset这个URL详细使用方法 Android 2.3系统自带高清UI图标下载 设置ScrollView滚动条的颜色 在listview中,如何根据鼠标的位置point(x,y),得知鼠标指在那条纪录? 怎样去掉tab控件上方的按钮 小妹请教一个问题,急! 统计一下? 使用CreateThread(NULL, 0, Settle, this, TRUE, &dwThreadId)问题!(在线等待) 修改文件名2 如何在运行一个程序,调动另一个程序? 高手请进,由两个adodataset,产生另外一个adodataset,该怎么办? 4444 ASP动网论坛漏洞分析!! 高分求助:在oracle中保存图片问题 我想买个二手笔记本作asm,vc++编程,现在有两个算合适,我应选?????? vftable是什么东西? 难道bcb的程序员都要当和尚吗 现在有很多注册表清理工具,请问注册表清理的原理是什么? An Urgent Problem about Word 2000----Is that an mission imposibile ?(s---o---s:high score is warranted) 请看看这个函数... 如何确定线程运行消耗的资源量? 文件系统的树形列表怎么做啊,不要ocx的 为何我使用javascript中location'****.jsp'跳到某一页面,jsp页面不重新编译执行 VC6.0没有声音怎么办 循环20000000次所需要时间(急) 如何使按钮象工具栏上的按钮一样当鼠标移到按钮上时出现文字说明? 关于使用GDI+转换文件格式的问题. 各位能不能介绍点比较经典的算法的书籍,大家分享一下 如何恢复或新建临时表空间????在线等候!!!马上给分! Gis 请教一个数据库的问题,欢迎发言提出解决方案 ??怎样用asp程序把一段html代码转换成纯文本格式? 下拉数据窗口不能下拉是什么原因啊? 有关用VB做数据库的简单问题、ComboBox控件问题! 大家帮我看看这段程序为什么值为0 oracle8.1.7的数据库备份文件怎样恢复到oracle8i上 ? 怎样屏蔽flash的右键菜单,弹出自己的菜单? 我想问一下有没有不写入数据库用ASP代码可以查看当天的浏览访问量 灌水区的水越来越没质量了,你觉得呢? 按钮消息响应的问题,详细请看进去再看 异常详细信息: System.Data.OleDb.OleDbException: 无法启动应用程序。工作组信息文件丢失,或是已被其它用户以独占方式打开。 求助,网页制作0=={=========>(在线等,送分) 谁能告诉我《C++Builder 5编程实例与技巧》这本书在哪儿可以下载到完整的电子版!高分感谢! 请教如何将一张图片旋转? 关于流媒体和vc++的结合,高人请进!! 关于DataOutputStream和DataInputStream求教 会DirectX的一起来讨论! 4444 菜鸟求助~~~ help me 刚才发现www2.google.com www3.google.com也不能访问了,见鬼:( 我想停止window2000[域控制器]的389端口,但我不知服务是不是LDAP,因为我想占用端口389 各位!帮个忙! 帮忙啊!因为很着急,只有在技术论坛发了,大家原谅 关于折射式天文望远镜的问题“垂直的目镜” 有什么用?就是那个长长的目镜.1.5XErecting Eyepiece 一个细胞产生的精子遗传物质可能互不相同.减数分裂不是将遗传物质平分给子细胞吗?为什么会可能互不同? 铝银浆有毒吗?如果误食怎么办? 传统的铁路钢轨铺设在枕木上,通过—————的方法来减小压强,防止铁轨下陷 同一个体内,遗传物质不完全相同的细胞可能是精子细胞吗? 怎样区分水果电池的铜和铁的正负极?八年级教材中有一个课后习题,怎样判断水果电池的正负极?水果电池是怎样产生电压的呢? 请帮忙推荐一款折射天文望远镜!包括各种配件,仪器,品牌,价格在2000元以内, “精子是精原细胞经减数分裂形成的,遗传物质与体细胞不同”这句话该怎么理解? 在斜三角形ABC中,2sin2C*cosC-sin3C=根号三(1-cosC).①求角C的大小,②若AB=2,且sinC+sin(B+A)=2sin2A求三角形ABC的面积 在铁轨下面铺设枕木,是增大还是减小对地面的压强啊?为什么? 基因型身份证的18个位点的信息不可能取自什么细胞 A.红细胞 B白细胞 C肌细胞 D口腔上皮细胞 吃碱性东西不是会中和胃酸吗?既然胃酸具有初步消化食物以及杀菌的作用,那为什么喝苏打水或者茶这些碱性的东西对身体好?碱性不是会中和酸吗?那胃酸不就失去了作用,从而导致消化系统 光的折射 天文望远镜折射天文望远镜中的凸透镜是由多层玻璃组成的,这些玻璃是怎样利用折射率不同来减缓色差的? 动物的红细胞,白细胞,口腔上皮细胞.洋葱表皮细胞之间有哪些共同的结构?请你谈一下造成细胞间差异的原因..如题.. 哪些食物能中和胃酸?我有时吃饭吃的很多是会感觉胃口反酸.谁能告诉我这时应该吃什么食物来中和一下呢?请写的简单明了,别弄一大堆有用没用的上来! 如何用生活中的材料制作一个简易的天文望远镜太阳滤光膜,是用身边能买到的材料. 书上说从上图中可以看出种细胞分别是红细胞白细胞口腔上皮细胞和正在分裂的植物细胞和洋葱表皮细胞,可以告诉我怎么从四张图中看出五种细胞的吗?分别都是什么细胞呢? 吃什么东西可以中和胃酸 这些材料可以制造天文望远镜吗 尿检白细胞,红细胞,上皮细胞,细菌都偏高,是什么病呢?尿检白细胞892.9 参考范围0-12;红细胞89.4 参考范围0-12;上皮细胞13 参考范围0-10;细菌5912.9 参考范围0-2500;尿蛋白+,隐血++,这是什么病?尿道 胃酸应该吃碱性食物吗? 怎样制作天文望远镜?我突发奇想想做一架天文望远镜,请问有高手能告诉我制作 步骤 以及 材料 方面的详细信息吗?我是看外国人12岁就能做出来,我想证明中国人也是可以的!一定要能看到宇 玻璃液能导电说明什么与玻璃不能导电相对比 以下宗教诞生在亚洲的有1 佛教2 基督教3 伊斯兰教4 道教顺便讲一下为什么,谢啦 怎么制作天文望远镜 测量含源单口网络的戴维宁等效内电阻时,应将含源网络中独立源置零.如何实施 一道数学三角函数题 看到杂志说,葡萄籽含有最多的花青素,但是葡萄籽让人怎么吃啊.又涩又苦.其他还有什么可以补充花青素的? 戴维宁等效电路和诺顿等效电路之间可进行等效互换,这两种等效电路共有 、 和网络等效电阻三个参数,因而 第5题 抽取铝银粉浆要用什么水泵? 含受控源的戴维宁等效电阻要如何计算呢如图所示……左框的戴维宁等效电路为右框……等效电压我知道怎么算了……就是等效电阻不明白是怎么算的? 关于三角函数的.第5题 什么东东 测量含源单口网络的等效电阻的方法有哪几种?它们分别适用于何种场合 已知斜率相乘-1求证两直线垂直 叶的保卫细胞、鱼的红细胞、蛙的皮肤上皮细胞、人的口腔上皮细胞图片1楼说的是那本生物书啊 ,那个版的啊 落叶作文要讲出道理 两直线成角45度斜率相乘等于多少 伦敦形成的最重要的区位因素是? 下列细胞中,线粒体数目最多的是 A人的口腔上皮细胞 B洋葱表皮细胞 C成熟的红细胞 D甲状腺机能亢进肝细胞 21.《醉翁亭记》中描写琅琊山四季景色的句子是_______,_______,_______,__________.描写琅琊山早晚景色的 西安市形成的区位条件 两个直径都为9cm的钢管无缝焊接在一起,如何操作?另外,数学上有刨弧线这个概念吗?我都没听过,只知道抛物线...或者是建筑施工方面的,知道的说一下, 宇宙飞船在太空中怎样前进.太空中没有可以给它反作用力的介质啊. 地域的地理条件与地域文化的形成有着怎样的关系 《醉翁亭记》中描写山间四季景色的句子 飞船进入太空后为什么能前进呢外太空不是真空的吗 怎样制作折射式天文望远镜和怎样使像为正立的是加多少度的镜 欧阳修《醉翁亭记》一文中描写四季景色的句子是什么? 太空什么都没有,飞船怎么前进呢?我也知道什么燃料燃烧的问题,可是惯性不是什么东西靠固体液体的帮助下的吗,就好象搭人梯一样,上面的人靠下面的人的身体用脚用力才登上的.太空是真空 试从压强的角度说明铁轨铺设在枕木上的好处 在《醉翁亭记》中描写琅琊山水间四季景色的句子是: 干电池正负极金属片通常是什么金属? 我想知道怎么做30倍的折射式天文望远镜,物镜焦距多大,目镜焦距多大物镜直径多大,目镜直径多大.分辨率多大,等数据. 来自同一个精原细胞的精子,它们的遗传物质是否相同?为什么? 蓄电池正负极起的东西是什么?如何除掉? 铁路的钢轨铺在枕木上是增大压强还是减小压强 精细胞变形为精子后遗传物质完全相同吗 求y=2sin x+cos 2x(0≤x≤2π)函数的单调区间
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘