说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

7个大数据流言——避免错误的Hadoop和云分析决策

HTML文档下载 WORD文档下载 PDF文档下载
要说Google的3大论文打开了大数据处理之门,那么Hadoop无疑是创造了大数据处理的开源传奇!然而传奇的周围从不缺乏流言,这不,为了“辟谣”,Adam Bloom在VMware博客上发表了入门Hadoop需要避免的7个流言。

Hadoop是由英雄们创造的开源传奇,然而传奇经常还伴随着一些流言——这些流言可能会导致IT高管们带着乐观的心态去制定策略。

数据体积和数据使用在以惊人的速度增长着,这一点从分析师的分析中不难获得——IDC今年在数据存储上的 增长速度将达到53.4%,AT&T声称 无线数据的流量在过去的5年内增长200倍,如果你着眼自己通信渠道的话,将毫无疑问的发现互联网内容、电子邮件、应用通知、社交消息以及每天自动接收的消息都在显著的增长。这也是为什么 从McKinsey到Facebook再到Walmart都重点聚焦于大数据。

就像我们看到的90年代与2000年代的互联网泡沫,大数据同样会导致一些公司做出糟糕的设想和决策。

Hadoop毫无疑问是公司为了解决大数据需求的主要投资领域之一,而类似Facebook这些在大体积数据处理上有所建树的公司都公开的吹捧过在Hadoop上取得的成功,同样初入大数据领域的公司也必先着眼这些成功的典型。Adam Bloom的一个MIT(麻省理工学院)计算机科学校友曾对他说:“when all you have is a hammer, everything looks like a nail。”通过Hadoop的炒作,我们可以避免 功能固着(functional fixedness)这种认知偏差。 Hadoop是一个多维的解决方案,可以通过不同的方式进行部署和使用。下面就看一下公司在开始Hadoop项目之前必须了解的一些关于Hadoop和大数据的预先构想的错误理念

1. 大数据只关系到体积

在体积之外,许多工业先锋还经常提到 variety(多样)、variability(可变)、velocity(速度)和value(价值)。撇开所有单词都押头韵,关键点在于大数据并不是体积上的增长——它正在向着实时分析、结构化和非结构化来源方向发展,并被用于尝试和制定更好的决策。综上所述,不是只有分析大体积数据才会获得价值。举个例子,超时限的存储和分析1PB的数据的价值可能比不上实时分析1GB的数据。从工具集上考虑,你可能需要一个内存数据网络进行实时的分析,从新鲜的数据上获得价值,而不是去解剖过时的数据获得价值。

2. 传统SQL不可以在Hadoop上使用

当Facebook、Twitter、Yahoo!在Hadoop上豪赌时,他们同样知道HDFS和MapReduce受限于处理类似SQL语言的能力,这也是 Hive、 Pig和 Sqoop最终得以孵化的原因。基于全球上大量的数据都是通过SQL来管理,一些公司和项目都在Hadoop和SQL的兼容上狠下功夫。

3. 取代大型机!Hadoop是唯一的新IT数据平台

在IT投资组合里有很多一直长期存在的投资,而大型机就是这么一个例子,与ERP、CRM和SCM这些系统一样演变至今。而如果大型机不想被公司或者架构遗弃,它就必须展示在现有投资环境中的价值。而VMware的许多客户在使用大型机上都遇到了速度、规模和开销的问题,但是并不是没有途径去解决这些问题,比如像vFabric SQLFire这样的内存大数据网络就可以被嵌入或者使用分布式缓存途径去解决类似队列的高速摄取、促进大型机的批处理或实时分析报告这些问题。

4. 虚拟化会导致性能下降

Hadoop最初的设计只是在实体服务器上运行,然而随着越来越多机构的采用,许多公司都希望它能作为数据中心服务在云中运行。为什么这么多的公司都希望虚拟化Hadoop?首先要考虑管理基础设施的扩展性,VMware快速的认识到扩展计算资源,比如虚拟Hadoop节点,当数据和计算分开时会对性能有所帮助,否则如果你关闭某个Hadoop节点将丢失上面的所有数据或者添加一个没有数据的空节点。而鉴于这个原因,许多来自MapR、Hortonworks、Cloudera和Greenplum的专业Hadoop发行版都支持 Project Serengeti和 Hadoop Virtualization Extensions(HVE)。

5. Hadoop只可以在数据中心运行

首先,存在SaaS云服务解决方案。许多云服务允许你云端运行Hadoop、SQL,这无疑可以帮助你省下数据中心建造投资的时间和金钱。对于一个公有云运行时,Java开发者可以从Spring Data for Hadoop以及一些其它的GitHub中的用例获益。

6. Hadoop对虚拟化毫无经济价值

Hadoop通常解释在一堆商用服务器上运行,这样就会有人认为添加一个虚拟层在带来额外支出的同时并不会有额外的价值收益。用这个观点看是存在缺陷的,你并没有考虑到数据和数据分析事实上都是动态的。想成为一个利用Hadoop能量去成长、创新及创造效率的公司,你必须改变数据的来源、分析的速度等等。虚拟化基础设施同样可以减少物理硬件的封装,让CAPEX直接等于纯粹的商用硬件,而通过自动以及更搞笑的利用共享基础设施同样可以减少OPEX(运营成本)。

7. Hadoop不可以在SAN或NAS上运行

Hadoop在本地磁盘上运行,对于中小型集群它同样可以在一个共享的SAN环境下运行良好。而高带宽比如10GB Ethernet、PoE以及iSCSI对性能同样有很好的支持。

总结

宣传异或是炒作只能作为接受新事物的参考,在做决策之前必须进行深入的了解和分析。被流言所迷惑而做出错误的决策,必然会让投资陷入危险的境地。 

原文链接: 7 Myths on Big Data—Avoiding Bad Hadoop and Cloud Analytics Decisions(编译/仲浩 审校/王旭东)

“  第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名! 

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “ 

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加! 

不用 API ,直接调用关联的程序 -VB资料 处理过程时的鼠标显示 -VB资料 窗口处理技巧大全 -VB资料 窗口事件的发生顺序-VB资料 VB创建不规则窗口 VB创建透明窗体 VB创建位图菜单 VB创建无 Icon 的窗口 打开 Win95 的创建快捷方式窗口-VB资料 打印机技巧 -VB资料 带有历史记录功能的菜单-VB资料 得知目前Mouse所指的Menu Item是哪一个-VB资料 调整 Combo 下拉部分的宽度 -VB资料 对象是使用 TAB 键还是鼠标激活的 -VB资料 防止用户编辑文本框控件中的内容-VB资料 改变 ListIndex而不发生 Click 事件 -VB资料 改变 TreeView 的背景 -VB资料 改变安装向导的背景色-VB资料 改变按钮的文本颜色-VB资料 功能强大的增强列表框 ――VB6控件LISTVIEW使用指南 关闭MDI窗体中所有的子窗体-VB资料 规范设计Windows应用软件菜单-VB资料 VB建立可滚动的视区 -VB资料 VB建立可下拉选择的属性 -VB资料 VB建立无模式窗口 -VB资料 将VB5中的ToolBar变成平面的 将程序从任务列表中隐藏 -VB资料 将我自已的命令加入窗体的控制菜单栏-VB资料 VB利用 UnloadMode 来控制窗体的卸载? VB利用Form_QueryUnload询问使用者是否关闭窗口 利用VB的图片框实现屏幕的滚动 讨论:问题与主义 我要学SCO UNIX,请问本书比较好? Crystal Report8.0怎么安装? DLL的棘手的问题,大家可以踊跃发表自己的意见,来者有分! 怎样把图片存入扩展名为DBT的文件? 在VB中,我用A4纸设计的报表,能否用简单的文法将其放大到用A3纸打印?谢谢! VB实在太简单了,各位有胆的放马去开VC....... 一般概念性问题 关于Delphi中发布广播的问题。 电力系统问题 :请问非居民(或直供户)电量与电费算法公式是如何定义的?(详细点) Embeded visual c++3.0 问题 我要学SCO UNIX 8.0 FOR PC,哪本书较好呢? 怎么样学习网络编程?来者有分!不够再加. 请高手帮帮我!!! 如何改变打开、保存、另存为文件对话框中缺省的文件类型? 为何我的程序在VC编辑环境下按CTRL+F5不能正确RUN,在资源管理器下能正确RUN? make文件是怎么回事? oracle中long类型是什么类型? PB简单画图?保存到库表中? 用程序代码建立表结构的问题 怎么在状态栏中加入竖线分隔,而且调整字体的大小? 请高手帮帮我!!!! jbuilder4的enterprise setup需要weblogic51,但我的是weblogic6,应该怎样才能让jbuilder支持6啊? 关于数据库的并发操作 谁知道哪里有vb下载? 哪有可下载的AUTOCAD2000 如何用VB实现存折的打印???? 请教给TImage加滚动条的问题 我和她在一起的话,会开心吗 请大家看看这条语句有什么错? 关于isdn在win2000下共享的问题 各位水友,有力的出力,没力的看看,拜托 请从位高手帮小弟解决一个棘手的问题……………………多谢!!!!!!! ALLTEC(荔枝)兄弟,兄弟我接帖太快 :( 請這邊來. ★★★ 救命啊! VC 用ODBC访问 Access 数据库的问题 guo->你在www.linuxforum.net中叫什么?有个guoemail是你吗? 软件发布:市场摊位租赁管理系统Ver1.0 软件发布:量和单位转换软件(免费版) 软件发布:五笔快打 在listview中的各个记录listitem中,有没有双击记录的事件 软件发布:伏羲服装鞋业购销存管理系统 软件发布:进销存商务管理pcft-jxc 征集各地童谣.唤醒儿时记忆! 今天我请客! 有关vb调用excel的问题! 有没有关于BDE的单独的分发程序? VB中报表预览打印能不能实现象EXCEL中一样的“按比例缩放”?如何实现? 单机版流量统计 关于Delphi6的安装问题 动态计算公式怎么实现?? 常用的英文字体是什么? 一、填空题1.根据8乘1.2=3乘3.2组成两个比例分别是( ),( ).2.写出比值是2的两个比,并组成比例是( ). 画波浪线的部分看不懂,就好像凭空捏造出来的一样,请无视我的愚钝:)能看到吗 大船卡可拉若干小船运送货物.每次拖4个小船,一日可来返16次;每次拖7个小船,一日可来返10次.如果小船增加的数目与大船来回减少的次数成正比.那每次拉多少只小船,来回多少次才能使运货 2.某公司五月份售出的手机800部,比四月份多售出五分之一,四月份售出多少部?3.一位城市居民过去的居住面积是52平方米,比现在的居住面积少二十四分之十一,现在的居住面积是多少平方米? 函数y=√9-(x-5)²的图像上存在不同的三点到原点的距离构成等比数列,则以下不可能成为该数列的公比的数是 A,√2 B,√3 C,√5 D 3/4将就着看吧 √这个是根号,= =. 求解一道二次函数数学题.有图最好! 六年级!数学题!急死我了一位城市居民过去的居住面积是52平方米,比现在的居住面积少二十四分之十一,现在的居住面积是多少平方米? 问一到数学题,希望给一个解题步骤.若(1-2x+y)是4xy-4x^2-y^2-m的一个因式,则m的值为( ) 已知 抛物线经过原点(0,0)A(1,-3?B(-1,5)(1) 求抛物线解析式(2)设抛物线与X轴的另一交点为C,以OC为直径作圆M,如果抛物线上一点P作圆M的切线PD,切点为D,且与Y轴的正半轴交点为E,连接MD 淘气和笑笑都积攒了一些零用钱,淘气积攒的钱是笑笑的180%.在献爱心活动中,淘气捐了58元钱,笑笑捐了30元钱,这时他们的钱数相等.淘气原来有多少钱?不要方程 我想问几道高中选修的数学题,1.一个距地心距离为r,质量为m的人造卫星,与地球之间的万有引力F由公式F=GMm/r方 给出,其中M为地球质量,G为常量,求F对于r的瞬时变化率2.某旅行社在暑假期间推出 二次函数数学题.....某企业信息部进行市场调研发现:一:如果单独投资A种产品,则所获利润y'(万元)与投资金额x(万元)之间存在正比例函数关系:y'=kx,并且当投资5万元时,可获利2万元.二:如果单独 今年小芳和他妈妈的年龄和是38岁,3年前妈妈的年龄比小芳的9倍多2岁,小芳和妈妈的今年各是多少岁今年小芳和他妈妈的年龄和是38岁,3年前妈妈的年龄比小芳的9倍多2岁,小芳和妈妈今年各是 红盒子每个重3/28千克,蓝盒子每个重5/24千克,如果红盒子和蓝盒子的总重量相同,至少有()个红盒子,()个蓝盒子 再问你一道数学题,希望你能解答一架飞机最多能在空中飞行4h,它在飞出和返回时的速度分别为950km/h和850km/h,这架飞机最远飞出多少千米就应返回?(保留整数) 请解答一道小学四年级数学题:小华喝一杯牛奶,第一次喝了一半后,加满水;第二次又喝了一半后,又加满水,最后全部喝完.他喝的牛奶与水相比,( ).A.牛奶多;B.水多;C.同样多我算的结 用一张长5.14分米、宽2分米的长方形铁皮做一个圆柱形铁桶,求这个铁桶的表面积最大是多少?小亮和爸爸、妈妈的年龄分别是6、35和31岁.几年后,爸爸、妈妈的年龄总和是小亮的5倍?(正确答案 苏教版三年级下册练习与测试数学P31,如图,求解答(1)(2)小题 甲乙两个人都要在两岛之间游个来回.两人分别从A、B同时出发,他们第一次相遇的时候距离A岛700米,第二次相遇距离B岛400米,问AB间距离?四楼正解,可是看不懂 A、B两地相距880千米,甲、乙两辆汽车分别从两地同时相向而行,已知甲、乙两车的速度是6:5,当两车相遇时,两车各行了多少千米? 初三一道数学题(希望解释的清楚明白些)已知抛物线C,y=x^2+5x-6,将抛物线C平移得到抛物线C',若两条抛物线C,C'关于直线x=1对称,则下列平移方法中,正确的是( )A 将抛物线沿x轴向右平移7/2个 这个数是137,结果看成了173,商比以前大3,余数相同,问除数和余数各是多少? 1.将自然数按顺序无间隔地排成一排1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4……在199和200之间第一次出现“1992”四个数字相接.那么第二次出现“1992”四个数字相接是在_____和_____之间.2.有3个男孩和2个 1、一个闹钟的时针长是6cm,从上午10点到下午2点,时针所扫过的面积是多少平方厘米?2、已知一个扇形的半径是6cm,圆心角是120°,则此扇形的面积是( )平方厘米,周长是( )平方厘米.3、张华 饲养小组共有鸡,鸭450只,后来卖出鸡的一半,又买进30只鸭,此时鸡是鸭的2倍,原来鸡和鸭各有多少只?列数学算式,不带xy!需要列式子,不能用x和y! 1.一个底面直径是24厘米的圆柱形杯中装有水,水里浸着一个底面直径是12厘米,高是18厘米的圆锥体铁块,当铁块从杯中取出时,杯里水面会下降多少厘米?2.一个圆锥的底面半径是圆柱底面半径的 在田径运动会上,甲乙丙三人沿400米环形跑道进行800米跑步比赛.当甲跑完1圈时,乙比甲多跑7分之1圈,丙比甲少跑7分之1 圈.如果他们各自跑步的速度始终不变.那么,当乙到达终点时,丙离终点还 甲、乙两车同时从两地相对开出,t小时后相遇.甲车每小时行42千米,乙车每小时行45千米.(1)用式子表示出两地间的路程.(2)根据这个式子,求t=3时,两地的路程是多少千米? 甲乙两车同时从A地到B地,当甲行了全长的5分之3时,乙行了28.4千米,当甲到达B地,乙离B地还有11分之3,AB相距多少千米? 1.足球比赛有ABCDE五个小足球队参加足球比赛,到现在为止,A队赛了4场,B队赛了3场,C队赛了2场,D队赛了1场.那么E队赛了几场?2.将奇数1、3、5、7、9……按下表排成五列.1 3 5 715 13 11 917 19 21 2331 29 27 1.小虎6分钟走了1/5千米,平均每分钟走多少千米?2.某工程队修一条路,6天修了全长的2/5.平均每天修全长的几分之几?照这样计算,10天可以修全长的几分之几?(注:1/5=五分之一) 这是一道数学题,由于比较急,希望你能快速回答,对于每项均是正整数的数列A:a1,a2,a3,…,an,定义变换T1,T1将数列A变换为数列T1(A):n,a1-1,a2-1,…,an-1对于每项均是非负整数的数列B:b1,b2,b3,… 化简的3道题给/> 把一个小数缩小10倍,所得的小数比原来的小数少2.7,原数是多少?帮我找答案,我需要算式,我知道原数是3,但是不知道怎么求. 关于一条数学题,希望大家能回答我,一批零件,用15个盒子装,还剩下4个.用20盒子装,也是剩下4个.问这批零件有多少件?啊哥啊姐能说明每一步的原因! 已知数列{An}的前n项和为Sn,且Sn+An =2n.求a1.a2.a3.a4. 帮偶两道六年级数学题(要过程,拜托了)1.在一农场,母鸡的头数与山羊的头数之和是70,而腿数之和是196,则母鸡比山羊多多少?2.有一批画册,如果3人合看一本则余2本,若两人合看一本则8人没看 5.下列说法正确的是( )A 平移不改变图形的形状和大小,而旋转则改变图形的形状和大小B 平移和旋转的共同点是改变图形的位置C 图形可以向某方向平移一定距离,也可以向某方向旋转一定距离 1.李师父做30节同样大小的圆柱型通风管,梅节长1.5米.底面半径是20厘米,至少要用多少平方米的铁皮.2.一个圆柱形油罐的侧面展开图是一个正方形,底面周长是18.84M如果每立方米可装油0.8吨.这 (1)将1、2、3、4……36随意的填写到6*6的表格中(每格一数),请问能否一定能从表中删去一列数和一行数,使得剩下的数的和为偶数?(2)数666……666(1992个6)*666……667(1991位数)*24的各 希望今天晚上得到答案!(1)在1-10这10个自然数中,每次取两个数,使得所取两个数之和大于10.共有多少种取法?(2)在1-100这100个自然数中,每次取两个数,使得所取两个数之和大于100.共有多少 一个圆柱形容器的容积为V立方米,开始用一根小水管向容器内注水,水面高度达到容器高度的一半后,改用一根口径为小水管2倍的大水管注水,像容器中注满水的全过程共用t分。求两根水 红红和亮亮栽了一棵小树,树干直径是5厘米,高是1.5米,小树成活后,每年约能长高10厘米,树干直径每年约长3厘米.(1)5年后成材的木料大约有多少立方米?(2)把这根圆木加工成最大的方木,方木 希望今天能给出答案2008年北京奥运场的足球分赛场——秦皇岛市奥体中心体育场,其足球场的周长是344米,长和宽之差是36米,这个足球场的面积是多少平方米? 公司计划修一段铁路,当完成任务的1时,公司采用新设备,修建速度提高60%- 55 - ,同时为了保养新设备,每天的工作时间缩为原来的7.⑴如果72天完成了任务,那么原计划多少天完成任务?⑵如果提前 一架飞机所带燃料最多可以用六小时,飞机飞出时顺风每小时行1500Km,返回时逆风而行每小时飞行1200Km这架飞机自多飞多远就学要返回? 数学题,希望能有详解!谢谢!有一条光线沿直线y=4射到抛物线y²=4x上的一点P,经抛物线反射后,反射光线与抛物线的另一个交点Q,O是抛物线的顶点,F是抛物线的焦点,求弦PQ的斜率和△OPQ的面积S 数学题,带过程!1. 一件工作,甲24小时完成,甲乙合作8小时,乙先独做3小时,剩下由甲乙合作,剩下部分几小时完成?2. 一个6位数,首位数是1,若1移到个位,那么新6位数是原数的3倍,求原数 某校六(2)班40名同学为希望工程捐款,共捐100元,捐款情况如下表:求出捐款2元和三元的同学各几名? 等差数列{an}是递增数列,前n项和为Sn,且a1,a3,a9成等比数列,S5=(a5)^2 (1)求数列{an}的通项公式 (2)若数列{bn}满足bn=(n^2+n+1)/(an*an+1),求数列{bn}的前99项和 比较大小:3的555次方:4的444次方:5的333次方已知2的X次方=3,2的Y次方=6,2的Z次方=12 ,求出X,Y,Z的关系3确定(2+1)(2的平方+1)(2的4次方+1)(2的8次方+1)(2的16次方+1)(2的32次方+1)+1的末 1.两辆汽车同时从A地开到B地,甲汽车每小时行80千米,乙汽车每小时行120千米.当乙汽车比甲汽车多行200千米时,甲汽车正好行了全程的40%,问:A地到B地的路程是多少千米?2.分母是a(大于零的自 10.有一列数 A1,A2 ,A3 ,……An ,从第二个数开始,每一个数都等于 与它前面那个数的倒数的差,若A1=2,求A2007为多少等于1与它前面那个数的倒数的差 不好意思 兰州到乌鲁木齐的铁路线大约长1900km,在比例尺是1:40000000 的地图上,它的长是到少? 几道六年级数学题快来(1)一个圆柱体的底面积是9平方厘米,它的体积是()立方厘米.(2)一个排气管,它的横截面积是8平方分米,排气气流的速度每秒是5分米,这个通风管每分钟可排气体( 1、一个数的7(4)是28,这个数是( ).2、5(3) = ( )∶( )= ( )(18)=6÷( )3、一个直角三角形两个锐角度数的比是1∶2,则这两个锐角分别是 ( )和( )度.4、把 3(1)× 9(2)= 27(2)改写成 甲、乙两地相距100千米,一台拖拉机从甲地去乙地,出发10千米后,一辆汽车也从甲地去乙地,当汽车到达乙地时,拖拉机离乙地还有10千米,问:汽车追上拖拉机时,汽车离乙地还有多少千 几道六年级数学题 快师徒两人合作加工一批零件,师傅的工作效率是徒弟的1.4倍,完成任务时,徒弟比师傅少做了240个零件,这批零件一共有多少个? 客、货两车同时从甲乙两城的中点向相反的方 将一块圆锥形糕点沿着垂直于底面切成完全相同的两半,表面积比原来增加了36cm2,测得圆锥形糕点的高是9cm.原来这块糕点的住体积是多少立方厘米? 求解一道二次函数数学题.最好带草图.已知函数y=(m+1)x+2m-1,当m取何值时,y是x的二次函数?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn