说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

数据中心基础设施是大数据战略成败的关键

HTML文档下载 WORD文档下载 PDF文档下载
随着基于传感器的移动Web监视设备和输出数据越来越多,可用的数据量将继续呈指数级增长。每个公司围绕大数据的相关决策都会有所不同,大数据战略需要数据中心基础架构作出的改变主要有五点。

【编者按】管理者相信,能有效运用数据的企业将比落后者具备更大优势。大数据战略需要数据中心基础架构作出的改变主要有文中所列举的五点,例如大数据导致的存储需求量每年都将增长60%至80%,IT采购者应选择在可扩展性和存储速度上最具成本效益的硬件;当然每个公司围绕大数据的相关决策都会有所不同。请记住,随着围绕大数据的技术演变,大数据战略也应当及时调整。本文来自机房360。

以下为原文:

为大数据选择新的硬件、存储和其它数据中心基础设施,这是IT专业人员们所面临的新挑战。

大数据是具备空前规模和形式的非结构化信息。它包括视频、图像,以及半结构化的数据(例如在Web上常见的电子邮件和文本)。随着基于传感器的移动Web监视设备和输出数据越来越多,可用的数据量将继续呈指数级增长。

推行大数据战略的压力往往来自高层,因为管理者相信,能有效运用数据的企业将比落后者具备更大优势。大数据战略需要数据中心基础架构作出的改变主要有五点:

一、支持大数据的硬件

大数据导致的存储需求量每年都将增长60%至80%,鉴于这种快速增长和当前的成本限制,IT采购者应选择在可扩展性和存储速度上最具成本效益的硬件。类似大型机的向上扩展体系结构重新兴起,因为它们能够经济高效地扩展,降低总体拥有成本。同样,在提升性能方面,固态硬盘(SSD)和固态卡带都比传统磁盘做得更好。

类似IBM Netezza和Oracle Exadata的硬件装置已被证实能有效兼顾可扩展性和性能。考虑采用硬件装置来支持关键大数据业务,但也应确认设备的架构能在未来提供快速性能升级。

二、围绕大数据选择存储

在成功的大数据策略下,企业可以将来自内部的高质量数据与Hadoop挖掘自多个云供应商的低质量数据进行整合。这也就改善了业务相关数据的质量,让分散在各地的数据能组织成为具备一致和及时性的大数据资源。

大数据正在改变中央数据仓储和松耦合数据集市的决策基础,后者的存储库规模要小得多,既可以替代中央数据仓库,也可以成为中央数据仓库的数据源。随着各地办事机构或者国际子公司的增加,中央管理层在业务线扩大的同时更需要高质量的数据来维持管控力度,避免权力的分散。

新的软件技术承担了繁重的存储相关处理工作。由Composite Software(刚刚被Cisco收购)和Denodo提供的数据虚拟化软件能自动发现数据源并提取数据充实全局元数据存储库,为整个组织提供跨越内部和外部的所有数据的公共数据库外观和体验。主数据管理软件通过创建公用主记录提高了数据质量,消除了费时的数据仓库检索。

企业Web外链需求加深了对公众和混合云的依赖。许多大型企业发现他们需要来自于多个云供应商的大数据,却不能指望供云应商会负责整合这些数据。企业只能从数据虚拟化供应商寻求工具来跨多个云整合大数据。

三、利用SSD的存储分层策略

存储成本很高,而且越快的存储也就越昂贵。最重要的是,大数据要求存储同时提供大容量和“大”性能。存储分层在存储资源池中提供多种成本/性能选项,从昂贵的高性能固态存储到传统的串行SCSI(SAS)磁盘存储,这些选项的组合降低了总拥有成本。在主内存和磁盘之间增加一个固态层将有助于将大数据任务的性能维持在高位,而且不会引起存储成本失控。

SSD的用量应遵从“90-10”的存储分层规则:成本和速度的最佳组合比例是:使用大约10%的SSD和90%的机械硬盘。这一策略让IT公司用仅增加10%成本的代价就能获得90%以上的性能提升。主内存和SSD的容量比例也遵从同样的规则。

由于SSD的性能价格比的提升速度超过传统磁盘(容量提升,价格降低),预计在不久的将来传统磁盘和SSD的配置比例会变为遵循80-20的规则。

IBM BLU Acceleration这类最新的纵列和内存数据库设施能利用SSD获得远超传统磁盘的性能,它们的设计能够有效发挥SSD这类“扁平化磁盘”的优势。

四、大数据分析和报告能力

虽然嵌入式分析工具已经可以利用报告和自动优化功能改善业务流程,但大数据再次改变了分析规则。例如,和传统上对单个客户进行主要行为分析洞察相比,大数据战略能为每个客户创建一个迭代和洞察分析线程,让公司能跟踪客户并更好地维持与所有客户的长期关系。

典型的大数据分析从业人员被称为数据科学家,和常规的IT主管不同,他们更可能同时担任CMO(营销总监)。然而,IT专业人员必须明白他们公司的大数据策略对数据科学家的工作产生的影响。

这意味着需要在自动化的报告和嵌入分析之外人工添加第三方审议内容:专设和松散耦合分析。支持专设查询的分析和统计工具是必要的软件前提。许多传统IT供应商以及云供应商——如IBM、Cognos和Birst——正在扩充这些功能。

五、企业中的Hadoop

Hadoop为数据密集型应用提供“紧贴着”MapReduce文件系统处理程序框架的分布式文件系统。此文件系统支持针对富文本数据的并行事务扩展,例如社交媒体数据。

许多IT公司通过在企业内创建自己的Hadoop版本来解决从Web获取Hadoop数据源的问题。然而,缺乏专业知识是一种挑战:精通这种发展中的Web数据管理框架的专业和艺术的IT管理人员犹如凤毛麟角。

组织开发他们自己的数据管理工具时应该留意,如IBM、Oracle和EMC的这些主要供应商,往往既提供专有产品用于访问Hadoop数据,也可进行定制开发,让IT公司不需要专门的数据归纳措施就能访问需要的数据。如果您决定搭建自己的数据平台,供应商也提供整合服务,使Hadoop更贴合现有IT资源来高效运作。

每个公司围绕大数据的相关决策都会有所不同。请记住,随着围绕大数据的技术演变,大数据战略也应当及时调整,与时俱进。

原文链接:数据中心基础设施是大数据战略成败的关键 (责编/魏伟)

以“ 云计算大数据 推动智慧中国 ”为主题的 第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。 需要购买的朋友,请抓住这最后的机会,点击报名!

云落地@北京,北京市北斗公共平台或开放API? GitHub再遭攻击 主要服务中断约一小时 移动开发者将有望拥有.app域名使用权 微信将推“游戏中心”?移动互联网入口圈地加剧 美国航空公司首次开放API 并举办“黑客马拉松”编程大赛 谷歌数据中心设计的10条“黄金法则” GitHub时代:为什么我们都在开源 VMware发布Horizon Suite 三款应用打包折扣低 TOP30+应用排行榜:二月份国内外综合榜单 开源是否意味着不需要负任何责任? 微软年度科技展 酷炫技术知多少 图解Hadoop生态系统 HTML5并不给力 微软IE10又默认启用Flash Oracle出新提案:Java正逼近iOS? TIOBE 2013年3月编程语言排行榜:厚积薄发 Ruby反超Perl 清华大学开源镜像站将被关闭 发表公开信 前Google资深研究员赵勇回国创业 专注计算机视觉/模式识别 开发者福音,微软开源Kinect源代码 日本很积极:富士通和NEC确认将推Tizen设备 10大支持移动“触摸操作”的JavaScript框架推荐 数据科学家的争夺及美分析学专业研究生院的建立 从开放走向封闭 Netflix宣布停止发布API key 《植物大战僵尸》神秘续作:可能是一款横版游戏 高性价比:GlassUp宣布支持Windows Phone系统 未挖掘到足够信息:非收集数据少,是利用率只有1% 下一个帝国:谷歌收购初创公司DNNresearch 苹果更新Apple Store应用,可查看零售店库存 开源软硬件:福特汽车的OpenXC计划 Temple Run:Oz稳坐付费榜头把交椅,迪士尼名利双收 Facebook开放图谱示好开发者 新增书籍电影等九项操作 源代码管理的六大视觉模式 JSP+JDBC环境中如何配置jConnect连接Sybase数据库?需要安装jdk吗? 急,高分求解Font问题 我编写了一个读写COOKIE的公用函数在我的工程中使用,老不通过,麻烦大哥们帮我诊断诊断 请问怎样获取托盘窗体的句柄??(给一百分) 请帮帮忙,如何调用dtswiz.dll 如何用BDE Administrator设置数据库别名(不用ODBC)访问Oracle数据库。高分相送! 对不起,我知道这个问题很简单,但是我一直没有搞出来,您能告诉我吗?datagrid中进行insert,delete,update操作? 寻求eVC用ADO操作cbd数据库的代码。 两个关于枚举类的问题 问用过struts的朋友一个问题,给100分! huffan交流系数表在C中如何表示?????? 线程问题~~~ 有哪位知道在 Windows 2000 下 锁定计算机时应用程序可以得到什么消息啊? 急!!关于数据的导入导出!! Cells不被VB支持吗? 获取字段类型 如何将DataGrid1中的数据打印出来, 如何使程序自动修改CEdit中的文字? 请问在.NET类库中有这样的类吗? 如何知道某个表格被锁 求助capboy等网络视频播放高手!!! 菜鸟问题:在VC中用ALTER TABLE指令需要什么头文件? 请高手帮忙,感觉难度很高 大家做GUI时有什么好用又免费的日期控件呢? 在javabean中用sql server2000的jdbc驱动连不起数据库! 添加图片到数据库中,奇怪现象! 如果我已经得到了一个DOM树, 我第一次运行HTML HELP时,new怎么会是无效的? 我的 程序在调用FORM.ACTION的用法不正确。能告诉我怎样用它 怎幺样实现一对主从表的数据库基本操作?用ADOQuery连接SQL2000. 有关统计打印的问题 一个关于用VB调用C++builder编写的DLL文件,DLL的API函数中存在函数指针。请各位高手给点意见! 大专生如何考研?(up有分) ★★ 为高兴而送分 ★★ 关于打印的问题,请各位帮忙 请问应该用何种信用卡 利用INTERNET远程连接问题 移动办公相关问题?如在两台机器里编写同一段Web程序。 怎样将oracle sql中的in语句改为exists语句? 求教win 2000双网卡上宽带的问题,请高手帮忙! win2000,给文件改日期的命令是什莫??? 为什么我的背景图片显示不出来? 请问如何在DAO的SELECT语句中使用COUNT等运算符? 请教:请问在程序中怎么在Check box 前边的小框上打上对号 老板让我一个月内学会vb,大家说可能吗? 我装了project 2000后,原来的office 2000只能用50次了,怎么回事? 请能提供DES和RSA算法的源程序呀,vb或VC的都行,最好是VB 请问如何让一个报表的内容同一个DBGrid一致,可以自由设置字段的是否显示? 我用vb新建了一个文件请问如何能双击就能打开我的程序,就跟word一样例:我新建一个kk.doc 只要双击kk.doc 就能打开word 使用Enumwindows的问题 我的jsp页面能够运行但是WEBLOGIC显示了<2002-9-2 上午10时41分13秒> <Error> <HTTP> <Connection failure 请问木头表面被浓硫酸腐蚀之后,是不是在潮湿的空气中会更脆弱(被腐蚀的更快)? 一块圆形玻璃多少钱,含加工磨边费用! 玻璃磨边机 磨边标准玻璃磨边机 磨出的玻璃边 什么样的是OK的.都有什么类型的不良状况(做简单现象描述),不良原因是什么.请专家作回答,谢谢一楼的回答.我补充下我想知道,都有什么磨 什么是测量准确度? 地质灾害评估费是多少? 细胞外液通过什么与外界进行物质交换? 这个是什么修正液 长江三角洲在什么地方 细胞可以直接与什么进行物质交换 过酸过碱,温度过高都是对蛋白质是影响空间结构使其失活吗?外界对于蛋白质的影响除了影响空间结构使其失活,还有其他方式吗?是什么造成的? C语言s=1/n+1/(n+1)+1/(n+2)+…+1/m之和.其中:n 玻璃磨边的要求,规范之类?玻璃家具的磨边要求, 蛋白质空间结构改变会不会影响其生物活性 人类男性正常精子中的常染色体和性染色体的组成是A.44+XY B.22+Y C.22+X或22+Y D.22+X 细胞外液是细胞与细胞进行物质交换的媒介这句话对吗 日本地震其他国家的汽车会涨价吗 /{(m-n)!}c语言怎么编程 如图所示,条形磁铁竖直放置,一水平圆环从磁铁上方位置Ⅰ向下运动,到达磁铁上端位置Ⅱ,套在磁铁上到达中部Ⅲ,再到磁铁下端位置Ⅳ,再到下方Ⅴ.磁铁从Ⅰ→Ⅱ→Ⅲ→Ⅳ→Ⅴ过程中,穿过圆 蛋白质形状改变就是空间结构改变吗,比如协助扩散载体蛋白改变形状叫空间结构改变,还有酶催蛋白质形状改变就是空间结构改变吗,比如协助扩散载体蛋白改变形状叫空间结构改变,还有酶催 人类男性正常精子中的常染色体和性染色体的组成是求大神帮助A.44+XY B.22+Y C.22+X或22+Y D.22+X 一圆形闭合金属线圈从条形磁铁的N极平行于轴线向条形磁铁的中间快速移动时,引起线圈内磁通量变化的有两个方向的磁场:磁铁内部的磁场和外部的磁场.为什么?不管怎么移,内部磁场的磁通 日本地震后,本田,丰田停产了,那车子会不会随着涨价? C语言:执行后,m和n的值是多少?int m=1,n=0,s;int a=1,b=2,c=3,d=4;s=(m=a>b)&&(n=c>!d);0,0的答案是怎么出来的?我不能理解~还有,那m和n的初值难道没有意义么?我是自学者,所以比较菜,希望回答详细一点, 中国古代有哪些象形文字? 日本地震 单反会涨价吗? 玻璃茶几边缘为什么磨得圆滑, 中国古代象形字有哪些? 如何做因果分析法鱼刺图及如何应用 沈阳1日游有什么推荐的?要自然风光的!市内可以不用考虑了. 中国象形文字 目怎么写 鱼刺图制作我用WORD里的绘图箭头做出图形来,但是怎样在箭头处添加文字呀? 智利有哪些值得观赏的自然景观和著名景点?想去智利旅游~ 中国象形字大全花的象形字是什么 请问大家一下化学题目 帮我一下 谢谢就告诉我吧打心底谢谢大家了3g 地质灾害易发性与危险性区别 重铬酸根在酸性环境中与亚硝酸根的反应方程式 中国汉字做姓氏读什么?1, 句:作姓氏时读 2, 黑:作姓氏时读 3, 区:作姓氏时读 4, 朴:作姓氏时读 5, 仇:作姓氏时读 6, 查:作姓氏时读 7, 繁:作姓氏时读 8, 员:作姓氏时读 9, 蕃:作姓氏 长江三角洲是我国地面沉降严重的地区之一,下图示意1986—2008年长江三角洲某地区地面沉降的发展变化,读图完成4—5题.5.造成长江三角洲地区地面沉降的主要原因是A.地震 B 中国的文字是由象形文字开始,那英语呢? 谁知道一道物理题了解的告诉下哟,打心底谢谢大伙了3g 铁化合物的颜色 二氧化硫和亚硝酸盐在酸性条件下能反应么 长江三角洲经常发生的自然灾害是 地质灾害调查跟地质灾害危险性评估有什么区别,这两个一般是一起做的吗? 条件反射一旦建立,反射弧就不变了吗?当无关刺激与非条件刺激在时间上多次结合以后,原来的无关刺激就成为条件刺激,所以条件反射是在非条件反射的基础上.借助于一定的条件想过一定的 用化学来解释长江三角洲的形成 关于卤素和铁元素化合物颜色的问题1、卤素单质在单独存放时、水溶液中、四氯化碳中的颜色分别是什么?2、二价铁元素、三价铁元素的离子、氢氧化物颜色 条件反射和反射弧之间的区别.如果在做题中,什么时候应该用条件反射,什么时候用反射弧?请各位不要复制一大片相同的答案.纯纯的菜鸟---我在此先感谢各位. 电热管在通电时间长的情况下功率会逐渐下降怎解?铁铬铝合金热丝 和 镍铬合金热丝 产品寿命测试(3000h),测试前功率和测试完3000h功率变大还是变小?两种发热有怎么样的变化, 给玻璃磨边能用挫刀吗?就是哪种平锉. 条件反射有反射弧吗 电热管通电后颜色变红的本质是什么 长江三角洲形成的原因 非条件反射与条件反射的反射弧相同吗?它们分别是什么 日本同一姓氏可能有不同读音吗?发现这样一个问题:中岛美嘉的姓读Nakashima中岛早贵的姓读Nakajima以前只知道日本人的名字同字可能有不同的读音,难道日本人的姓氏同字也可以有不同的读音 铁的某种化合物中的铁元素与硫元素的质量比为7比8,则该化合物的铁元素与硫元素元素个数的比为 条件反射和非条件反射都需要完整的反射弧吗 浙江哪几家机构能做《地质灾害评估报告》? 一般吧台下面用的磨边玻璃镜子的价钱是多少?菱形的玻璃镜子…… 请简述长江三角洲城市带形成的自然原因.如题,谢谢啊~
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘