说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

数据中心基础设施是大数据战略成败的关键

HTML文档下载 WORD文档下载 PDF文档下载
随着基于传感器的移动Web监视设备和输出数据越来越多,可用的数据量将继续呈指数级增长。每个公司围绕大数据的相关决策都会有所不同,大数据战略需要数据中心基础架构作出的改变主要有五点。

【编者按】管理者相信,能有效运用数据的企业将比落后者具备更大优势。大数据战略需要数据中心基础架构作出的改变主要有文中所列举的五点,例如大数据导致的存储需求量每年都将增长60%至80%,IT采购者应选择在可扩展性和存储速度上最具成本效益的硬件;当然每个公司围绕大数据的相关决策都会有所不同。请记住,随着围绕大数据的技术演变,大数据战略也应当及时调整。本文来自机房360。

以下为原文:

为大数据选择新的硬件、存储和其它数据中心基础设施,这是IT专业人员们所面临的新挑战。

大数据是具备空前规模和形式的非结构化信息。它包括视频、图像,以及半结构化的数据(例如在Web上常见的电子邮件和文本)。随着基于传感器的移动Web监视设备和输出数据越来越多,可用的数据量将继续呈指数级增长。

推行大数据战略的压力往往来自高层,因为管理者相信,能有效运用数据的企业将比落后者具备更大优势。大数据战略需要数据中心基础架构作出的改变主要有五点:

一、支持大数据的硬件

大数据导致的存储需求量每年都将增长60%至80%,鉴于这种快速增长和当前的成本限制,IT采购者应选择在可扩展性和存储速度上最具成本效益的硬件。类似大型机的向上扩展体系结构重新兴起,因为它们能够经济高效地扩展,降低总体拥有成本。同样,在提升性能方面,固态硬盘(SSD)和固态卡带都比传统磁盘做得更好。

类似IBM Netezza和Oracle Exadata的硬件装置已被证实能有效兼顾可扩展性和性能。考虑采用硬件装置来支持关键大数据业务,但也应确认设备的架构能在未来提供快速性能升级。

二、围绕大数据选择存储

在成功的大数据策略下,企业可以将来自内部的高质量数据与Hadoop挖掘自多个云供应商的低质量数据进行整合。这也就改善了业务相关数据的质量,让分散在各地的数据能组织成为具备一致和及时性的大数据资源。

大数据正在改变中央数据仓储和松耦合数据集市的决策基础,后者的存储库规模要小得多,既可以替代中央数据仓库,也可以成为中央数据仓库的数据源。随着各地办事机构或者国际子公司的增加,中央管理层在业务线扩大的同时更需要高质量的数据来维持管控力度,避免权力的分散。

新的软件技术承担了繁重的存储相关处理工作。由Composite Software(刚刚被Cisco收购)和Denodo提供的数据虚拟化软件能自动发现数据源并提取数据充实全局元数据存储库,为整个组织提供跨越内部和外部的所有数据的公共数据库外观和体验。主数据管理软件通过创建公用主记录提高了数据质量,消除了费时的数据仓库检索。

企业Web外链需求加深了对公众和混合云的依赖。许多大型企业发现他们需要来自于多个云供应商的大数据,却不能指望供云应商会负责整合这些数据。企业只能从数据虚拟化供应商寻求工具来跨多个云整合大数据。

三、利用SSD的存储分层策略

存储成本很高,而且越快的存储也就越昂贵。最重要的是,大数据要求存储同时提供大容量和“大”性能。存储分层在存储资源池中提供多种成本/性能选项,从昂贵的高性能固态存储到传统的串行SCSI(SAS)磁盘存储,这些选项的组合降低了总拥有成本。在主内存和磁盘之间增加一个固态层将有助于将大数据任务的性能维持在高位,而且不会引起存储成本失控。

SSD的用量应遵从“90-10”的存储分层规则:成本和速度的最佳组合比例是:使用大约10%的SSD和90%的机械硬盘。这一策略让IT公司用仅增加10%成本的代价就能获得90%以上的性能提升。主内存和SSD的容量比例也遵从同样的规则。

由于SSD的性能价格比的提升速度超过传统磁盘(容量提升,价格降低),预计在不久的将来传统磁盘和SSD的配置比例会变为遵循80-20的规则。

IBM BLU Acceleration这类最新的纵列和内存数据库设施能利用SSD获得远超传统磁盘的性能,它们的设计能够有效发挥SSD这类“扁平化磁盘”的优势。

四、大数据分析和报告能力

虽然嵌入式分析工具已经可以利用报告和自动优化功能改善业务流程,但大数据再次改变了分析规则。例如,和传统上对单个客户进行主要行为分析洞察相比,大数据战略能为每个客户创建一个迭代和洞察分析线程,让公司能跟踪客户并更好地维持与所有客户的长期关系。

典型的大数据分析从业人员被称为数据科学家,和常规的IT主管不同,他们更可能同时担任CMO(营销总监)。然而,IT专业人员必须明白他们公司的大数据策略对数据科学家的工作产生的影响。

这意味着需要在自动化的报告和嵌入分析之外人工添加第三方审议内容:专设和松散耦合分析。支持专设查询的分析和统计工具是必要的软件前提。许多传统IT供应商以及云供应商——如IBM、Cognos和Birst——正在扩充这些功能。

五、企业中的Hadoop

Hadoop为数据密集型应用提供“紧贴着”MapReduce文件系统处理程序框架的分布式文件系统。此文件系统支持针对富文本数据的并行事务扩展,例如社交媒体数据。

许多IT公司通过在企业内创建自己的Hadoop版本来解决从Web获取Hadoop数据源的问题。然而,缺乏专业知识是一种挑战:精通这种发展中的Web数据管理框架的专业和艺术的IT管理人员犹如凤毛麟角。

组织开发他们自己的数据管理工具时应该留意,如IBM、Oracle和EMC的这些主要供应商,往往既提供专有产品用于访问Hadoop数据,也可进行定制开发,让IT公司不需要专门的数据归纳措施就能访问需要的数据。如果您决定搭建自己的数据平台,供应商也提供整合服务,使Hadoop更贴合现有IT资源来高效运作。

每个公司围绕大数据的相关决策都会有所不同。请记住,随着围绕大数据的技术演变,大数据战略也应当及时调整,与时俱进。

原文链接:数据中心基础设施是大数据战略成败的关键 (责编/魏伟)

以“ 云计算大数据 推动智慧中国 ”为主题的 第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。 需要购买的朋友,请抓住这最后的机会,点击报名!

与用户的再一次连接,微软的免费升级计划背后 颠覆App!LayaBox用Flash开发重度HTML5游戏 WinHEC:微软小娜与小冰正式登陆Windows 10平台 Coursera工程师董飞:典型硅谷公司大数据实战分析 微软开源Visual Studio构建工具MSBuild 死而复生!下架6月,Launcher重回App Store 虚拟投影、高保真耳机!新型可穿戴家庭影院Dashbon Mask 【程序员电子刊精选】躺枪的互联网思维 Algolia的分布式搜索网络架构 对抗苹果?豪雅联合Google、Intel开发智能奢表 VR产品技术解析之三星Gear VR 雅虎北研即将关闭 人才抢夺战迅速拉响 移动应用中的AR开发,5款最受欢迎工具推荐! 中国黑客Pwn2Own再创佳绩 Keen Team三年五夺魁 星环CTO孙元浩:技术解析Transwarp Inceptor是怎样炼成的 第七届中国云计算大会将于6月3-5日在北京召开 两大设计模式 塑造高可读性的网页布局 IP争夺战:任天堂与DeNA联手意味着什么? UNITE 2015干货不断,三天日程抢先看! iOS 8发布近一年,苹果HomeKit都带来了什么? Facebook开源移动网络测试工具Augmented Traffic Control 用JavaScript开发移动原生应用,Facebook正式开源React Native! 《知性》,探寻移动化社区的敏感带 【程序员电子刊精选】技术人员如何参与产品设计讨论之激活那一潭死水 Google开源代码构建工具Bazel 长点心吧!为啥健身应用让你越减越肥? 微信公众号能删除单篇文章了 安卓Android手机应用开发入门书籍推荐 自动释放内存!Facebook推出强大Android图片库Fresco 《近匠》AR学校:从教育领域看增强现实机遇何在 专访Mellanox CEO Eyal Waldman:InfiniBand与以太网齐驱并进 性能更胜一筹 哈哈,阿猫现在不在,有想骂他的赶紧进了啊,我先来一句:死阿猫。。。。。 请大家说说这个小偷是不是很有义气呀! 猪猪要退出水园了,强烈挽留猪猪继续当我们的版主!支持的进来签名 着急!! 我是菜鸟 如何在sdk程序中获得.lnk文件的icon? 我在FORM1上加上了数据模块,FROM1上有一个DBedit控件,为什么Datasure属性里却没有 我是菜鸟 着急!! VC开发如何OFFIC,关于WORD的? 新手请教:如何从一张表中取出最新的50条数据? 硬盘抢救!!!大家帮忙! 国外有没有类似http://bbs.51soft.com/的大的软件讨论站? 格式化字符串的问题 菜鸟 Combobox中如何设置默认值? 如果你是新手! [流氓兄:突然冒出很多新人。。。贴] 请转这里 菜鸟 一个有难度的问题 关于格式化字符串的问题。。。 MYSQL权限与mysql库里的所有表问题~!~!请指教! Installshield中怎样调用MSI文件,并能执行MSI文件 售书 鼠标指针的问题(菜鸟问) 向CList模板类的对象追加节点时出现异常,谁惹的祸??? 为什么我的VB运行时会清空剪贴板? 大侠求救!我的考试题!20分的!急急急急急急急急! 目前asp中使用的主要加密算法有哪些? 怎样设置tab! 关于vb的问题,谢谢大家了。 计算机操作者的食谱(想想大家每天都对着电脑,看看这个食谱吧,或许有好处,人还是要学会爱护自己) 如何将png文件格式转换成bmp文件格式,小弟急需这方面的资料,尤其是关于压缩方面的 关于在存储过程中调用链接服务器权限的问题 用vb打包程序打包后安装出错,运行不了? 我要独自去广州发展,请大家看看我的情况,给我一些帮助,如何在广州找工作? 求助!请问谁有源代码?(画一个线段、图形区域填充、图形区域截剪) 物价飞涨,福建省软考提价!!! 在数据表里,我保存了图片存放的路径,现在我想让他显示出来,怎么做啊?有几个方法啊,请指点 阿沐进来看看,你要的东西 VC++ ADO用SELECT FOR UPDATE锁定Oracle数据库的记录,为什么无效? 关于CGI连接关系数据库? 关于动态链接库一问,释放时的异常 阿沐进来看看2 怎样才能不添加OCX和DLL做出反色效果? 好奇怪的问题,大家帮忙来分析一下 阿沐进来看看3 !!再次求解,关于ADO!! 高分求解!高手请进!疑难杂诊? 在LINUX下,如何修改屏幕分辨率 请教如何将图片插入到sqlserver 7/2000里? 急急急!UDP的问题 每隔一定时间有一个水滴自8m高处的屋檐落下看到第五滴水刚要离开时第一滴水到地面这时第二滴水离地的高度a “声源的振幅相同,人耳感觉到的声音的响度也相同”是对的还是错的?为什么?为什么是对的或是错的? 为什么为什么为什么为什么为什么为什么为什么为什么为什么为什么为什么为什么? 梦到杯子碎,还有人踩代表什么? 一座高16m的建筑物屋檐处每隔一定时间有一滴水下落,当第五滴水离开屋檐时,第一滴水刚好落到地面,则此事第三滴水离地面的高度是?为什么会有四段相等的时间,我认为有5段相等的时间 为什么频率低于20的声音即使振幅足够大,人耳也听不到 两个渔夫在海上捕鱼,一号渔夫捕到了一条美人鱼(美人鱼上半身是个大美女,下半身是条两个渔夫在海上捕鱼,一号渔夫捕到了一条美人鱼(美人鱼上半身是个大美女,下半身是条鱼尾巴),一号渔 25m的屋檐上,每隔一定时间有一滴水落下,已知第一滴水落到地面时,正好第四滴水离开屋檐,设水滴的运动是自由落体运动,求第一滴水落地瞬间空中各相邻两滴水间的距离(g取10米每二次方秒 热传递的方式除了对流、辐射、传导外,还有没有?微波炉加热属于哪种热传递方式? 渔夫抓到了一条美人鱼,想了想却把她放了,你觉得原因是什么?A.他不爱吃海鲜C.太滑,不好拿D.美人鱼长得不美E.渔夫很善良. 每隔一定时间有一滴水自8米高处的屋檐落下,而且看到第五滴水刚要离开屋檐时,第一滴水正好落到地面上,求:第2滴水离地的高度是? 热传递的方式有( )、( )、( ) 渔夫抓到了一条美人鱼,为什么却把她放了 我一天吃三顿饭 英语如题 我一天吃三顿饭,我认为这对我有好处. 关于热传递方式的实验有三种,主要是想知道对流的就是说,请你们帮我设计三个试验,分别关于对流、辐射、传导 我真了不起 三年级作文(300字) 25℃,有c(CH3COOH)+c(CH3COO-)=0.1mol·L-1的一组醋酸和醋酸钠混合溶液,溶液中c(CH3COOH)、c(CH3COO-)与pH值的关系如图所示.下列有关离子浓度关系叙述正确的是A.pH=5.5溶液中:c(CH3COOH)>c(CH3COO-)> 热传递的方式有哪3种? 为什么人们喜欢看烟花,放礼炮什么的?是因为视觉冲击才喜欢的么?还是因为其他的? 常温下,醋酸钠和醋酸混合液,PH=7,C(Na+)=0.1mol.L:C(Na+)=C(CH3COO-)>C(CH3COOH)>C(H+)=C(OH_),为什么 滑动摩擦力与静摩擦力做功情况请举出例子,并说明原因,最好详细点—— 礼炮、礼花代表什么? 氯化钠溶解度为36克,此时饱和溶液密度1.12克每立方㎝,求氯化钠物质的量的浓度?怎么求 1n 100ml hcl 怎么配制 静摩擦力 和滑动摩擦力做功,系统能量如何变化? 我国冬季温差最大的城市 需配制1N的AgNO3溶液20L,需要纯AgNO3的质量是多少? 怎样拍摄礼炮烟花?想在除夕夜拍烟花,有些不懂的地方想先搞明白.怎样对焦?因为烟花最美的时候就是那一瞬间,看到再对焦来不及啊.还是有经验值呢?是否是用小光圈大景深长时间曝光呢?曝 c(H+)=0.1mol.L-1说明什么溶液是酸性还是碱性的啊 花炮与烟花的词义区别 一切发声的物体都在振动,那么一切振动的物体都在发声吗?我是这样的想的,发声是指人耳能听到吗? 某酸性溶液中C(H+)=0.1mol/则该溶液的物质的量浓度为?A.一定等于0.1mol/L B一定大于0.1mol/L. C .一定小于0.1mol/ L D. 不能确定 烟花和烟火的英文单词有区别吗? 《咏柳》和《春日》这两首诗都表达了诗人___________________________的思想感情. 0.1mol/L的K2S溶液中,有关粒子的浓度大小关系正确的是( ) A c(K+)+c(H+)=c(S2—)+c(HS—)+c(OH—) B c(K+0.1mol/L的K2S溶液中,有关粒子的浓度大小关系正确的是( )A c(K+)+c(H+)=c(S2—)+c(HS—)+c(OH—) B c(K+)+ c(S2 温度计的水银会让小孩子中毒吗 古诗咏柳和春日的意思是什么? 真空压力表上的-0.05MPa是指绝压多少 人耳为什么听不到高频率的声音? 要2首描写春天景物的诗像 咏柳 这样的 有诗的意思 描写的景物要少 真空时的压力是多少,真空压力表上-0.08MPA是指压力多少? 焰火是否等于烟花? 咏柳和春日这两首古诗有哪些是多音字? 将0.2moL AgNO3、0.4moLCu(NO3)20.6moLKCl溶于水,配成100mL的溶液,将0.2moL AgNO3、0.4moLCu(NO3)20.6moLKCl溶于水,配成100mL的溶液,用石墨做电极电解一段时间后,在一极析出0.3moLCu,此时在另一极收集到气体体积为 烟花类、焰火节会等下半年上海、浙江、福建、江苏有焰火节会吗,我很想知道,到时错过了就很可可惜哦! 古诗春日和咏柳的意思 梦见杯子碎了代表什么 声源振动发出的声音又是如何传到我们人耳的呢 为了探究声音的响度与振幅的关系,小明设计了以下几个实验,你认为能够完成这个探究目的的是( )A把罩面的空气抽去一些后,闹钟的铃声明显减小B用力吹一根吸管,并将它不断剪断,声音变 梦见杯子碎了梦到家里的杯子碎了睡怎么回事? 已知常温下氯化钠的溶解度是36克,饱和氯化钠溶液的密度是1.36g/ml,试计算此时氯化钠饱和溶的物质的量的浓度是多少? 声音的响度除了与振幅有关,还与什么有关?声音的响度除了与振幅有关,还与什么有关?声音的响度除了与振幅有关,还与什么有关?声音的响度除了与振幅有关,还与什么有关? 梦见最珍惜的杯子碎了有一天做梦,梦见自己把平时一直在用的很珍惜的一个马克杯打碎了.这个杯子是某个人走了以后留下来的.后来我就一直自己在用.因为一直是把这个杯子当做是他留给我 全国有那些烟火,烟花节? 一个屋檐距地面9m,每隔相等时间就有一水滴从屋檐自由落下,当第四滴水刚要离开屋檐时,第一滴水正好落到地面,求此时第二滴水离地高度.我要思路,也就是文字办过程,万分感谢!帮帮我吧! 人类一天为什么要吃三顿饭、谁规定下来的,怎样形成的. 有没有摩擦力对外做功,而系统机械能守恒的例子?thanks 一个屋檐距地面15 m高,每隔相等的时间,就有一个水滴从屋檐自由落下.当第6滴水刚要离开屋檐时,第一滴水正好落到地面,求此时第3滴水离地的高度.(g=10m/s2) 为什么物质的量浓度为0.1mol/L的H2SO4,H+离子的浓度为0.2mol/L? 是不是摩擦力不做功系统的机械能一定守恒 从一座高25 m的楼边缘,每隔一定时间有一滴水滴落.当第一滴水滴到地面时,第六滴水正好离开楼顶边缘.如果水滴的运动为自由落体运动,求第一滴水着地时空中各相邻的水滴间的距离及水滴下
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘