说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

数据中心基础设施是大数据战略成败的关键

HTML文档下载 WORD文档下载 PDF文档下载
随着基于传感器的移动Web监视设备和输出数据越来越多,可用的数据量将继续呈指数级增长。每个公司围绕大数据的相关决策都会有所不同,大数据战略需要数据中心基础架构作出的改变主要有五点。

【编者按】管理者相信,能有效运用数据的企业将比落后者具备更大优势。大数据战略需要数据中心基础架构作出的改变主要有文中所列举的五点,例如大数据导致的存储需求量每年都将增长60%至80%,IT采购者应选择在可扩展性和存储速度上最具成本效益的硬件;当然每个公司围绕大数据的相关决策都会有所不同。请记住,随着围绕大数据的技术演变,大数据战略也应当及时调整。本文来自机房360。

以下为原文:

为大数据选择新的硬件、存储和其它数据中心基础设施,这是IT专业人员们所面临的新挑战。

大数据是具备空前规模和形式的非结构化信息。它包括视频、图像,以及半结构化的数据(例如在Web上常见的电子邮件和文本)。随着基于传感器的移动Web监视设备和输出数据越来越多,可用的数据量将继续呈指数级增长。

推行大数据战略的压力往往来自高层,因为管理者相信,能有效运用数据的企业将比落后者具备更大优势。大数据战略需要数据中心基础架构作出的改变主要有五点:

一、支持大数据的硬件

大数据导致的存储需求量每年都将增长60%至80%,鉴于这种快速增长和当前的成本限制,IT采购者应选择在可扩展性和存储速度上最具成本效益的硬件。类似大型机的向上扩展体系结构重新兴起,因为它们能够经济高效地扩展,降低总体拥有成本。同样,在提升性能方面,固态硬盘(SSD)和固态卡带都比传统磁盘做得更好。

类似IBM Netezza和Oracle Exadata的硬件装置已被证实能有效兼顾可扩展性和性能。考虑采用硬件装置来支持关键大数据业务,但也应确认设备的架构能在未来提供快速性能升级。

二、围绕大数据选择存储

在成功的大数据策略下,企业可以将来自内部的高质量数据与Hadoop挖掘自多个云供应商的低质量数据进行整合。这也就改善了业务相关数据的质量,让分散在各地的数据能组织成为具备一致和及时性的大数据资源。

大数据正在改变中央数据仓储和松耦合数据集市的决策基础,后者的存储库规模要小得多,既可以替代中央数据仓库,也可以成为中央数据仓库的数据源。随着各地办事机构或者国际子公司的增加,中央管理层在业务线扩大的同时更需要高质量的数据来维持管控力度,避免权力的分散。

新的软件技术承担了繁重的存储相关处理工作。由Composite Software(刚刚被Cisco收购)和Denodo提供的数据虚拟化软件能自动发现数据源并提取数据充实全局元数据存储库,为整个组织提供跨越内部和外部的所有数据的公共数据库外观和体验。主数据管理软件通过创建公用主记录提高了数据质量,消除了费时的数据仓库检索。

企业Web外链需求加深了对公众和混合云的依赖。许多大型企业发现他们需要来自于多个云供应商的大数据,却不能指望供云应商会负责整合这些数据。企业只能从数据虚拟化供应商寻求工具来跨多个云整合大数据。

三、利用SSD的存储分层策略

存储成本很高,而且越快的存储也就越昂贵。最重要的是,大数据要求存储同时提供大容量和“大”性能。存储分层在存储资源池中提供多种成本/性能选项,从昂贵的高性能固态存储到传统的串行SCSI(SAS)磁盘存储,这些选项的组合降低了总拥有成本。在主内存和磁盘之间增加一个固态层将有助于将大数据任务的性能维持在高位,而且不会引起存储成本失控。

SSD的用量应遵从“90-10”的存储分层规则:成本和速度的最佳组合比例是:使用大约10%的SSD和90%的机械硬盘。这一策略让IT公司用仅增加10%成本的代价就能获得90%以上的性能提升。主内存和SSD的容量比例也遵从同样的规则。

由于SSD的性能价格比的提升速度超过传统磁盘(容量提升,价格降低),预计在不久的将来传统磁盘和SSD的配置比例会变为遵循80-20的规则。

IBM BLU Acceleration这类最新的纵列和内存数据库设施能利用SSD获得远超传统磁盘的性能,它们的设计能够有效发挥SSD这类“扁平化磁盘”的优势。

四、大数据分析和报告能力

虽然嵌入式分析工具已经可以利用报告和自动优化功能改善业务流程,但大数据再次改变了分析规则。例如,和传统上对单个客户进行主要行为分析洞察相比,大数据战略能为每个客户创建一个迭代和洞察分析线程,让公司能跟踪客户并更好地维持与所有客户的长期关系。

典型的大数据分析从业人员被称为数据科学家,和常规的IT主管不同,他们更可能同时担任CMO(营销总监)。然而,IT专业人员必须明白他们公司的大数据策略对数据科学家的工作产生的影响。

这意味着需要在自动化的报告和嵌入分析之外人工添加第三方审议内容:专设和松散耦合分析。支持专设查询的分析和统计工具是必要的软件前提。许多传统IT供应商以及云供应商——如IBM、Cognos和Birst——正在扩充这些功能。

五、企业中的Hadoop

Hadoop为数据密集型应用提供“紧贴着”MapReduce文件系统处理程序框架的分布式文件系统。此文件系统支持针对富文本数据的并行事务扩展,例如社交媒体数据。

许多IT公司通过在企业内创建自己的Hadoop版本来解决从Web获取Hadoop数据源的问题。然而,缺乏专业知识是一种挑战:精通这种发展中的Web数据管理框架的专业和艺术的IT管理人员犹如凤毛麟角。

组织开发他们自己的数据管理工具时应该留意,如IBM、Oracle和EMC的这些主要供应商,往往既提供专有产品用于访问Hadoop数据,也可进行定制开发,让IT公司不需要专门的数据归纳措施就能访问需要的数据。如果您决定搭建自己的数据平台,供应商也提供整合服务,使Hadoop更贴合现有IT资源来高效运作。

每个公司围绕大数据的相关决策都会有所不同。请记住,随着围绕大数据的技术演变,大数据战略也应当及时调整,与时俱进。

原文链接:数据中心基础设施是大数据战略成败的关键 (责编/魏伟)

以“ 云计算大数据 推动智慧中国 ”为主题的 第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。 需要购买的朋友,请抓住这最后的机会,点击报名!

美国国防部战略:大规模、分布式,构建数字化防御体系 针对小白的Python入门教程——Python使用说明书 耗资460亿美元,天价Olympic上广受诟病的监控和4G LSI AIS ASIA首次登陆中国 探讨最新大数据技术 “iOS in the Car”问世 苹果发布集成汽车服务CarPlay Pinterest联合创始人Evan Sharp:视觉网站标配“网格布局”的设计过程 微软Xbox Live或登陆iOS和Android平台 TIOBE 2014年3月编程语言排行榜:F#直逼Top10 Atlassian面向企业客户推出Git Essentials工具 Mt.Gox破产,都是错误编程惹的祸 Jamo创始人揭底AWS,棱镜阴影下的云行业态势 成本、创新、可靠:游戏公司FunPlus选择AWS的三大理由 全透明、可折叠,平板电脑概念机是这样的 插件大集合!开源包管理器Alcatraz迎来Xcode 5更新 Q语言:新型的数据定义语言 非响应式手机网站页面的优化 高薪必备:Hadoop求职者的6大攻略 微软或将于四月发布“返璞归真”的Windows 8.1 Update 1 《近匠》第14期:LiveCode——全民开发工具 美团梁堰波:用SQL-on-Hadoop构建互联网数据仓库与商务智能系统 程序员游戏Style:亚特兰大极客使用机器学习玩转Flappy Bird Gleasy CTO薛珂:成立3年,企业用户2万+,移动办公蕴藏较大发展机遇 Unity Awards展区“点亮”Unity亚洲开发者大会 DevBox:最实用的移动开发辅助工具包 【技术博客推荐】创客程序员设计实现最小物联网系统 MySQL还是NoSQL:开源盛世下的数据库该如何选择 利用Hadoop Streaming处理二进制格式文件 如果没有强大的API,那么还是与OpenStack兼容吧 企业社交工具为何走向衰退? 封闭还是开放?雅虎禁止用户使用Facebook、谷歌ID登录和使用其服务 【OSTC讲师专访】罗聪翼:付出和回报在开源世界成正比 solaris下CC编译器的问题? UML的书籍和软件? 那里有vs.net2003的vss6.0d版本? 有时候exe文件不能运行? 自己准备写一个工资发放和发布的程序,欢迎探讨. 襄儿妹妹还在吗?幸好偶这个马甲还有点分,全给你吧,这个ID密码她不知道呵呵~~~ 关于linux WEB服务器名的问题? 请教ATL中CBindStatusCallback的问题 我的IE不能打开新窗口?用鼠标左键点击超链接没有反应? 我的项目改变目录后打不开,怎么办? 多CPU机器,同时可有几个线程处于运行状态? 高分求高效高斯模糊算法。。 如何判断软件是否过期 是不是运行ASP.Net应用的服务器必须安装.Net FrameWork呢?还是只要有Win2000 Server和IIS就行。 谈情说爱 清除内存中用call调用的脚本文件? 一个很老的问题,如何避免CListCtrl闪烁。 请大家给看看程序:avi视频读取和重建 研究数字图像处理应该那些知识? 图片上传并显示实例(VB+SqlServer2000) SQL语言中 怎样将CHAR型转换成INT型? 級連更新... 怎么实现回车自动跳到下一个位置 如何在光标处插入字符? CSSCLASS高手关注,我想把ListBox、DropDownList样式改为平面,而且颜色边框为1颜色不为灰色,用CssClass具体怎么写呢?越详细越好?多谢 求一招:::怎么对付那些那了代码就不给钱的家伙???? =========发誓:远离csdn!================ phpmyadmin为何安装不成功? 谁有crystal reports的电子书。 这个radio的返回值是什么? 离开csdn,公布密码!!!!!!!!! 新手!求界面问题的答案! javascript面相对象的编程 IMail邮件系统的问题 七月七,我不在她身旁. 可是很想她.我爱她. 高分!求一简单问题。 今天七月七了,代表所有单身人员向全体女单身同胞问好,同时也祝成双成对的人永远快乐!! 请问php中二维数组怎么定义和初始化? 难题---SQL Panel2.Width/2;应该怎样改 求: Rational XDE 2003 (带破解的),分不够可以再加,要多少给多少,很急! 这个存储过程怎样调用? 在有限区域中打印文本,文本长度若超出,则压缩间距,否则正常显示 急,高手请进! 如何重新加载select? 怎样做一个网页编辑器(windows form)大家给个思路 强烈建议 删除 {{轰动上海大学的偷拍事件录像下载地址 (yy795188 ) }}的贴子,否则版主失职 用Authorware能够作出象隐藏在框架里的菜单吗? 我的程序需要定期执行一次,怎么写呢? 请各位大侠帮忙分析分析,我大概还有300分的可用分,解决的话,全送你了(300分) 日历 正常进行分裂的细胞,同源染色体、染色单体、染色体、DNA分子之比0:0:1:1,则该细胞所处的时期是A.有丝分裂时期 B.减数第一次分裂末期 C.有丝分裂后期 D.减数第二次分裂后期 怎么画这个曲线方程的图象?方程形式类似椭圆的如图,a>b>0 我弄了一个方程,跪求这个曲线的图像(画上去的,应该看得清楚吧)…… 世界上真的有女巫跟巫术的存在吗? 把一个圆柱的侧面展开,得到一个正方形,圆柱的高是31.4厘米,这个圆柱的侧面积是多少? 点(x,y)在不等式组x+y+2>=0,x+2y+1=零所表示的平面区域内则(x-1)平方)+(y-2)平方的值域 现在不是九年义务教育吗,不是就近入学吗? 【求助】什么软件可以画出已知曲线方程的曲线呢 用软件画出 已知方程组 的曲线方程例如 画 Y=sin t+sin (n*t) ,X=cos t+cos(n*t) .要用什么软件画 画的方法 MATLAB中从已知矩阵中随机抽取5个元素如何实现. 负三算不算奇数? “清风”生活用纸全国巡展登陆上海杭州天气转凉进入“栗子季” 排队买迁中央军委自上而下派出巡视组 主要监督湖南希望小学竣工一年被强拆 村民阻拦网友吐槽:在浙江开车好累 常犯开车陋小学生作业字写对被扣分 没教过的字得浙江一夫妻长期异地分居经济AA制 生美国海军世界最大驱逐舰下水【高清组图阿根廷法院支持政府打破媒体垄断迪拜宣布禁放孔明灯巴黎中国电影节开幕石家庄裕华区“环卫课堂”在幼儿园开讲今年1至4月河北出口水产品货值超1.“2015中国文化聚焦”系列文化活动石家庄质监局为地铁建设特种设备安装保邯郸双三氟甲基磺酰亚胺锂产品首出国门河北:无正当理由拒绝所分配保障房者两石家庄机场将新开海口、泉州两条航线“图书馆阅读推广的理论与实践”研修班50岁夫妇为救重病儿子冒险生二胎 儿天坑里的“动植物王国”足协将办中国足球民间争霸赛 总局拨款
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘