说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

数据控使用Hadoop的三种最常用方式

HTML文档下载 WORD文档下载 PDF文档下载
随着Hadoop技术的发展,从最初为Google、Facebook等公司解决大量数据的存储问题,到现在被越来越多企业用来处理大数据,Hadoop在企业数据领域影响深远。了解其常见的使用模式,可以极大地降低使用复杂性。

就在几周前,Apache Hadoop 2.0正式发布,这是 Hadoop领域巨大的里程碑,因为它开启了史无前例的数据存储方式革命。Hadoop保留它典型的“大数据”基础技术,但它是否适合当下数据库及数据仓库的使用方式?又是否有一种通用模式可以切实降低固有的使用复杂性呢?

Hadoop使用的一般模式

Hadoop最初的构想是为像Yahoo、Google、Facebook等这样的公司以非常低的成本来解决大量数据的存储问题。现在,它正被越来越多地引入企业环境中处理新不同数据类型。机器生成的数据、传感器数据、社交数据、网络日志等数据类型呈指数级增长,而且这些数据也常常(但不总是)是非结构化。正是由于这种类型的数据将人机对话从“数据分析”带到“大数据分析”:因为挖掘这些数据可以得到商业优势。

分析应用程序以各种形式流行起来,最重要的是可以定向解决一个垂直行业的需要。乍一看,他们彼此似乎在行业和垂直上没有关系,但是实际上,当在基础设施层面观察时,会出现一些非常清晰的模式,也就是以下3种模式:

Pattern1:数据精炼厂

使用Hadoop的“数据精炼厂”模式使组织能够将这些新数据源纳入他们常用BI和分析应用程序。例如,我可能有一个应用程序,它能够在ERP和CRM系统中查看客户建立在上面的数据。但是如何才能从他们的web session(基于我们网站)中发现他们的兴趣所在?“数据精炼厂”,这个使用模式正是顾客期望的。


这里的关键概念是Hadoop是被用来提取大量数据以便更容易管理。然后生成的数据被加载到现有数据系统,这些数据可以使用传统的工具访问,但是别忘了,这些操作都是建立在更丰富的数据集上。从某些方面来说,这是最简单的用例,因为无需对传统途径进行大的修改,企业就可以清晰的从Hadoop上获益。无论垂直与否,精炼厂概念仍然适用。在金融服务领域,我们看到组织提炼交易数据以便更好地了解市场,分析和从复杂的组合中寻找价值。能源公司使用大数据来分析不同地区的消费水平以便更好地预测生产水平。零售企业(任何面向消费者组织)经常使用精炼厂来洞察网络人气。电信公司使用精炼厂调用电话记录来提取有用信息细节以便优化计费方式。最后,在昂贵的,任务关键的垂直设备上,我们常常发现Hadoop被用来预测分析和主动的故障识别。在通信技术中,这可能是一个网络的基站。特许经营餐厅中可以用来监控冷藏库的数据。

Pattern2: 用Apache Hadoop来探索数据

第二个最常见的用例我们称之为“数据探索”。在这种情况下,组织在Hadoop上获取和存储大量的新数据,然后直接探索这些数据。因此不是使用Hadoop作为暂存区域进行处理然后将数据转移到企业数据仓库(就像使用精炼厂用例一样),数据是保存在Hadoop上然后直接探索。


数据探索用例通常是在企业开始可以探索以前被丢弃的数据(如网络日志,社交媒体数据等等)并构建全新的分析应用程序然后直接使用这些数据。几乎每一个垂直系统都可以享受到探索用例的优越性。在金融服务领域,我们可以用探索用例来执行取证或识别欺诈。职业体育团队将利用数据科学来分析交易和年度草案,就像我们在电影《Moneyball》看到的。总之数据科学和探索可以用来发现新的商业机会或新的见解,这在Hadoop之前是不可能实现的。

Pattern3: 挖掘应用程序

第三个也是最后一个用例是“挖掘应用程序”。在这种情况下,存储在Hadoop中的数据决定了应用程序的用途。例如,通过挖掘存储的所有网络会话数据,当用户重返网站时,我们可以为他们定制个性体验。通过挖掘Hadoop中存储的这些数据,我们可以从会话历史找到很多有用的价值。比如通过用户的历史记录来提供一个及时反馈。


这个用例是世界上许多大型网站如Yahoo、Facebook等业务的基础。通过定制的用户体验,他们可以有效与他们的竞争对手区分。这是雅虎Hadoop的第二个用例,就如当初它意识到Hadoop能够帮助改善广告位置一样。这个概念转变了大型的网站,同时也正在使传统的企业改善销售,而一些小组织甚至也使用这些概念在零售网点实现动态定价。

正如你所预料的那样,随着组织熟悉在Hadoop上提炼和探索数据,最后的这种最典型的用例正在被普遍采用或接受。但与此同时,这也暗示了今后Hadoop能做什么,并且随着时间的推移和发展,传统的数据库应用程序将逐渐被Hadoop应用程序取代。

当然任何涉及到新平台技术,在进入IT企业环境时都有一定的复杂性,Hadoop也不例外。无论你是使用Hadoop来改进或是探索,还是丰富你的数据,与现有IT基础架构的兼容将是关键。这就是为什么目前Hadoop生态系统和能集成不同供应商之间解决方案得以显著增长。Hadoop有潜力在企业数据领域产生深远影响,通过理解常见的使用模式,您将可以极大地减少其复杂性。

原文链接:The three most common ways data junkies are using Hadoop (编译/魏伟 审校/仲浩)

CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、生态圈趋势。

ADO三大对象的属性、方法、事件及常数(三)-VB资料 ADO三大对象的属性、方法、事件及常数(一)-VB资料 Data 控件使用有密码的 Access 数据库 -VB资料 Excel、Access、VB的结合应用 Microsoft SQL Server 7.0安装问题(二)-VB资料 主题: MDB文件的导出 使用 DAO-VB资料 Microsoft Access秘密、技巧和陷阱-VB资料 SQL的基本操作(1.数据类型) -VB资料 SQL的基本操作(2.数据库的相关操作)-VB资料 SQL的基本操作(3.表的相关操作) -VB资料 SQL的基本操作(4.数据的检索)-VB资料 SQL在VB中的使用及访问远程数据库 Text 转换为 Access MDB -VB资料 VB5.0数据库基础 非编程方式访问数据库-VB资料 VB用编程方式访问数据库 VB 5.0数据库设计技术讲座(4) VB5.0数据库编程经验小集 VB5在处理数据库时的几个“BUG” VB6.0中的几个新增数据库工具 VB处理数据库时求数据表记录总数的最佳方法 VB访问数据库的方案比较 VB数据库编程经验两则 VB数据库编空字段的处理 VB数据库多字段记录的录入 VB数据库记录查询四法 vb应用程序访问sql server方法探讨 VB中超长OLE数据库字段的操纵方法 VB中将数据转换为数据库文件 VB中远程数据库的访问 Visual Basic 的数据库编程 无法为更新行集定位:一些值可能已在最后读取后改变--怎么解决 sql server ce问题 气死我了,本姑娘以后再也不来PHP版回答问题了 activeReport 问题 有没有非教育网下载visualage for java 4.0 请教:怎样记录浏览器访问过的地址? ChinaRen实在是太差了!!!!我讨厌ChinaRen!!! 偶觉得湘妹子既可以是红粉知己,也可以是居家老婆,一句话:人生何所求,得一湘妹子足矣! 怎样通过程序设置使浏览器不出现工具条和minibox,maxbox 如何修改注册表来删除ie中的查看》浏览栏按钮? 关于函数指针的问题,欢迎讨论. 还是没有解决的问题:关于VFP报表打印的问题—急急急! moden是否有物理地址 如何用Delphi或C++Builder代码实现一个程序关闭另处一个应用程序。 请各位推荐几本好一点的JAVA参考书,THANKS 这样的代码为什么不能连接SQL SERVER数据库 当二个进程运行时,几就是两次运行FTP 动画关闭窗体API的问题 什么叫串行端口,什么叫并行端口? 程序员级考试就是中级考试吧 各位高手:请问*.html和*.htm文件有何区别? 在活动目录中如何实现组的嵌套? swing窗口布局的问题 毕设还要翻译6000子科技文献,谁介绍一篇呀! 介绍几个考中级的网址来噶 CNET网站重新架构,我们的链接也要改了~~ 急,真的急 各位,有谁能告诉我怎样使得程序中每个Show的窗体都以新窗体出现在任务栏。(答对了一定加分!!!!) 能不能获得来访者的计算机名 help me!高手请看! 11号帖子,救命呀,很急,很重要! 怎样在恢复一个被删除的文件时恢复文件全名? 我急!深夜提问!大家看一看 有谁告诉我Microsoft Visual InterDev 6.0如何使用其中的站点管理 如何在Word工具条上加一个按钮 请问系统和上网的速度有关系吗 急需foxpro for win版,哪有??? 请教一下,ado.net里如何返回表里的行数? 如何在HTML页面中使用 Acrobat 的 PDF 阅读器控件 关于一个遗传算法得问题!! 请问一个TSR问题! 关于跨数据库查询的问题 请问在ListBox中可不可以将每一行字符串设置成不同的颜色? vb6.0中如何将dbgrid里的内容添加到数据库里? 请问怎样才能将窗体上的最大化按钮设置成无用,而保留最小化按钮? 各位专家:请问win2000 PRO 下的config.msi目录中的好多以rbf为扩展名的文件是什么文件?有什么用?可以删除吗? ASP.NET中DATAGRILD的烦人处 新手问两个简单的问题??? 想知道如何才能看见前页纸油笔写过后留下的字迹?(散分) 为什么用odbc连接的paradox表不能编辑? 哪位大侠帮看一下代码(关于链表),为何出"invalid type argument of `->'"的错 三角形ABC三条角平分线相交于点O,过点O作OE⊥BC垂足为点E,试探究:∠BOD与∠COE的数量关系this abcd是不同的质数,a+b+c=d,那么abcd相乘的最小的值是多少?请尽量用算术方法做,快来做吧. 有一个等腰直角三角形,它的最长边边长为6厘米,这个三角形的面积是多少平方厘米? 绝对值a分之a加绝对值b分之b(ab不等于0)的所有可能的值有几个 已知abcd都是质数,且a+130=b+95=c+91=d+79.求着三个质数. 二元函数极限,9题2和3 一个锐角三角形ABC的三条角平分线交与O点,过O作OE垂直BC于E,AD平分∠BAC交BC于点D 求证;∠BOD=∠COE 求EOC+OCE=90BAC+ACB+ABC=180 都除以2既是OBA+BAO+OCE=90而BOD=OBA+BAO得证擦 自己想起来了 快10年没碰了 △ABC为等边三角形,AE=CD,AD,BE相交于点P,BQ垂直AD于Q,PQ=3,PE=1 求证:AD=BE 若∠PBQ=30°,求AD的△ABC为等边三角形,AE=CD,AD,BE相交于点P,BQ垂直AD于Q,PQ=3,PE=1 (1)求证:AD=BE (2)若∠PBQ=30°,求AD的长 有甲乙丙三种产品,如果买甲3件,乙2件,丙1件共需315元,如果购买甲1件,乙1件,丙3件共要285元有甲乙丙三种产品,如果买甲3件,乙2件,丙1件共需315元如果购买甲1件,乙1件,丙3件共要285元,那么购买甲 一个锐角三角形ABC的三条角平分线交与O点,过O作OE垂直BC于E,AD平分∠BAC交BC于点D 求证;求∠BOD=∠COE 如图,△ABC为等边三角形,AE=CD,AD、BE相交于点P,BQ⊥AD于Q,PQ=3,PE=1,∠PBQ=30°,求AD长 一个等腰直角三角形,最长的边为12厘米,求这个三角形的面积是多少平方厘米? 有甲乙丙三种商品,某人若买甲3件,乙7件,丙1件,共24元,若买甲4件,乙10件,丙1件共要33元则此人购买甲乙丙各一件要多少元? 1/a+a/b+5=1/9 b=?(a不等于0) 甲乙丙3种商品,如果购甲3件乙2件丙1件需315元,购甲1件乙2件丙3件需285元.购甲乙丙商品各一件共需多少? 若AB不等于0,则A分之A的绝对值+B的绝对值分之B的值不可能为 (-0.9)+(-2.7)等于多少 有甲乙丙三种商品,如果购甲三件 乙两件 丙一件需315元 购甲一件 乙两件 丙三件需285元 购各一件需多少元 当a不等于0,b不等于0,ab等于ab的绝对值成立的条件是什么?急.sos啊 如图△ABC是等边三角形AE=CD,BQ⊥AD于Q,BE交AD于P.BQ⊥AD于Q,连PC,若BP⊥PC,求AP/PQ的值 已知a,b,c都是质数,且满足abc+a=85l,则a+b+c的值为 函数极限定义如何理解极限的局部保号性 如图在三角形ABC中,AD,BE,CF分别是各边的中线,已知三角形BOD的面积为20平方厘米,试求三角形ABC的面积 如图已知△ABC是等腰三角形,AE=CD,AD,BE相交于点P,BQ垂直QD于点Q,猜想BP于PQ的关系,并证明此结论. 如果a+b=0(a,b不等于0),那么|b|/a + |a|/b= 一个两位数十位数字比个位数字大3,如果将它十位数字与个为数字对调,所得到新的两位数比原两位数的一半还多10.求这个两位数! 如图,在等边△ABC中,AE=CD,AD,BE相交于P 点,BQ⊥AD于Q.连PC,若BP⊥PC,求AP/PQ的值. 如果a+b=0,且a不等于0,那么()b分之a大于0b分之a=0b分之a=1b分之a=-1 有甲乙丙三种商品,如果购甲3件乙7见丙1件共需580元 甲4件乙10件丙1件共需630元够甲乙丙各一件多少元 已知三角形ABC,角A(0,7),角B平分线方程X-2Y+4=0,角C平分线方程4X+5Y+6=0,求BC直线方程.求简便方法 a、b、c都是质数,且a+b=33,b+c=44,c+d=66,那么d是多少? 一个两位数,个位上的数字比十位上的数字的2倍大3,如果把个位上的数字与十位上的数字对调,则所得两位数一个两位数,个位上的数字比十位上的数字的2倍大3,如果把个位上的数字与十位上 在三角形ABC中,角C等于角A+角B,那么这个三角形一定是() 如果a>0,b 如图所示,△ABC为等边三角形,AE=CD,AD,BE相交于点P,BP⊥AD于Q,PQ=3,PE=1,求AD的长 1.2除7分之6等于多少 已知2次函数的图像的顶点坐标为(3,-2)且与y轴交于(0,2/5)1)求这个2次函数的解析式2)求函数的最值3)当x取何值是y大于0 D,E是等边三角形ABC两边上的两个点,且AE=CD,连接BE,AD交点P,过点B作BQ垂直于AD于Q,求证BP:PQ=2 A的6分之1等于B的7分之1(A,B均大于0),则A比B小对还是错 已经知道2次函数y=x^2+4-2mx的图像顶点A在x的负半轴之上,与y轴交与点B 求抛物线的解析式 如图所示,在等边△ABC中,DC=AE,AD、BE交于点P,BQ⊥AD于Q,试探讨BP与PQ之间有什么数量关系,说出理由 7分之6等于几分之1加几分之1加几分之1加几分之1 已知2次函数的顶点坐标是(1.4)又图像过点(-1.0),求这个函数解析式 甲乙丙三种货物如果购买甲3件乙7件丙1件共花4.50元,如果购买甲4件乙8件丙2件共花7.80元 那么购买甲乙丙各1件多少钱 若(a-b):(a+b)=3:7则a:b等于 在三角形abc中,角b等于角c,且其中一个外角是60°则角a为多少度?角b为多少度? 如图,△ABC为等边三角形,AE=CD,AD、BE相交与点P,BQ垂直于AP与Q,PQ=3,PE=1,求AD的长. 第二题,二元函数极限 a、b、c是三个不同的质数,且a b=33,b c=34,c d=66,求a. 甲5件乙2件丙4件花80元,甲3件乙6件丙4件花144元,问甲乙丙各一件花多少元 二元函数的极限问题请问大家最后是怎么推导出极限为∞的?为什么当y从趋向于x 和-x时候的极限都为0就知道函数的极限为∞?不是说当f(x,y)从哪个方向趋向于A时f(x,y)就趋向于A那应该函数的极 如图所示·,三角形ABC的三条角平分线相交于O点,过O点做OE垂直于BC于E,求证:∠BOD=∠COE 如图所示,△ABC为等腰三角形,AE=CD,AD,BE相交于点P,BQ⊥AD于Q,PQ=3,PE=1,求AD的长快回答 求二元函数的极限问题如果要证明有极限存在是不是还要用ε-r定理?让r=(x^2+y^2)开根号.是不是求极限的题目一般只要尝试y=kx或=kx^2就可以知结果了?以下为正题~1、____________√x^2 * y^2 +1 — 1— 在三角形ABC中,角A与角B的外角的和等于276 度,那么角C=( ) △ABC为等边三角形,AE=CD,AD,BE相交于点P,BQ垂直于AD与Q,PQ=4,PE=1求证∠BPQ=60° 如何求这两个二元函数极限 在三角形ABC中,三个角的角平分线交于点O,OE垂直于BC于点E,求证角BOD等于角COE如题D是角A的角平分线交BC的交点 一个等腰直角三角形的直角边场长2.4dm,它的面积是多少平方分米? 由甲乙丙三种货物,若购甲3件,乙7件,丙1件共需20元;若购甲4件,乙10件,丙1件共需27元;若甲乙丙三种货物各买一件需要是多少元?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘