说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

什么是Hadoop以及与云计算的关系

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop是Apache 基金会下的一款开源软件,它实现了包括分布式文件系统和 MapReduce框架在内的云计算软件平台的基础架构,并且在其上整合了包括数据库、云计算管理、数据仓储等一系列平台,其已成为工业界和学术界进行云计算应用和研究的标准平台。

Hadoop是Apache 基金会下的一款开源软件,它实现了包括分布式文件系统和 MapReduce框架在内的云计算软件平台的基础架构,并且在其上整合了包括数据库、云计算管理、数据仓储等一系列平台,其已成为工业界和学术界进行云计算应用和研究的标准平台。Hadoop现在已经广泛应用于包括 FaceBook,Twitter, Yahoo! 等公司,通常情况下这些机群包括数以千计的服务器和数以万计的CPU。

 

Hadoop作为云系统中的一种,它具备了很强的存储扩展(目前仍受限于master节点能力)和受限的计算扩展(主要是对数据的均衡性处理还不够)。

我们可以将Hadoop虚拟化,对外提供一个统一的存储和计算平台。

 

Apache Hadoop作为PaaS构建在虚拟主机上,作为云计算平台。平台即服务 (PaaS)主要关注软件框架或服务,提供在基础设施中进行“云”计算所用的 API。Hadoop 作为基础云计算平台 ,包括了超过 100 个的用户可配置参数 ( 版本 0.19.2) , 而这些参数中很大一部分对所部署的 Hadoop 系统性能具有极大的影响。

 

基于Hadoop,用户可编写处理海量数据的分布式并行程序,并将其运行于由成百上千个结点组成的大规模计算机集群上。Hadoop 已被全球几大IT公司用作其"云计算"环境中的重要基础软件,如:雅虎正在开发基于Hadoop的开源项目Pig, 这是一个专注于海量数据集分析的分布式计算程序。亚马逊公司则基于Hadoop推出了Amazon S3(Amazon Simple Storage Service ),提供可靠,快速,可扩展的网络存储服务。

 

Hadoop中的HDFS+MapReduce是目前一个不错的分布式存储和计算解决方案,面向的是数据集中式的大规模数据处理,但目前的HDFS还不能独立出来做一个云存储系统,还有不少局限性。云计算面临的主要是海量的低数据量服务请求,这些请求的数据都是需要在大量基础数据上经过挖掘处理才得出来的,我觉得Hadoop目前是做这个的。当然Hadoop中的子项目HBase正在逐渐提升性能,不久的将来,用它来做一个高性能的,可扩展的分布式数据库也是不错的,它的不少特性都特别适用于互联网的应用。

随着Hadoop的发展,以后它能做的事将更多。

专访产品经理Markus Spiering:冬眠多年后的Flickr如何在夹缝中生存? 创业与投资专题论坛:硬件的现在!创业的未来? 造就Office新用法:微软推WP应用 可遥控Office文件 成为一名PHP专家其实并不难 前富士康CEO程天纵:创新来自长尾,创业源于创客! 最危险的开源项目——比特币 11月20日:微软正式发布Windows 1.0 回顾历代Windows版本界面 微软CEO鲍尔默卸职前在股东会上的最后演讲 微软改革员工排名制度或将开启新篇章 【快讯】SAP联合中国电信,又一外商公有云曲线入华 微软CloudOS云操作系统构建企业级三云合一 IE11支持JavaScript新型API,Web应用国际化更便捷 谷歌推订阅应用Play Newsstand:杂志+RSS阅读器 【信息图】到2020年开发者、设计师、测试员的数量将达到史无前例的高度 推广与盈利专题论坛:中国影响世界,世界定义中国 SlideIdea CEO李建忠:移动产品的技术面思考 BDTC→→百度林仕鼎、腾讯蒋杰、阿里唐洪论道大数据平台与技术 谷歌首席互联网布道师:隐私保护并不是一种正常行为 微软公开“挑衅”谷歌,出售反谷歌标语T恤 四大UX设计原则,打造网站最佳浏览体验 【BDTC讲师】黄晓庆:从小灵通到Hadoop与实时大数据分析 【BDTC讲师】杨强:从禽流感预测到图片语义解释 2013中国大数据技术大会讲师议题正式发布 “2013中国大数据周”即将开幕 正式发布中国大数据现状白皮书 搜狐畅游发布3D游戏引擎Genesis-3D 基于MIT协议开源 传闻微软将收购AOL旗下的Winamp和Shoutcast 【BDTC讲师】大数据时代“掘金机”:百度、360、一淘搜索技术分享 谷歌董事长:审查,将会在十年内消失 50万奖金+天使投资:创维天赐家庭互联网创新大赛开幕 专利案苹果获胜:获赔2.9亿美元 三星不服将继续上诉 Google正打造Spark:一个基于Chrome App的集成开发环境 老大,infopower2000的密码是多少阿? 100分求<壮志雄心>8-20集的下载 能讨论一下 VB开发财务相关软件的经验吗,各位高手??(UP都有分) 简单的问题,送分 请教:ADO方式连接Oracle数据库时出现:多步OLE DB错误,请检查每个OLE DB状态,怎么办? 错乱 如何用jdbc连接oracle 老大,infopower2000的注册号,密码是多少阿? 向大家推荐一个品质计数计量图控制程序,来者有分,班长请高抬贵手,不删此贴,谢谢 线程管理 向大家推荐一个品质计数计量图控制程序,来者有分,班长请高抬贵手,不删此贴,谢谢 能不能提供一些有关图像分割的算法和实现代码!谢谢 如何实现语音聊天技术~需要什么? 如何实现语音聊天技术?需要些什么 请问如何用delphi语言将一文件夹压缩? 老大,infopower2000的注册号,密码是多少阿? 我现在是2000系统,想装一个98系统而不破坏2000,请问有解决办法吗?谢谢! [求助高手]VB注册表的读取 (dave_adl)将军请进来啊!给你分啊! 谁有数据结构与算法的东西,我在技术区可以给分 局域网内收发邮件?? 怎样利用主键不可重复的特性? 在ACCESS中如何在中间插入记录呢? 有谁知道,jbuilder7.0是调用了那些命令打包成EXE文件的? 一个简单的问题 OpenDialog控件怎么初始化路径? 使用regsvr32 时怎样不显示成功的对话框(即参数?) 怎样提高专家分? 网关屏蔽了QQ、聊天,如何使用QQ和聊天 如何配置声卡? 使用Excel时为什么不能更新图表? 欢迎踊跃参加 Office开发技术网上竞赛 使用Excel时为什么不能更新图表? 有人熟悉中科红旗吗? 请教DataBufferFloat的问题,没什么我的文件说找不到 会不会出BCB6中文版啊 http://go3.163.com/21jsp/cn/com/lyfupload.htm 请问各位:你们怎样在程序中用SQL脚本来建表啊?!!不会是叫客户自已创建表吧? 请进来看看,关于CString和WFC编程的! 关于定义一个struct 的 array问题?帮忙阿 在一个线程内部怎样实现将该线程挂起? 帮我个忙好吗,有关数据库的(我是新手)(很急) 用gcc编译后提示:/tmp/ccn/I193.o: In function "main" ...... delphi的简单问题 关于文件操作 请教,关于网管理论,协议,开发等方面,该看什么书? 提倡:对贴不对人 如何在word 中链接excel 表格后,不让它随源文件更改而变,但有时又要改变其中数据,怎么做 一个代理服务器问题 一个长久以来悬而未决的问题!! 谁有x.25协议包的格式? 在视图上建立快照日志碰到的问题? 求助:怎么用XSL制作网页菜单? 电池的结构 都有什么功能短路能跳闸吗和漏电和过载 电瓶车由什么组成 在一水平地面上,一质量为20kg的物体受到一水平方向的拉力作用由静止开始向前运动,一段时间后撤掉这一拉力,物体由静止开始运动的v-t图象如图所示, .求:(1)该物体与地面的动摩擦因数 发生短路现象漏电保护器会跳闸吗?如果一个人同时触到零线与火线漏电开关会跳吗?假如漏电开关不跳断路器会跳吗?断路器就是跳了会不会人也给电伤了呢? 电瓶车的电瓶有固态.液体?多是什么成分组成 质量为10KG的物体在50N的水平拉力作用下,由静止开始在水平做匀加速直线运动,质量为10KG的物体在50N的水平μ=0.2 1.当速度达到2m/s时,水平拉力的瞬时功率?2.合力的功率为多大?(g=10m.s2) 当在一斜面上匀速拉动一物体时,拉力是F,物重是G,求摩擦力的数学表达式(斜面高h和长L是可测量) 在μ=0.2的粗糙水平面上,有一质量为20kg的物体以一定的速度向右运动,同时还有一水平向左的力F作用于物体上,其大小为50N则物体受到的摩擦力大小为多少N.(g取10N/kg)急! 击实试验取样的是回填土还是原土请问:1、重型击实试验是在土方开挖完成以后(还未回填土)做还是回填完土后做?2、级配碎石需要做击实试验吗?重型还是轻型?如需做的话,那里取样?3、 家里出现短路,漏电保护器是不是立即跳闸呀我今天接完线路后,推上总开关有10几秒后有一段线被烧断才跳了闸是怎么回事呀 电池主要成分 工程勘察中各类土层(淤泥、粘土、粉土、砂、砂砾石、回填土等)的比重、剪切波速度范围 在一斜面上匀速拉动一物体,拉力是F,重力是G,斜面高是h长是L,那摩擦力f的表达式是什么 那个 电池水的主要成分是什么? 谁能帮我算下环刀取样土壤含水率?A:湿457.75克 干410克B:湿422.5克 干383克 哭求0~8s内(1)拉力F对物体所做的功(2)摩擦力对物体所做的功 电池里的主要成分是什么 电池是由什么构成的 如何判断电路是否短路~ 已知OA=OB.OC=OD.角O=50度,角D=35度.则角AEC=? 电池是由什么组成的?电池组成的部分及成分有哪些? 关于回填土的计算需要回填10000立方土 普通土 最初可松性系数为1.14-1.28 最后可松性系数 为1.02-1.05 需购进多少立方土? 如图所示,从点O发出4条射线OA、OB、OC、OD,共组成多少个小于平角的角?五条射线OA,OB,OC,OD,OE共组成多少个小于平角的角?n条射线(每两条射线都不在同一直线上)呢? 如图,已知OC平分∠AOB,OA=OB,PD⊥AC于D,PE⊥BC于E,求证PD=PE(急呀!只限今天) 初三物理常识问题考卷上的一张图.(叫我们补充画图,本图还未画)没有什么错误么?电源负极出来后接到灵敏电流计G负接线柱上居然和电压表正接线柱连起来叻? 某同学为了研究弹簧弹力与形变量x的关系,应用了如图所示的实验装置 O为支点,OA长为L,F1,F2,F3,F4为作用在A点的四个力.(1)算出F1,F2,F3,F4的力臂的长度,并比较它们的大小;(2)在杠杆OA上的哪一个点,沿什么方向施加作用力,该力的力臂最长,长度为多少?(3)在杠 刚买的绿源电动车,第二次充电,充电器指示灯就显示电池维护,怎么办?第一次充电没事,第二次就电池维护的灯亮了,充满的灯也亮,知道的高手说说吧, 如图,已知:E是∠AOB的平分线上一点,EC⊥OB,ED⊥OA,垂足为C,D,求证:1.oc等于od 2. 求证df等于等于cf OC平分∠AOB,P是OC上一点,D是OA上一点,E是OB上一点,且PD=PE,求证∠PDO+∠PEO=180 电动车充电器充电指示灯一红一绿怎么回事?我的充电器有时正常的显示红灯,有时就会一红一绿(这样就冲不进电了),好像我的充电器接触不正常吧,但又不知道怎么处理?我拿我婶婶的充电 E是角AOB平分线上一点,EC垂直OA,ED垂直OB,垂足为C,D,证OC=OD谢..呵...不用全等,直接用角平分线 在条形磁铁周围放一些小磁针,以下说法正确的是( )A.同一固定点放人不同的小磁针其指向性发生 改变 B.不同点的小磁针指向完全相同 C.同一固定点放入不同的小磁针,静止后小磁针 指向 电动车充电器指示灯一直闪烁我的充电器一插上电源两个指示灯一闪闪的.而且不能充电. 请教高手指导.充电器的那个部位元器件出问题.? 如图1所示,小明在探究“杠杆的平衡条件”实验中所用的实验器材有:杠杆、支架、弹簧测力计、刻度尺、细线和质量相同的钩码若干个.(1)实验前,将杠杆中点置于支架上,当杠杆静止时, 一个静止在粗糙的水平面上的物体质量为10千克,受到水平向右的50V拉力作用,那么摩擦力因素为0.1 g=10m/s2 动滑轮实质是一个动力臂是阻力臂()的杠杆,使用动滑轮时能省()力,但费() 如图,点E是∠AOB的平分线上一点,EC⊥OA,ED⊥OB,垂足分别是C、D.求证OC=OD 条形磁铁中心的磁感线怎样从N极回到S极 动滑轮实质是一个动力臂是阻力臂什么的杠杆使用动滑轮时能省什么力,但费什么 手机电池短路怎么办? 为什么条形磁铁的外部磁感线是由N到S,内部就成了S到N了呢? 请高手用电子表格编一个实现如果 1就返回杂填土,2就返回素填土,3就返回粘土,4就返回粉质粘土,5就返回粉土,6就返回淤泥,8就返回细砂,9就返回中砂,12就返回松散,根据数字的不同返回不同的 将G=50N的物体悬挂在轻质弹簧上,弹簧伸长了2.0cm,则静止时弹簧的弹力是多大?弹簧的劲度系数是多大?将G=50N的物体悬挂在轻质弹簧上,弹簧伸长了2.0cm,则静止时弹簧的弹力是多大?将弹簧从挂钩 如图,OC是∠AOB的平分线,P是OC上的一点,PD⊥OA于点D,PE⊥OB于点E.M,N分别是OA与OB上的一点,DM=EN,连接PM,PN.求证:PM=PN 1、某场地平整有6000 m3的填方量,需从附近取土填筑,其土质为密实的砂粘土,已知Ks=1.05 ,K‘s=1.05 试求:1)填土挖方量 2)已知运输工具斗容量为2 m3,需运多少车次. 一个圆柱形沼气池,底面直径3米,深2.5米,在它的周围与底面抹上水泥,抹水泥的部分的面积是多少平方米? 为什么说磁铁周围的磁感线都是从N极出来进入S极,在磁体内部磁感线从S极到N极?是不是科学家随便规定的? 弹簧弹力和弹簧伸长量的实验中,图像上端为什么会变成曲线? 己知点P、F在OC上,EF=DF,OD=OE,PD垂直OA,PE垂直OB.求证:角1=角2,PE=PD 磁感线都是从N极出来进入S极对嘛?拿条形磁铁说中间不也有磁感线发出嘛? 请问下面的图中,若小物块向下移动x,则各弹簧伸长量是多少? 如图,已知∠AOB,C是射线OD上一点,E﹑F分别在OA﹑OB上,且CE=CF,DE=DF,求证:OE=OF 建筑工地有一堆钢管,最底层有26根,每向上一层就少一根,最上层有18根.这堆钢管一共有多少根? 求解释这个图的弹簧伸长量和 竖直放置的弹黄 下端放一个同质量的小球 伸长量关系跪谢 由点o引出六条射线OA、OB、OC、OD、OE、OF,且角aob等于九十度,of平分角boc,oe平分角aod.若角eof=一百七十度,求角cod的度数.按照古代角一角二角三角四角五角六来写,我保证会采纳的大家帮帮我 锂电池构造问题请问哪里用到了胶带,我记得胶带的作用好像是有2个,绝缘和高温,请问锂电池哪里用到了这2个作用的胶带?或者其他见解 漏电开关过载也会跳闸吗?漏电开关不是漏电才跳闸的吗?为什么我用电机的时候,它也会跳闸? 小南同学这样画∠AOB的平分线,如图分别在OA OB的两边截取OC=OD ,OE=OF.连接DE CF交与点P,过点P作射线OP,则OP平分∠AOB.你认为对吗?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘