说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

什么是Hadoop以及与云计算的关系

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop是Apache 基金会下的一款开源软件,它实现了包括分布式文件系统和 MapReduce框架在内的云计算软件平台的基础架构,并且在其上整合了包括数据库、云计算管理、数据仓储等一系列平台,其已成为工业界和学术界进行云计算应用和研究的标准平台。

Hadoop是Apache 基金会下的一款开源软件,它实现了包括分布式文件系统和 MapReduce框架在内的云计算软件平台的基础架构,并且在其上整合了包括数据库、云计算管理、数据仓储等一系列平台,其已成为工业界和学术界进行云计算应用和研究的标准平台。Hadoop现在已经广泛应用于包括 FaceBook,Twitter, Yahoo! 等公司,通常情况下这些机群包括数以千计的服务器和数以万计的CPU。

 

Hadoop作为云系统中的一种,它具备了很强的存储扩展(目前仍受限于master节点能力)和受限的计算扩展(主要是对数据的均衡性处理还不够)。

我们可以将Hadoop虚拟化,对外提供一个统一的存储和计算平台。

 

Apache Hadoop作为PaaS构建在虚拟主机上,作为云计算平台。平台即服务 (PaaS)主要关注软件框架或服务,提供在基础设施中进行“云”计算所用的 API。Hadoop 作为基础云计算平台 ,包括了超过 100 个的用户可配置参数 ( 版本 0.19.2) , 而这些参数中很大一部分对所部署的 Hadoop 系统性能具有极大的影响。

 

基于Hadoop,用户可编写处理海量数据的分布式并行程序,并将其运行于由成百上千个结点组成的大规模计算机集群上。Hadoop 已被全球几大IT公司用作其"云计算"环境中的重要基础软件,如:雅虎正在开发基于Hadoop的开源项目Pig, 这是一个专注于海量数据集分析的分布式计算程序。亚马逊公司则基于Hadoop推出了Amazon S3(Amazon Simple Storage Service ),提供可靠,快速,可扩展的网络存储服务。

 

Hadoop中的HDFS+MapReduce是目前一个不错的分布式存储和计算解决方案,面向的是数据集中式的大规模数据处理,但目前的HDFS还不能独立出来做一个云存储系统,还有不少局限性。云计算面临的主要是海量的低数据量服务请求,这些请求的数据都是需要在大量基础数据上经过挖掘处理才得出来的,我觉得Hadoop目前是做这个的。当然Hadoop中的子项目HBase正在逐渐提升性能,不久的将来,用它来做一个高性能的,可扩展的分布式数据库也是不错的,它的不少特性都特别适用于互联网的应用。

随着Hadoop的发展,以后它能做的事将更多。

人气爆棚 干货满满 中国电信天翼开放平台开放日圆满落幕 必须Mark!43个优秀的Swift开源项目推荐 治拖延、疗懒癌!安利12款提高工作效率工具 把ES6带进Node社区 Io.js 1.0.0正式发布 Java 2014:10个最热门、最具争议性的话题 回顾:2014年最流行前端开发框架对比评测 实例讲解SQL注入攻击 调试大规模服务器集群的五大策略 .NET编译平台Rosly将迁移到Github Wasai虚拟现实头盔与体验馆发布:虚拟现实的线下经济 订票系统不再瘫痪 阿里云确认与12306合作 Apple前工程师Warren Moore:Swift中Metal使用初体验 手把手教学:详解Swift中的iOS设计模式 见微知著,那些触动人心的应用细节设计(一) 设计优秀API七大要诀 需求 细节 BI项目成功的五大要素 BI项目成功的五大要诀 最受程序员欢迎的公司榜单发布:2015 IT人才招聘趋势分析 Swift中的指针操作及使用 Android性能优化典范 专访Google涂鸦首席设计师Ryan Germick:为什么世界需要Doodle? 不炒作就会死!小米乐视生态布局的那些爱恨情仇 100个iOS开发/设计面试题汇总,你将如何作答? 王巍:关于Swift学习和Apple Watch开发的一些建议 微软发全息影像头戴装置HoloLens 体验很真实 相爱相杀?盘点迎新年的移动互联网撕逼大战 HealthKit开发教程:用Swift编写个健康应用! 真的不够用!Apple Watch常规使用续航3.5小时 Activiti实战 百度BAE携手科技寺助力应用一站式部署 不仅仅是高速传输,Qualcomm演示骁龙810处理器功能 C++Builder开发程序登录问题? 请问GridBagConstraints(有源码) 如何动态更换列表控件前面的小图标? 关于记录修改 用sdk编程怎样加入toolbar? table里的查询字段为什么不会显示数据? c#与interbase请教 C语言的大小问题都在这里面? 不要编译,你猜猜这个程序会有几个类型匹配的警告? 不要编译,你猜猜这个程序会有几个类型匹配的警告? 高分解问,请教高手!关天GIS! 如何判断窗体中的某个控件是textbox控件?或判断窗体中textbox的个数? 如何调用返回不定字段个数的存储过程 那里能找到rational rose 有关FORM与ACCESS数据库的连接 如何使用photoshop把图像缩小到指定大小? 关于某种文件关联的问题 为什么用net send发送的消息有关不掉,点了好多次确定也没用。 怎么保存到数据库中?急急急! 电脑出问题了。 tomcat4.01+apache2.046组合问题:单个的都能运行,...可以加分.. %u的问题 如何调整对话框上工具栏的状态 关于query控件的一个问题 如何结束一个线程? FastReport怎么将没有记录的地方也画上格子??? 我的oracle9装上去之后怎么有7。2G那么大??并且还连不上MANAGEMENT SERVER只能独立启动??请指教!! Fastreport与quickreport那个更好用? 进者有分. 强烈要求铲除全国所有的收容所!!! 要用什么软件才能将CMOS参数备份到某个文件夹中? 请问怎么在建表代码里定义关键字? 请问把数据写入ListView控件内,有什么办法可以快点? win2k server dns 求助! 我在易趣上竞的一个数码相机,只要250元,但是只能拍26张相。我不知道是真是假? 一个搞不定的恶意网站 cout与printf的问题 没有路由怎样用一台服务器实现300台左右的电脑上网? ResultSet里读出数据的参数问题,马上给分 netvt(唯她 v1.1.1),进来拿你应得的分 如果我的程序中用了VFP,但是用户可能并没有装VFP,有什么好的办法直接替用户解决了这个问题,而不是提醒他自己去装 怎么保存到数据库中?急急急! 我用treeview显示数据库的数据,增加一条新记录后,要怎么样才能马上在treeview显示? 无法传值问题,高手急救!!!!!!!!! 在线等待:怎么为datagrid控件的某一格赋值? 请教如何在input上传筐里面限制文件类型? java的图形设计比如swing有前途吗?大家来讨论下,迷惑中。。。 计算机静电问题!! 错误在那里 请教批量update出错问题 请问串口方面的? QQ使用MFC42.DLL, 耐磨橡胶衬板主要厂家有哪些? 邱少云在牺牲时夺取的是什么 近五年来,青蛙(田鸡)肉走上餐桌,假如人们大量捕杀这种农田中的青蛙.这样带来的后果是( ).“假如人们大量捕杀这种农田中的青蛙.”中的这种农田是指:水稻,稻螟虫,蚯蚓,蛇,蜜蜂,野 仿写句子如一朵鲜花,点缀不出绚丽的春天 一朵鲜花点缀不出绚丽的春天.仿造例子,再写一句,与其格式相同. cf潘多拉角色有什么优点,比起灵狐怎么样? 下图:三个直径相等的圆.求阴影部分的面积占一个圆面积的几分之几? 一朵鲜花点缀不出绚丽的春天仿写 邱少云哪年牺牲的? wp手机是什么? 西方管理思想产生的背景是什么? We don't do much b()with foreign companies.首字母填空 如图三个直径相等的圆阴影部分的面积占一个圆面积的多少 一个物体放在一个斜面上,这时物体对斜面有压力吗 (生物)有人爱吃青蛙,为此便有人大量捕捉野生青蛙,这种做法会产生什么后果? 如右图:三个直径相等的圆.求阴影部分的面积占一个圆面积的几分之几 有些人爱吃蛙肉,为此便有人大量捕捉野生青蛙,这种做法会产生怎样的后果? 已知点a(1,0)和b(3,-1).若点m是y轴上一点,且满足△abm是直角三角形,则点m的坐标是 爱因斯坦的相对论简单来说究竟是什么 有些人爱吃肉,为此便有人大量捕捉野生青蛙,这种做法会产生怎样的后果? 如图,直线y=kx+6与x轴,y轴分别交于点A、B,△ABO等腰直角三角形. (1)求函数解析式.我会做2)已知点C(4,0),点P是线段AB上的一点,且△POC是以PC为一腰的等腰三角形,求点P的坐标 大家觉得WP系统手机的优点在哪? 圆O1的半径是2cm,圆O2的半径是5cm,圆心距是4cm,则两圆的关系是 A.相交 B.外切 C.外离 D.内切圆O1的半径是2cm,圆O2的半径是5cm,圆心距是4cm,则两圆的关系是A.相交 B.外切 C.外离 D.内切 宇宙飞船在月球着落,宇航员在登上月球后,在月面上用天平测物体的质量,结果是什么 你觉得手机WP操作系统怎么样最近喜欢上了WP操作系统 隐形飞机的隐形原理是什么?如何做到隐形? 海贼王超新星是什么意思 最新的WP手机操作系统怎么样,有什么新功能呀 隐形飞机为什么能隐形,的原理是什么? 超新星与新星有什么区别? 金鱼是卵生还是蛋生如题 金鱼是过卵生还是蛋生抚养后代的 已知两个圆的半径分别为3cm和5cm,并且两圆没有公共点,则两圆的圆心距的取值范围是 六月五日是世界环境日、老师号召同学们爱护环境,从每个人做起.如果你想提醒同学们保护好校园新栽的小草,你应该怎么和同学们说呢? 恐龙是怎样从我们的地球蛋生的呢? “有些人爱吃蛙肉,为此便有人大量捕捉野生青蛙,这种做法会产生怎样的后果? 英语翻译your father wants you to take a training,class on management skins,you are an wining,to do so your classmate persuades you to attend the training.帮个忙 在下追加财富 带2个负电荷的硫离子的化学式是什么 有些人爱吃蛙肉,为此便有人大量扑捉野生青蛙,这种做法会产生怎么样的后果 长大后我就成了你作文500字 综合知识抢答赛,答对一题加5分,答错一题扣2分.A学生共抢答了20道题,最后得分72分.他答对几道题? 那一天我忘不了 作文 英语翻译rt 3q 人生如絮,飘零在此万紫千红的春天.仿句例句:人生如絮,飘零在此万紫千红的春天.仿句:人生如————————人生如———————— 作文字数:500---600.. 长大后我就成了你 六下练习册P115页阅读答案 什么是开路粉磨?什么是闭路粉磨?水泥开路粉磨和闭路粉磨的区别? 人生如絮,飘零在万紫千红的春天.相照应的句子 CF潘多拉好吗?我买了,到底有什么好处 怎样用几何图形来表示四字成语:一个三角形没个角里有一个圆 失根的兰花第⑩段中 人生如絮,飘零在此万紫千红的春天 应当怎么理解 人们大量捕杀青蛙会产生怎样的严重后果? 一句关于战争的名言急 人生如絮,飘零在这万紫千红的春天意思 大量扑抓青蛙,后果怎样? 堆焊耐磨板和铸造哪个好为什么堆焊耐磨行性能好能说的具体点嘛!谢谢~ 人生如絮 飘零在此万紫千红的春天 什么修辞 从跳高 等分析我主要玩JU 哪些单位需要堆焊耐磨板 如果人类停止生育,但能长生,这个世界会怎样?长生的感念是:小孩永远是小孩,年轻人永远是年轻人,老人永远是老人,但都没有死亡但出现车祸或别人杀害也就是=世界上就少了一个人例:100-1=99, 如果大量捕杀青蛙,你觉得会造成怎样的后果.简答,100字以内. 华盛顿举行抗议反对监控墨前官员吁美出示监听文件四川泸州逾百名商贩不满涨租金集体罢市美国纽约5人遭持刀袭击身亡 警方已拘人大校内开设俄式西餐厅 网友赞高贵大印度连日暴雨致29人丧生 逾7万人强福田康夫:日本的发展需要依赖国际社会福田康夫:日本的发展需要依赖国际社会美国纽约5人遭持刀袭击身亡 警方已拘印度连日暴雨致29人丧生 逾7万人强卡斯特罗曾否认涉肯尼迪遇刺案日本学者著书称:钓鱼岛从历史上看从未胡万林培训收费1万起 信徒称不给钱说陈德铭:服贸协议问题不便多说 愿去台美国窃听让法国“很受伤”今日海外关键词(10月27日):脱亚欧洲最高活火山喷发熔岩 在空中形成巨巴西华人协会举行新一届理监事就职典礼新书曝古巴前领导人卡斯特罗曾否认涉肯欧洲最高活火山喷发熔岩 在空中形成巨新书曝古巴前领导人卡斯特罗曾否认涉肯罗杰斯欲让杰拉德扮“红军皮尔洛” 延有图有真相:明星豪华伴娘团谁最\"骚高速公路上4车接连撞 1人受伤精致器皿能自动为植物浇水 提供三四天央行:2013年社会融资规模为17.泰国曼谷中国文化中心系列文化活动欢庆大学生骑车遭撞死 宠物狗5年不离现场日本自卫队最大型运输舰撞翻渔船 致4日航波音787客机检测出电池冒烟 电人民日报今日谈:警惕乱评奖死灰复燃王治郅国家队十佳球 大帽希尔梦幻舞步《一代枭雄》将“土匪”演成“土豪” 美预算支出恢复对埃及援助 15亿美元竹山一仓管员侵占42万外逃90天被抓辽宁一包工头因恶意欠薪被判刑6年国台办:盼台方能为陆生提供良好环境和公安边防部门加强对台警务合作 共同维公安部直属机关掀起学习贯彻习近平总书铁路公安重拳打击网络倒票周最佳魔咒!甜瓜空砍20+6 末节被网曝裸照的陕西省委党校副校长已向组
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘