说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

什么是Hadoop以及与云计算的关系

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop是Apache 基金会下的一款开源软件,它实现了包括分布式文件系统和 MapReduce框架在内的云计算软件平台的基础架构,并且在其上整合了包括数据库、云计算管理、数据仓储等一系列平台,其已成为工业界和学术界进行云计算应用和研究的标准平台。

Hadoop是Apache 基金会下的一款开源软件,它实现了包括分布式文件系统和 MapReduce框架在内的云计算软件平台的基础架构,并且在其上整合了包括数据库、云计算管理、数据仓储等一系列平台,其已成为工业界和学术界进行云计算应用和研究的标准平台。Hadoop现在已经广泛应用于包括 FaceBook,Twitter, Yahoo! 等公司,通常情况下这些机群包括数以千计的服务器和数以万计的CPU。

 

Hadoop作为云系统中的一种,它具备了很强的存储扩展(目前仍受限于master节点能力)和受限的计算扩展(主要是对数据的均衡性处理还不够)。

我们可以将Hadoop虚拟化,对外提供一个统一的存储和计算平台。

 

Apache Hadoop作为PaaS构建在虚拟主机上,作为云计算平台。平台即服务 (PaaS)主要关注软件框架或服务,提供在基础设施中进行“云”计算所用的 API。Hadoop 作为基础云计算平台 ,包括了超过 100 个的用户可配置参数 ( 版本 0.19.2) , 而这些参数中很大一部分对所部署的 Hadoop 系统性能具有极大的影响。

 

基于Hadoop,用户可编写处理海量数据的分布式并行程序,并将其运行于由成百上千个结点组成的大规模计算机集群上。Hadoop 已被全球几大IT公司用作其"云计算"环境中的重要基础软件,如:雅虎正在开发基于Hadoop的开源项目Pig, 这是一个专注于海量数据集分析的分布式计算程序。亚马逊公司则基于Hadoop推出了Amazon S3(Amazon Simple Storage Service ),提供可靠,快速,可扩展的网络存储服务。

 

Hadoop中的HDFS+MapReduce是目前一个不错的分布式存储和计算解决方案,面向的是数据集中式的大规模数据处理,但目前的HDFS还不能独立出来做一个云存储系统,还有不少局限性。云计算面临的主要是海量的低数据量服务请求,这些请求的数据都是需要在大量基础数据上经过挖掘处理才得出来的,我觉得Hadoop目前是做这个的。当然Hadoop中的子项目HBase正在逐渐提升性能,不久的将来,用它来做一个高性能的,可扩展的分布式数据库也是不错的,它的不少特性都特别适用于互联网的应用。

随着Hadoop的发展,以后它能做的事将更多。

Babylon.js:拥有微软背景的开源3D游戏引擎 EMC 2014存储布局及十大新技术要点 腾讯推出零流量地图 离线实现公交步行导航 Atmel 1.4亿美元收购Newport Media 巩固物联网产品线 微信大会首批议程出炉 深度解析招行服务号是如何炼成的? 指尖上的阅读:MIT开发盲人专用设备FingerReader 从桌面到移动:异构计算翻天覆地的技术变革 《近匠》Blueware何晓阳,不做中国的New Relic 全球最杰出的14位程序员 Microsoft、RedHat、IBM、Docker等公司加入Kubernetes社区 Intel携手三星、博通等 建立物联网联盟OIC 一周消息树:微软半年内将终止对Win 7、Office 2010 SP1等产品的支持 深度神经网络DNN的多GPU数据并行框架 及其在语音识别的应用 浪潮通软GSP将打造开放平台 吸引更多ISV加入生态系统 国外安全产品再遭信任危机 安全产品国产化步伐加快 最终幻想XIV的重生--SQUARE ENIX《最终幻想14》制作人吉田直树介绍 如何打造百万级自然增长的微信HTML5应用 听邵海杨聊聊1000+台服务器背后的故事 借助Facebook、Twitter等社交平台API打造超炫酷的那些应用 Unity中Shader的开发运用实战详解,开放报名! 我从独立游戏开发学到的6件事儿 果断Mark!Searchcode——源代码搜索利器 《近匠》图灵机器人:App和移动硬件的智慧大脑 极路由发布HiWiFi OS及应用开放平台 Loom SDK框架:命令行快速开发跨平台2D游戏 安全管家Q2移动安全数据报告:窃取隐私最多 Project Adam vs. Artificial Brain,微软与谷歌角力人工智能 “微信公众平台优秀开发商”征集评选活动正式启动 移动数据库新疆界:开源、Swift、可穿戴... Chromebook侵蚀微软商用PC市场,成绩喜人 2014微信开发者大会议程公布 8月1日前购票8折优惠并赠书 本人是beginner for vc++,希望以后多交流。现请求一个vc++作的画图程序 大侠执教:投稿程序员杂志要多少时间才有回音? 有办法在控制台程序启动时,隐藏它的DOS窗口吗? 关于MFC中的Project Settings问题 两个编程的初级问题 谁能给我一个关于二叉树的完整的程序。 认识的进来聊天 , 我是东宝 (yeti_lee) 我是一名学生,学计算机(一个普通大学)。请教大家几个问题 大连成绩如何查??有人查到了吗?请聊聊 分是个累赘,我放完它~!来的就有,讲些凄惨的事情和遭遇,大家比谁惨,越惨的给分越多,兄弟我此举是为了找平衡。 怎样得到当前系统打印机的各项信息?????特别是打印纸张方向!!! 高分求救——我有几道C程序的编程题目,望各位高手帮忙解决!谢谢 哪位告诉我select语法,我忘了group by 的使用方法,谢谢! 请问哪儿有电子版的《COM编程精彩实例》,谢谢! 请问:要想学习vb和数据库的知识,哪些书比较好?请各位朋友帮忙推荐几本好书?谢了~! 请问有谁知道PB8编译后打包,PARADOX数据库驱动程序需那些啊????急!!!!!! 在oracle存储过程中怎么使用cursor作为返回值? [TIPS]Win9x和WinNT/2000下面都可以去掉OICQ广告的方法! 触发器问题 关于bdgrid的问题,高手请来,一定高分相送!!!!急 怎么建立WIN2000的域信任关系 用data控件连接DBf数据库时为什么出现“找不到可插入的ISAM”错误? 大家等会儿再吃饭!先看一看这里的送分大餐...... 他们怎么想的?居然没有bcb? 高手指教:如何在vc中控制刻录机和磁带机进行数据备份和恢复? 请问各位高手,怎样才能学好c语言。有没有什么好一点的网站和源码提供,多谢。 如何解决在向量位图背景下的窗口移动是的刷新置后问题?? 问一个问题!爱好or 程序员? 用VB如何设计好的报表,欢迎讨论! messagedlg能不能显示中文?例如显示“确定”,而不是“ok” 各位高手!!请教一个有关在oracle8i中建立表与表之间的关系? 请问哪里有无时间期限的Setup Factory 下载? 笨呆呆,拿分。 请问到那里可以下载uml工具,如果再有推荐的话是一定可以得分的 再次有请: playyuer 吴文智、袁飞、Jneu、Amoon、ttyp、icevi、progame、Jinesc 等各路高手 偶是初学者,问一个问题 SOS,很严重windows的问题,高手快进 复制Access数据库时出现的问题 如何动态添加TQuery的字段??? 编译一问 SOS,很严重windows的问题,高手快进 !!! 有人开发过基于winpcap的网络抓包程序么? SOS,很严重windows的问题,高手快进 ! 通过双网卡上网怎么设置? 一名初学者的问题? 各位老大,如何控制windows的资源管理器显示/不显示后缀名 问一下现在4000元可以买到大概什么配置的笔记本电脑 谁知道用VC++直接操作硬盘?告诉我一声,多谢了 请问考OCP的12本宝典在哪里下载?有人能介绍介绍经验吗?谢谢! Nobody can help me? 去考MCSD我合格吗? 高中历史必修一的复习提纲全部 求解释下列名词,1%100ml的葡萄糖溶液中1%是指什么、100ml是指溶剂水还是什么 在化学中的晶体和物理中的晶体是同一种吗?就是说化学里的晶体一定满足物理中的定义吗 成语对对子:流芳百世 19.某中学学生在课余探讨明清时期的“闭关锁国”政策时,得出了以下结论,其中正确的是( ).A.清朝时开放广州一处同外国通商,说明并不是真正“闭关锁国”B.“闭关锁国”这一政策产生的根 如右图所示,向烧杯内的溶液b中逐滴加入溶液a时,灵敏弹簧秤的读数先逐变小,然后又逐渐变大,则溶液a、b分别是A NaOH、H2SO4 B BaCl2、NaOHC BACL2 NA2SO4 D NH3・H2O、CH3COOH 科代表怎样安排高中历史复习我们高二了,我是历史课代表,我们要复习必修1(人教版),每周早上有20分钟复习,怎么安排全班复习计划, 1.有人说洋务运动“无心插柳柳成荫”这里“柳”指的是什么?引进近代科学技术和出现新的经济因素和阶级力量为什么选后者?2.洋务运动有没有为资本主义发展开辟道路?为什么?3.中国近代资 白糖溶解与水形成糖水是物理变化还是化学变化 成语对对子(反义词) 例如:粗茶淡饭(山珍海味)守株待兔( ) 狗仗人势( )望梅止渴( )水落石出( ) 高中历史必修二复习提纲 请问 初中历史和高中历史 有区别吗? 成语反义词对对子固若金汤( )指鹿为马( )伶牙俐齿( ) (1)NaCl晶体融化时需要克服的作用力是_____… (2)NaCl晶体中,离子键的键长为____,Na+的半径与Clˉ的半径之比为______ (3)NaCl晶体的每个晶胞中有____个Na+,____个Clˉ.(4)As的价电子排布式为___ 一到化学题,解释为什么不选b我觉得二氧化碳和氢氧化钠反应了,那么试管的力的气体变少,那么在大气压的作用下,氢氧化钠就会上去. 融化和熔化的区别? 由于预习阶段,有些概念还不懂,还请前辈们多多指教呢. 化学这题为什么选C求解释 融化和熔化有什么区别? 高中历史必修一复习提纲 人教版 请说明原因,我觉得它选B 融化、溶化、熔化的区别,并各造一句话 融雪剂NaCl使冰雪融化是什么变化? 水能溶解五水硫酸铜吗 是什么变化物理还是化学 融化,熔化的区别是什么 融化氯化钠的颜色如果将氯化钠加热融化后是什么颜色的?氯化钠熔点800多度呢2l不可以吧 把什么物质分解是化学变化吗 高中历史总复习提纲 化学有机选择题一题,麻烦详细讲解下,有图 全册的, 熔化状态和熔融状态有什么区别?(化学方面)RT,看到一本书上写离子反应在溶液或熔融状态下反应,另一本说溶液或熔化…… NaCl熔化算不算化学键被破坏?为什么? 经典力学的主要内容是什么? 熔化 溶化 融化 都有什么不同?熔化是一样的吗?溶化是一样的吗?融化 融解是一样的吗? 为什么熔融NaCl会破坏化学键?不太,不太明白, 高中历史:罗马法的核心内容及影响速度 材料一 天下多男人,尽是兄弟之辈;天下多女子,尽是姐妹之群,何得存此僵彼界之私,何可起尔吞我并之念.——洪秀全《原道醒世训》,1843年材料二 逆贼洪秀全杨秀清称乱以来,於今五年矣.荼 关于熔化时破坏化学键的一道题现有 1.氯化钡 2.金刚石 3.氯化铵 4.硫酸钠 5.干冰 6.碘片 一 熔化时不需要破坏化学键的是熔化时需要破坏共价键的是熔点最高的是 最低的是 二 属于离子化合 古代中国的名门望族多“以商贾兴,以官宦显”.该现象A.反映了商人政治地位的提高 B.是“工商食官”的表现 C.制约工商业扩大再生产D.反映了重农抑商观念的弱化\x05《英国文化模式溯源》中 谁有下面这个高中历史第一轮复习的文件? 融化时破坏的化学键 氯化氢 蔗糖 为什么融化不会破坏化学键?怎么判断融化会不会破坏化学键?还有怎么判断溶解破不破坏化学键?氯化氢不是共价键吗?完全搞不清楚. 下列物质中,含分子数目由大到小的顺序为()A 0.5mol氧气B 6.02*10^23个氮气C 6.02*10^24个HClD 与0.12kgC-12含相同原子数目的氯气 熔融 熔化 溶解区别是什么? NaCl溶解在水中时,化学键有没有断? 铁为什么能与水反应? 溶解和熔化有什么区别嬷?从化学角度咯,最好举例子嘞~ 盐撒在冰上,请问冰为什么能融化成水, 铁生锈是物理反应还是化学反应?为什么? 水落石出现一五十是什么生肖 磁流体是电子材料的新秀,它既具有固体的磁性,又具有液体的流动性.制备时将含等物质的量的FeSO4和Fe2(SO4)3的溶液混合,再滴人稍过量的氢氧化钠溶液,随后加入油酸钠溶液,即可生成黑色的、 请问铁矿石炼成铁是物理变化还是化学变化,为什么? 熔化和溶解有什么区别? 高中历史内容与初中联系大主要讲什么有必定接洽点然则高中汗青是从理论上开端分析初中纯感性熟悉 .至于内容大年夜体是差不多的但有些处所会加深外国史相对初中而言变多根本上就如 1题,化学解释 高中历史必修一的复习 高中历史有哪几块内容? 溶解是物理现象还是化学现象 高中历史必修一复习提纲简洁,易懂 就是在有材料的简答题后回答的那种 关于化学上的晶体和物理上的晶体的问题晶体,在化学上把冷却热饱和溶液或者蒸发溶剂得到的东西叫做晶体.但是百度百科上说各种金属都算是晶体,但是部分金属不溶于水,那物理上所指的晶
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn