说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

什么是Hadoop以及与云计算的关系

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop是Apache 基金会下的一款开源软件,它实现了包括分布式文件系统和 MapReduce框架在内的云计算软件平台的基础架构,并且在其上整合了包括数据库、云计算管理、数据仓储等一系列平台,其已成为工业界和学术界进行云计算应用和研究的标准平台。

Hadoop是Apache 基金会下的一款开源软件,它实现了包括分布式文件系统和 MapReduce框架在内的云计算软件平台的基础架构,并且在其上整合了包括数据库、云计算管理、数据仓储等一系列平台,其已成为工业界和学术界进行云计算应用和研究的标准平台。Hadoop现在已经广泛应用于包括 FaceBook,Twitter, Yahoo! 等公司,通常情况下这些机群包括数以千计的服务器和数以万计的CPU。

 

Hadoop作为云系统中的一种,它具备了很强的存储扩展(目前仍受限于master节点能力)和受限的计算扩展(主要是对数据的均衡性处理还不够)。

我们可以将Hadoop虚拟化,对外提供一个统一的存储和计算平台。

 

Apache Hadoop作为PaaS构建在虚拟主机上,作为云计算平台。平台即服务 (PaaS)主要关注软件框架或服务,提供在基础设施中进行“云”计算所用的 API。Hadoop 作为基础云计算平台 ,包括了超过 100 个的用户可配置参数 ( 版本 0.19.2) , 而这些参数中很大一部分对所部署的 Hadoop 系统性能具有极大的影响。

 

基于Hadoop,用户可编写处理海量数据的分布式并行程序,并将其运行于由成百上千个结点组成的大规模计算机集群上。Hadoop 已被全球几大IT公司用作其"云计算"环境中的重要基础软件,如:雅虎正在开发基于Hadoop的开源项目Pig, 这是一个专注于海量数据集分析的分布式计算程序。亚马逊公司则基于Hadoop推出了Amazon S3(Amazon Simple Storage Service ),提供可靠,快速,可扩展的网络存储服务。

 

Hadoop中的HDFS+MapReduce是目前一个不错的分布式存储和计算解决方案,面向的是数据集中式的大规模数据处理,但目前的HDFS还不能独立出来做一个云存储系统,还有不少局限性。云计算面临的主要是海量的低数据量服务请求,这些请求的数据都是需要在大量基础数据上经过挖掘处理才得出来的,我觉得Hadoop目前是做这个的。当然Hadoop中的子项目HBase正在逐渐提升性能,不久的将来,用它来做一个高性能的,可扩展的分布式数据库也是不错的,它的不少特性都特别适用于互联网的应用。

随着Hadoop的发展,以后它能做的事将更多。

EA,你是来拉仇恨的吗? Beep:前Google员工打造的流媒体音乐控制器 有利于开发App的5款天气预测API 七问微软新CEO,你准备好了吗? Hadoop虽然强大,但不是万能的 Flappy Bird:萌贱游戏日进斗金的烦恼 IT技术支持:索契冬奥会背后的无名英雄 简单10招,让你的云计算事业锦上添花 微软、谷歌及苹果从哪赚钱? 高大上!5.5寸屏幕的iPhone 6概念机来袭 苹果CEO Tim Cook:我们是一家快速发展的公司 2014年美国大学生数学建模竞赛翻译及建模思路 围观龙虎斗:谷歌GCE vs. 亚马逊AWS,要做9件事 未来编程趋势的12个猜想 命令行永存... IBM发布SmartCloud数据虚拟化服务 嚓嚓嚓嚓:虐心的Flappy Bird今日终于下架 Flappy Bird不再“飞翔”后,还剩下什么? 索尼抛售PC业务:内忧外患导致全面退出 慧正通软技术副总裁:工作流引擎厂商的生存之道 TIOBE 2014年2月编程语言排行榜:VB.NET首次进入TOP 10 斯诺登仅用“网络爬虫”软件获取机密文件 全球开发者:iOS、Android、WP哪个最赚钱? 推荐15款响应式Web设计测试工具 开源世界应该致谢的五家公司 Square、LinkedIn、Google... 高薪利器:四大热门云计算认证推荐 陌生的编程任务,该拿你怎么办? 辟谣:网传Flappy Bird开发者已经自杀 Apple可穿戴倾向健康类,又一个即将被颠覆的行业 传诺基亚月底推Android手机 去除一切谷歌服务 响应式网站与原生移动应用,哪个更适合你的企业? HBuilder:最快的Web开发IDE 失业了,散分!!! 我用update更新互联网上的数据库,总数大约有700多条,在更新过程中程序窗口没响应了,无法最大化,最小化,关闭,但进度条仍然在走,更 水园公务帖[2003.03.11——2003.03.17] 无人回答的帖子,再发一次。up有分 快去微软件聊天室了,开聊了。 from表单中的参数无法传递? 急!急!急!急!急!我安装Visual studio 6.0中文版不能够成功,是什么原因?? 关于Oracle的数据类型问题? 请问在vc中怎样创建Outlook对象 关于Cable Modem,高手指点。 毕业论文怎么作??????????? 新手送分(解决即给分) 天生爱吃冰激凌! 江湖告急!!!!! 整理 FAQ 的时候 为什么 总是出现 贴子内没有这个人的回复!!!:xxxxx 如何删除一段时间的记录?????(兄弟们帮帮我) 关于 Treeview控件,请高手指教。 推荐好书 Borland Delphi 6 中文企业版哪里有免费下载????????????????????500分 ADO中同一个Connection打开的RecordSet个数有没有限制? 我请教一个关于恢复数据库的问题!!!急急 关于特殊字符的问题!!!!!!!!! 要同时以cascade风格显示10个MessageBox对话框,请问有无可能? 如何用windows2000收发传真? yangjf接分 ASP.NET如何调用mschart asp.net中利用owc10生成了一个EXECL文件,但是不知道如何控制字体大小,及单元格的边框 数据库问题,请高手指点。 本人基础较差,刚刚学习c++,请教一个简单问题!!!! 为什么从左侧树状菜单进入论坛显示时 所有的 情形都是2月28时的贴子状况 笔记本安装SQL Server 2000老出问题 CSDN邮件期刊用什么打开呀?? 怎样用java把数据库里读出来的数据按自己定义的格式写入一个word文件 请问高手,PB7窗口属性面版里的窗口颜色下拉列表中的自定义如何使用。我看到有四个custom,怎样设置,多谢。 关于j2ee服务器定位模式(Service Location pattern) 在网页中怎么样直接运行可执行文件? ORALCE中的首选身份证明的问题 Collections 添加元素,怎样指定添加的位置?我想添加到最开始。 关于字符串长度的问题,我想len("ab你好")=3,而不是等于4,即将虑大小写和数字的问题 listview中怎样根据key ,找到这个listItem 12台计算机要接入宽带,怎么实现?马上散分!!!!! 十万火急!ddvboy、daniel007、sweethzp大虾请进,用Epson-LQ1600K打印381*297工资条,使用QuickReport,选A3纸,预览正常,可平打印右 公共IP问题 把图片存进SQL中??? 看过深入浅出mfc的同志进来看一下。 CDC画图一问,在线等待,谢谢! CFileFind为什么列不出网上邻居的共享目录的文件? 散分的如施舍,似炫耀!接分的如祈求,似可怜! LINUX的播放器咋这么傻啊 如何将小数转成整数,请看例子: 请问哪里有处理微积分等数学运算的控件? 物体的位置变化越快,速度变化一定越大 为什么不对 单位受力面积是谁吗意思?新上物理它给了这么个定义,单位受力面积的质量为压强.解释一下到底什么意思,我最迷惑的就是‘单位’是谁吗意思,这一句怎么就可以表示,压强的公式P=F/S,高手解 位于长江上游的大型水利枢纽A小浪底B葛洲坝C三峡D丹江口 物体速度从0变为1和从1变为2,动能改变为什么不一样 如果我站在半空不受地球引力影响的话,在中国一天后会在那里? 长江水能资源丰富,蕴藏量占全国的(),主要集中在()河段,建成了世界最大的()水利枢纽. 我国自然环境不同这是为什么? j假山好做吗 用向量自回归模型之前需要做ARCH异方差检验吗? 一元二次根式应用题:温州市处于东南沿海,夏季常遭受台风袭击,一次,温州市气象局测得台风中心在温州市.温州市处于东南沿海,夏季常遭受台风袭击,一次,温州市气象局测得台风中心在温州 发现电磁感现象的物理学家是: 初一期末试题 还有 你们觉得地理难吗 我学得好困难 六级风服饰怎么样? 奥斯特发现电磁现象的意义有人说奥斯特偶然撞到这个荣幸发现,你怎么看? 田园风光的作文应该怎么写? 二次根式数学应用题:州市处于东南沿海,夏季常遭受台风袭击,一次,温州市气象局测得台风中心在温州市AD州市处于东南沿海,夏季常遭受台风袭击,一次,温州市气象局测得台风中心在温州市AD a、b、c 三个质点都在x轴上做直线运动,它们的位移-时间图象如图所示.下列说法正确的是( )A. 在0-t3时间内,三个质点位移相同B. 在0-t3时间内,质点c的路程比质点b的路程大C.质点a在时 怎样 写田园风光的作文 气象局如何测台风的走向 关于质点做匀速直线运动的位移——时间图象,下列说法正确的是 A.图线代表了质点的运动轨迹 B.图线的长度代表了质点运动的路程 C.图线必定是一条直线,其长度表示质点的位移的大小, 洗衣粉的说明书快 如下图所示:为某一物体的速度时间图像(曲线为四分之一圆弧)则由此可知物体是做 A、曲线运动B匀速直线运动 C、匀变速直线运动 D、变加速直线运动 描写中华儿女报效祖国、为国争光的文章快,书籍也行 洗衣粉能杀死哪些细菌 速度时间图像中,如果图像是一个以原点为原因的四分之一的圆弧,则物体做什么运动,为什么? 谁有描写中华儿女报效祖国.为国争光的文章别太长了 400字就够了 怎样用实验证明细菌被杀死?尽量用实验室的器材,并能说明相关步骤.我的实验是:什么物质可以杀菌。但不知道该物质和细菌接触后是否有杀菌抑菌的效果,所以才提供以上问题。求答案在 马歇尔计划苏联采取什么措施? 描写中华儿女报效祖国,为国争光的文章, 关于我国工业的叙述,正确的是①我国最大的煤炭基地是陕西 ②京津唐地区煤、铁、石油等矿产资源丰富,是我国北方最重要的重工业基地 ③位于黄河流域的钢铁基地有包头、太原等 ④上海 苏联如何应对马歇尔计划 铝合金 哪些铝合金不仅强度高质量轻适合做受力构件 比如做舷梯 我国棉纺织业,今后的技术发展方向是怎样的?对于棉花的品质要求会有怎样的转变? “马歇尔计划”不止是一项经济援助计划,这是因为它? 描写中华儿女报效祖国的文章!马上就写!读后感 西双版纳的人文地理云南西双版纳的气候环境好吗?做火车什么多长时间? 非宁静无以致远的致是什么意思意与日去的意的意思是什么 如图所示为甲乙丙三个物体相对同一位置的位移图像,他们向同一方向开始运动,则在时间t0内,下列说法正确的A他们的平均速度相同B甲的平均速度最大C.它们的平均速率相等D乙和丙的速率相等 初二地理——云南的西双版纳有没有【黑熊】?到底有没有黑熊?我刚做了地理卷子上有一道选择题,老师对过答案【黑熊在林间觅食】是错的,这是为什么? 从自然环境方面考虑,在开发西部地区时应注意什么 如图2所示,A、B、C是三个质点同时同地开始沿直线运动的位移-时间图像,则在时间t2内A.A和B的平均速度相等B.B和C的平均速度相等C.B的速度最大D.它们的平均速度都相等 生态学模型建立的一般步骤以及一般方法是什么? 什么是月全食?为什么会有红色的 (双选)物体A,B的s-t图像(位移时间图像)如图所示,由图可知A、A.B两物体都在做匀加速直线运动B、A物体的运动速度大于B物体的运动速度C、两物体的同时从同一位置出发D、两物体的运动方向 无线电波是干什么的? 电子偏转,求q的表达式.急 是不是光的频率越高就穿透物体能力越强?声呢? 关于无线电波首先无线电波能传送数据吗?就是一些平时靠人工记录的数据,电脑记录然后通过无线电波发送出来.其次如果能传送接收,应该是不收费的吧? 选择最能表现西部地区自然环境的四个 四字词语 γ射线频率那么大,为什么穿透能力强?紫外线频率大,穿透能力弱,因为易发生折射和全反射.红外线频率小,穿透能力强,因为不易折射.不是频率越大越容易发生折射和全反射吗?穿透能力弱吗?为 茂密的树林可以阻挡沙尘暴,可以挡住洪水,还可以. 通常情况下铝扣板的服务有哪些啊 高二导数题.若作直线运动的物体在[t,t+△t]时间内位移的变化量△s=t3(△t)-3t2(△t)2-(△t)3若作直线运动的物体在[t,t+△t]时间内位移的变化量△s=t3(△t)-3t2(△t)2-(△t)3,则该 一个做直线运动的物体,某时刻的速度是10m/s,那么这个物体A.在着一时刻前0.1秒内的位移一定是1米B.从这一时刻起1秒内的位移一定是10米 C.从这一时刻起10秒嫩的位移可能是50米 D,如果从这一时 电磁现象是怎么回事有人看见古代的战场厮杀!有的人在某一个地点:看到过已经死去多年的人!有的人在大海上看到海市渗楼一样的场景,却是古代的楼阁和古代的人!很多人说这是电磁现象, 物理电磁效应 理论推导 BVq是啥E=BLV energy=BLVq F=energy/X=BLVq/X=BLXq/tX=BILBVq是啥 理论是啥 一个作直线运动的物体,某时刻的速度是10m每秒,那么这个物体在这一时刻之前的1s内的位移可能是10m是否正确 铝扣板的作用是什么? 引发尿路感染的细菌有哪些? 下大雨之后为什么会出现彩虹 俄武器出口一半销往亚太 称拟争取非传谷歌更新涂鸦纪念印度女数学家戴维84美国官员表示美政府不会考虑对斯诺登宽埃及法院就谋杀示威者罪名对穆尔西进行湖南3小学生遭绑架杀害续:每名学生家4男子以炉渣充铜渣 诈骗浙江商人63意大利前黑手党组织头目忏悔操控工厂排男子被卡两栋大楼中动弹不得 消防员破埃及法院就谋杀示威者罪名对穆尔西进行叙利亚中部城市发生自杀式炸弹袭击 致美海军核潜艇服役 穿了一身“怪衣服”外交部:CNN同情“10 28”涉男子被卡两栋大楼中动弹不得 消防员破男子加油站点烟引燃汽油 妻子瞬间变“澳洲癌症死亡率调查:农村地区高于城市澳大利亚人口出生率回升 总量破230德国惊现1.8吨二战炸弹 逾2万人撤俄罗斯将对中国过境游客实行72小时免叙利亚中部城市发生自杀式炸弹袭击 致俄将对20国过境游客实行72小时免签孙杨无证驾驶被杭州警方处行政拘留7天股民注意:百试不爽的九大实战定律!值网贷急转型 “去P2P”综合理财成新2016A股投资不可不知的10个可能5日主力资金大量流出 下周这些热门股青葱官微突然失声 背后隐藏着什么秘密女牙医看的都是气质,小伙子遇到就娶了“刷脸”5秒即可办信用卡 你试过吗?期房价格便宜吗 现房理财收益更高800元收购一张信用卡,你会卖吗?他炒股15年,十句话让他从输家变成赢凛冬持续 普京警告俄罗斯人要\"勒紧3个股安心持有到春节,未来股价上升空应对美联储加息:忙换港币美元真的明智用这些家庭教育法,孩子成绩能提高关于美联储加息 中国股民必须知道的三纯干货:丰田混动和比亚迪混动有什么区携车网章正超:烧钱的O2O更需要精细证监会叠加利好!这些板块即将翻倍涨停孕期妈妈们早上吃什么东西好?清新美少女系列人像摄影无优惠,不过年 魅蓝metal特惠9
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘