说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

开源项目Marathon:让你的数据中心像谷歌一样运行

HTML文档下载 WORD文档下载 PDF文档下载
Marathon是一个全新的框架,它将Mesos变成一个更有活力的工具,进而可以在单一的集群上运行不同的应用程序。Marathon出自于一家初创公司Mesosphere,该公司由两位前Airbnb的工程师创立。

最近,有一个叫 Marathon的项目进行了开源,它的设计宗旨就是让用户在同一组服务器之上,更智能地运行多种应用程序和服务——Hadoop、Storm,甚至一个标准的Web应用。Marathon出自于一家初创公司 Mesosphere之手,这家公司主要就是想构建一个数据中心操作系统,不过这个系统是运行在 Mesos集群管理软件之上,这也是 Twitter基础设施的重要组成部分。该公司的联合创始人是前Airbnb的工程师Florian Leibert(也曾在Twitter工作过)和Tobias Knaup。

Marathon只不过占据了Mesosphere的一小部分,但是Leibert表示它很重要且有着非常大的吸引力。就目前而言,云计算和大数据的发展趋势已经从巩固阶段跳转到问题的解决阶段,未来可能需要多个分布式系统去处理那些特定的任务。

在阐述Marathon之前,我们应该了解一下它的发展历程(点击查看大图):


网格计算将何去何从?

其实早在“云计算”的概念泛滥之前,像“网格计算”和“集群计算”这些专业术语与“请求式”联系的更紧密一些。思路也很简单:很多组织机构(比如银行和研究所)都有着大量的服务器,他们希望尽可能高效地利用这些机器,那么通常也意味着这些服务器会形成一个资源池(当然也可以称之为“云”),进而确保每一个应用程序或者任务都能得到它所需要的资源,而且还是按需分配。不再像以往的模式——为每个应用程序配置一个小集群,然后使用一个大集群托管所有的东西,这也是Platform Computing( 在2012年3月被 IBM收购)几年前对其私有云的定位。

然而,这一概念从未真正进入到主流企业之中,因为这些企业在很大程度上会选择虚拟服务器,而且倾向于考虑亚马逊EC2模式的虚拟服务器来配置自家的私有云。不过随着分布式计算的发展,尤其是 Hadoop等云平台的出现,大大改变了互联网企业的IT环境,那些通用的“网格计算”或者“集群计算”的理念再次得到了回归。

不可否认,其中有一部分原因在于,管理不同的IT环境已经变得十分的复杂:这里运行的是分布式的Web应用,那边还有一个Hadoop集群,甚至某个角落的服务器上还跑着Storm或者Spark,冷不防的你就有了3个集群,而且每一个都需要维护。当然这些复杂性的问题不会出现在Google、Facebook或者Twitter的管理者面前,毕竟他们玩的就是 “效率和自动化”的游戏。

Mesos的架构

这些互联网“巨头”都有自己的软件来处理越来越多的工作负载:谷歌使用的是Borg(尽管该公司已经发表了一个尚未部署的Omega系统的研究论文);Twitter使用的就是Mesos;Facebook的系统称之为Corona(主要用于 Hadoop的工作负载设计,但该公司希望扩展到多种框架上)。

连线的Cade Metz撰写了一篇博文,其中详细介绍了Mesos、Borg和Omega,读者可以 点击阅读。当然,如果和硬件关联不上,那么类似 Mesos这样的软件毫无价值,即使很多大公司都很喜欢这个系统。Airbnb是一个Mesos的忠实用户,他们使用Mesos来管理完全运行在AWS上的工作负载。

为什么Marathon很重要?

Mesos仅仅是适用于集群的管理,这意味着它可以隔离不同的任务负载。但是仍然需要额外的工具来帮助工程师查看不同系统上运行的工作负载。不然的话,如果某些工作负载消耗了所有资源,那么重要的工作负载可能就难以及时地获得资源。

Twitter也构建了一个工具叫Aurora(也在计划进行开源)来处理这个问题,包括Airbnb也有一个名为 Chronos的工具。Mesosphere的创始人Leibert 和Knaup在Airbnb的时候就负责构建Chronos这一工具。Marathon是一个“元架构”,它可以让Mesos和Chronos变得更好用,随着Mesos一起运行,并且在运行工作负载的同时提供了更高的可用性,让用户可以添加资源以及自动的故障转移。

不像Chronos在Mesos之上调度作业,Marathon让Chronos在Mesos的内部进行运行,通过这种方式,Chronos也变成Marathon所管理的一项工作。Chronos的优势在于处理和调度Hadoop作业和其他短期的任务,而Marathon则可以直接管理Chronos和那些长期运行的Web服务。Marathon甚至可以运行多个实例。


A cluster running three distinct applications


The same cluster, after one node died

从更广的层面而言,像Marathon这样的项目将来可能会在SDN(软件定义的网络)、存储,甚至是数据中心有更大的作为。Mesosphere公司也正试图通过软件管理的商用硬件来取代那些昂贵的硬件设施。(文/王鹏,审校/仲浩) 

原文链接:New open source tech Marathon wants to make your data center run like Google’s

IBM研究人员:仅200条微博 就可构建人格剖析图 MDCC重磅讲师:Pebble CEO Eric Migicovsky 历届中国大数据技术大会PPT精粹(一) 通讯也“跨界”:几行代码,API+SDK,用PaaS实现移动互联 MIT风景线:丝绸雕塑、VR代码、机器人、智能按钮及保时捷 深度学习新算法,完成字里行间的情绪识别 如何在开发项目里和难缠的程序员合作? 移动周报:七大无需编程的DIY开发工具 手把手教学,用jQuery Mobile创建Web App 别惊讶,Android绿色机器人标志灵感来自于卫生间标识 Google TV更名为Android TV 智能电视的路不好走 CTO如何避免决策失控(四)——通盘考虑 做到技术业务不分家 重塑世界!历届MDCC重磅嘉宾演讲大回顾 从贝佐斯的14句言论看商业成功之道 5大宠物可穿戴式设备 Google CIO Ben Fried谈内部工具文化 【开源专访】Fourinone创始人彭渊:打造多合一的分布式并行计算框架 API优先架构或者胖瘦服务器之争 Windows Phone 8迎来Update3更新:支持更大屏幕 更多磁贴 AMD院士站台 异构计算与OpenCL编程师资培训首站清华开讲 Twitter、Square开创者Jack Dorsey的奇趣人生 利用CSS、JavaScript及Ajax实现图片预加载的三大方法 经典电影里的数学 15亿美元!软银联合GungHo收购手游巨头Supercell Oracle“炮轰”开源:称其永远无法在军事领域取得一席之地 零客户端:下一代计算分布模型 苹果聘奢侈品公司巴宝莉CEO Angela Ahrendts为零售主管 看看你会几个?9大最火的移动开发技能 为了进一步拴住用户:传亚马逊与HTC合作开发智能手机 三年?又三年!今年MDCC2013大不相同! 杨远骋:聚美优品与百度云推送的故事 如果结束会话 如何送分呀? 谁有这个文档的中文资料,谢谢,高分奉送!!! 急!!!请问系统恢复盘的问题! 自定义数据类型如何定义?(数组) dw疑问 请问一下,李维的哪几本书比较好,我有VC基础,想学学DELPHI,望各位给个建议谢谢! jbuild好用吗? 怎样将一个单值的String类型赋给char类型的变量? 哪位有实现(首页 上一页 下一页 末页)的例子? 对话框?求救? 高手看过来,超难问题,高分求解!!!!!分不够,再加~!!! 关于VB中DataGrid控件挂ADO的问题,我想程序中运行时,改变ADO的RecordSoure,并希望DataGrid显示时动态更新? 怎样读懂msdn中的英语 最近我们将用C语言开发一个接口快帮我哦~~~~~~~~~~ 关于socket.setSoTimeout()的问题,请进,请进…… 一个小问题帮我看看该怎样写!!! 百分询问一个问题,哪里有JBUILDER的电子图书下载? 拷贝内存时出现的问题! 拼音加加输入法是我用国的的最好的输入法,可是遇到了一点问题 我要支持MP3的JAVA JMF包文件(FOR POCKET PC),谁有阿???50分 为什么GETDATE()在自定义函数中不能使用 请问EXEC()语句是 执行完后返回? 未来在哪里?---献给大多数人 那里有使用Analysis Service进行数据挖掘方面的例子! 关于程序的输出 在数据窗口中RETRIEVE的参数是DATETIME型如何写这个参数//.. 输入法字体修改问题 我问一个简单的问题 关于SQL语句的简单问题 ???????????????????????????、、、 为什么在DBGRID中用INSERT命令输入记录后记录会追加到数据集的最后? 关于控件的问题! 我用ADSL上网,有一固定IP,我能在我的服务器上发布主页吗?????????? 请问在一个机器上是否可以同时装Delphi 5,和Delphi6,不会有什么问题吧? 如何做一个自动检测插件并安装的页面? 一个小问题?在线等。。。 SYSINT什么类型! RH 7.0下,打开一个文件如果是乱码的话,关闭以后,整个系统都是乱码了;除非是logout 100分求JBUILDER的电子图书下载地址学习用 如何做一个自动检测插件并安装的页面? 如何在WINDOWS NT中得知是否管理员登陆? CFile能处理多大的文件?(二进制格式) 关于 create table 巨难SQL语句请教。。。。。 哪有together下载?只有10分了 请问谁有VB写的五子棋源程序?急 非常多的CheckBox 放在容器GroupBox里,如何最佳确定选择的项目?? 谁我jsp学习资料,我们公司一个mm要用多谢了 为啥没有tcp的命名空间? 未来在哪里?--献给大多数人 怎样读取非文本文件,up有分 莫文蔚《太极侠》展英姿 “苦追”基努孙茜复古大片性感飘逸 融汇中西之美大S带全家捧场老公餐厅亲吻徐妈 小S林俊杰香港宣传新专辑 否认与周觅“行实拍西湖边文艺清新的妹纸张雨绮“双喜临门” 荣膺大影节最受欢“白布女”广场举牌讨孩子 称嫁富二代蔡少芬当街哺乳捱老公骂 亲吻长女十分揭王石女友田朴珺神秘生活:身价暴涨 《中国合伙人》5月17日公映 李小璐重庆最袖珍婴儿重610克 脑袋仅鹅蛋王菲6岁爱女李嫣就读英国贵族学校 与李湘首次主持快乐大本营罕见照熊黛林“天王嫂不易做” 郭富城牵母庆韩国职棒宝贝 长腿热舞大秀性感52岁刘德华自曝将追生第二胎 透露为《合伙人》腾讯首映礼 黄晓明爆对赵薇林忆莲容祖儿宋庆琳 盘点王杰演唱会上《乱世三义》亮点多 张晞临暗语对谈黄《传奇奶奶》剧照 罗晋耍宝卖萌秀功夫《致青春》破5亿 黄小蕾力挺赵薇注意沈阳82岁老人义务补路25年 被查胃茂名黑社会案重审:老大罪名减少三个 法国军机开始空袭伊拉克“伊斯兰国”目广州取消午休收费泰国总理巴育为“穿比基尼不安全”言论哈 哈陶虹:早就看好徐峥 跟他走一辈子“整惨”演员成电影宣传神器?潮设计积极履行好司法审判职能千名市民齐看好人模范故事人类为何越来越易过敏?五大行获5000亿元SLF老大减刑两人无罪世纪末人类住地球轨道?初平叱石仙踪在银发族快餐店攒“朋友圈”看“第一金”花落谁家8月货币市场利率环比下降省工艺美术学会昨日成立要艺术殿堂?还是欢乐剧场?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘