说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

开源项目Marathon:让你的数据中心像谷歌一样运行

HTML文档下载 WORD文档下载 PDF文档下载
Marathon是一个全新的框架,它将Mesos变成一个更有活力的工具,进而可以在单一的集群上运行不同的应用程序。Marathon出自于一家初创公司Mesosphere,该公司由两位前Airbnb的工程师创立。

最近,有一个叫 Marathon的项目进行了开源,它的设计宗旨就是让用户在同一组服务器之上,更智能地运行多种应用程序和服务——Hadoop、Storm,甚至一个标准的Web应用。Marathon出自于一家初创公司 Mesosphere之手,这家公司主要就是想构建一个数据中心操作系统,不过这个系统是运行在 Mesos集群管理软件之上,这也是 Twitter基础设施的重要组成部分。该公司的联合创始人是前Airbnb的工程师Florian Leibert(也曾在Twitter工作过)和Tobias Knaup。

Marathon只不过占据了Mesosphere的一小部分,但是Leibert表示它很重要且有着非常大的吸引力。就目前而言,云计算和大数据的发展趋势已经从巩固阶段跳转到问题的解决阶段,未来可能需要多个分布式系统去处理那些特定的任务。

在阐述Marathon之前,我们应该了解一下它的发展历程(点击查看大图):


网格计算将何去何从?

其实早在“云计算”的概念泛滥之前,像“网格计算”和“集群计算”这些专业术语与“请求式”联系的更紧密一些。思路也很简单:很多组织机构(比如银行和研究所)都有着大量的服务器,他们希望尽可能高效地利用这些机器,那么通常也意味着这些服务器会形成一个资源池(当然也可以称之为“云”),进而确保每一个应用程序或者任务都能得到它所需要的资源,而且还是按需分配。不再像以往的模式——为每个应用程序配置一个小集群,然后使用一个大集群托管所有的东西,这也是Platform Computing( 在2012年3月被 IBM收购)几年前对其私有云的定位。

然而,这一概念从未真正进入到主流企业之中,因为这些企业在很大程度上会选择虚拟服务器,而且倾向于考虑亚马逊EC2模式的虚拟服务器来配置自家的私有云。不过随着分布式计算的发展,尤其是 Hadoop等云平台的出现,大大改变了互联网企业的IT环境,那些通用的“网格计算”或者“集群计算”的理念再次得到了回归。

不可否认,其中有一部分原因在于,管理不同的IT环境已经变得十分的复杂:这里运行的是分布式的Web应用,那边还有一个Hadoop集群,甚至某个角落的服务器上还跑着Storm或者Spark,冷不防的你就有了3个集群,而且每一个都需要维护。当然这些复杂性的问题不会出现在Google、Facebook或者Twitter的管理者面前,毕竟他们玩的就是 “效率和自动化”的游戏。

Mesos的架构

这些互联网“巨头”都有自己的软件来处理越来越多的工作负载:谷歌使用的是Borg(尽管该公司已经发表了一个尚未部署的Omega系统的研究论文);Twitter使用的就是Mesos;Facebook的系统称之为Corona(主要用于 Hadoop的工作负载设计,但该公司希望扩展到多种框架上)。

连线的Cade Metz撰写了一篇博文,其中详细介绍了Mesos、Borg和Omega,读者可以 点击阅读。当然,如果和硬件关联不上,那么类似 Mesos这样的软件毫无价值,即使很多大公司都很喜欢这个系统。Airbnb是一个Mesos的忠实用户,他们使用Mesos来管理完全运行在AWS上的工作负载。

为什么Marathon很重要?

Mesos仅仅是适用于集群的管理,这意味着它可以隔离不同的任务负载。但是仍然需要额外的工具来帮助工程师查看不同系统上运行的工作负载。不然的话,如果某些工作负载消耗了所有资源,那么重要的工作负载可能就难以及时地获得资源。

Twitter也构建了一个工具叫Aurora(也在计划进行开源)来处理这个问题,包括Airbnb也有一个名为 Chronos的工具。Mesosphere的创始人Leibert 和Knaup在Airbnb的时候就负责构建Chronos这一工具。Marathon是一个“元架构”,它可以让Mesos和Chronos变得更好用,随着Mesos一起运行,并且在运行工作负载的同时提供了更高的可用性,让用户可以添加资源以及自动的故障转移。

不像Chronos在Mesos之上调度作业,Marathon让Chronos在Mesos的内部进行运行,通过这种方式,Chronos也变成Marathon所管理的一项工作。Chronos的优势在于处理和调度Hadoop作业和其他短期的任务,而Marathon则可以直接管理Chronos和那些长期运行的Web服务。Marathon甚至可以运行多个实例。


A cluster running three distinct applications


The same cluster, after one node died

从更广的层面而言,像Marathon这样的项目将来可能会在SDN(软件定义的网络)、存储,甚至是数据中心有更大的作为。Mesosphere公司也正试图通过软件管理的商用硬件来取代那些昂贵的硬件设施。(文/王鹏,审校/仲浩) 

原文链接:New open source tech Marathon wants to make your data center run like Google’s

XP寿终大限将近 微软再次呼吁用户尽早“分手” Dropbox CTO:离开办公室就焦虑的技术宅男 看雪学院“走进企业看安全”活动百度站落幕 九大设计技巧+作品赏析 激发你的创作灵感! 排名前十CEO的工资条,你怎么看? 麻省理工TR35之IT界年轻有为创新者(下) Storm的“翻版”:LinkedIn开源实时数据处理系统Samza 呼吸监测耳机:一个在“呼吸”上做文章的可穿戴设备 谷歌7年210亿美元的基础设施建设,及可供17万家庭使用的风电 Touch ID很安全?德国黑客宣布已绕过苹果指纹识别系统 纽约警方鼓励用户升级iOS 7 你想好了吗? Android开发者不可或缺的四大工具 Mozilla开源TogetherJS:让网站拥有实时协作功能 可穿戴技术专家Jawbone UP向所有开发者开放API 18款在线代码片段测试工具 Gartner咨询公司研究副总裁彼得·福斯特布鲁克:互联网安全新兴威胁与挑战 美国智库战略与国际研究中心(CSIS)詹姆斯·刘易斯:网络安全神话、传说与现实 云安全联盟中国分会理事赵粮:建设可信的云生态环境 Web前端优化最佳实践及工具集锦 2013中国互联网安全大会(ISC)9月23日隆重举行 科技界最聪明的人:Facebook首任CTO激情燃烧的岁月 继乔布斯时间胶囊出土 其儿时的家或成历史遗迹 微软向7亿Windows 7用户发布Internet Explorer 11预览版 乐视腾讯深度合作 超级电视26日易迅网首发 开源jQuery插件推荐 帮你快速构建单页网站 实时数据追踪?Salutron发布LifeTrak API Infoworld Bossie Awards:最好的开源App锦集 除了乔布斯的鼠标 值得装入时间胶囊的十大科技产品 2013中国互联网安全大会:云环境带来的安全隐患和机遇 2013中国互联网安全大会:软件安全新挑战 专访Line大中华区总裁:即使卖萌,也能深入人心 关于二级联动下拉列表,请教高手!! 如何获取网页中的数据,请教各位大侠??? VB编程如何实现菜单及打印等功能 ehlib 2.0表格为什么导出到Excel中是空表的? VBA操作excel 请问什么函数可以实现 类似于用note打开一个文本文件 怎样把查询结果写到缓冲里 请教一个delphi 安装问题 请问,你们都用现成的数据库还是自己定义?(大家讨论讨论) 程序员的未来! 谁有《将标准C++视为一个新语言》一文? 求助 为什么装上Framework以后不能正确运行.ASPX文件? 要想学好vb.net,首先要学好什么???? 请各位帮忙:apache 支持asp 吗? 麻烦大家帮我看看这个历遍 尴尬中..... 2000系统中 这个进程占了CPU 99% 且不能结束!!!是什么进程??? 急!!!!!!!!!!!在线等待 抱错:在获得新的之前,必须释放所有ROW句柄 如何使用ASP进行文件上传代码的编写? 哪里能找到好一点版本的江湖下载啊? 小弟初学汇编,问大家一个基础的问题,请指教! 狂风系列问题:在ASP.NET中怎样写这样的SQL语句? Ehlib或其他Grid控件, 如何实现点击表头排序 ?要求不能重新重新执行SQL语句 请大家试试,google是不是不能用了??郁闷ing.... 怎么google打不开了? 这段代码出什么问题了?大家帮看一看。 如何察看源代码? 大家好啊!我有一个非常……的问题!是一个关于主机板的CPU温度测试问题! 怎么老是游人不停的ping我的80端口 Windows位图的数据结构 我为用户做了一个员工输入模块,但客户想把excel里面的表复制进我的员工输入摸块里面去 一个小问题。急 创建启动等待窗口,工程文件要添加哪些内容 只要有人可以把狗屎说成是精神 关于windows和Linux的问题 如何调用其他事件的过程?? 如何查询员工表中所有本月所生职工 哪位老兄用过intel的jpg库? 请教一下 viewstate在 Not (IsPostBack) 情况下是读不出的? 如何用VB打包控件,以便ASP自动安装? 请问怎样实现SQL数据库再本机上的备份与恢复?救急!!! 请问C++中结构体(struct)和联合体(union)有什么区别??(内空) 请教:W2K下目录的安全权限问题,大侠帮帮看看(急!) 刚刚那个问题,已经给分,现在再来个问题,看有没高手能回答我 急求:如何在VB中用代码实现水晶报表的使用 大家进来讨论下JBuilder7和IBM AGE呀…… 如何使用settimer()函数?? 请问这样的.java算不算是javabean? 我想对一个数据进行如下操作:先判断该表内的数额是否为空,如不为空要进行数据的删除,否则进行数据的插入,各位给个意见 什么是水景观 剑神,鬼屎,拼音怎么打 写出三个运用了比喻修辞手法的成语 景观喷泉池中的水本是清的为何循环后会变浑浊,如何处理? 《春》一文中写春风图中表示视觉、听觉、嗅觉、触觉四种感觉的词语.是春风图 词语 不要搞错了! 身边的自然科学知识 以镁,铝,为电极用导线连接同时插入NaoH溶液,哪个是正极?哪个负极?电极反应方程式?电子流向?哪个上面有气泡?还有为什么? 异步电机试验中,发电机空载特性是什么,短路特性呢? 自然科学知识——太阳关于太阳的知识越多越好 将镁片和铝片平行插入到NaOH溶液中,用导线连接成闭合回路,该装置在工作时下列说法正确的是?A.铝是电池负极,开始工作时溶液中会立即有白色沉淀生成B.该装置开始工作时,铝片表面的氧化膜 怎样去除水中的铁离子?急 自来水中含有大量的铁离子 想把它去除还不能影响水质 怎么样才能行呢?不懂的请不要瞎回答 我想你们有急事的时候也不愿意别人这样吧可能我刚刚也没有说清楚 帮我写一首爱意或思念的古诗词,里面要有《谈梦怡我爱你》谢谢…中秋节了,我送给我喜欢的人 自行车中包含的全部物理原理有?全部呀.带视频更好! 放大镜,幻灯片,照相机,汽车观后镜,手电筒,医用额镜的光学元件分别是什么注意看清楚题目,不要答非所问,如果在3风中之内答的对的话有20个悬赏分哦,急 表达深爱一个人的古诗跪求表达爱意的古诗词 ```里面要带淋淋我爱你` 基本尺寸为27.4按IT12级加工,其公差为±0.21? 显微镜的物镜所成的像相当于下列那种光学元件的成像 A照相机 B投影仪 C放大镜 D近视镜 物理中 幻灯机,照相机,放大镜成像的特点从正立倒立,实像虚像,放大缩小,在不同焦距内的像的大小来说 怎样检查高空大气压 为什么天气预报差距好大说有雨啊!可是还有太阳啊? 怎么辨别吊车是几吨的我是怕吊车公司乱印吨数 要6吨的 怕他用5吨的吊车印上6吨 有什么地方鉴别就好了 大小为20N、30N和40N的三个力的合力大小可能为( ) A.10N B.40N C.70N D.100N大小为20N、30N和40N的三个力的合力大小可能为( )A.10N B.40N C.70N D.100N 为什么是ABC? 天气预报的温度跟实际温度相差怎么会这么大?我每天都在看天气预报,例子 报的是31度,但是实际温度38度了,为什么会有这种情况? 塔吊一般事故责任判定往窗户里送灰时,小车往前砸的.他手可以碰到灰斗.应该算谁的责任? 两个共力点,其中一个力的大小是40N,另一个力的大小未知,但他们的合力大小为100N,则另一未知力大小为不定项选择----A.20N B.40N C.80N D.150N 且要理由 妈妈的爱刘丙钧的诗 植物细胞膜对无机盐离子的吸收具有 硅含量是怎么影响锅炉水的水质的 妈妈的爱作文 植物吸收矿物质离子速率与本身矿物质离子浓度有关吗如题 如果放大镜对准望远镜和显微镜的目镜会怎样?是不是会更模糊?就是一个放大镜对准普通望远镜和天文望远镜以及显微镜看. 在求戴维南等效电路时,要测短路电流,电路应满足什么条件?在戴维南定理实验中,可否做负载短路实验? 绿色植物吸收水分的主要器官是: 两个共点力大小为100N,夹角为60度求其合力的大小和方向 在求戴维南或诺顿等效电路时,作短路试验,可否直接作负载短路实验 《白兔和月亮》和《落难的王子》的作者是(),文章体裁是 两个大小都是 5N,夹角为 120度 的共点力,其合力大小和方向为 ()A.10N,方向与其中一个力夹角为 60度B.5N,方向与其中一个力夹角为 60度C.5N,方向在两力夹角的角平分线上D.10N,方向无法确定希望有 在求戴维宁或诺顿等效电路时,作短路试验,测短路电流的条件是什么?在本实验中可否直接将负载短路? 文章 白兔和月亮里的白兔赏月的心态前后有啥不同?不同的原因是啥? 显微镜的镜头的相关知识(目镜.物镜) 关于电路求诺顿等效电路的短路电流问题 《虞美人》里的哪句话抒发了作者对故国深深的思念之情 两个大小相等的共点力 当它们之间的夹角为120°时 合力为F. 它们夹角为90°时 合力大小是多少要详细点的解析 麻烦了 拜托拜托 我弄不懂. 梦绕魂牵是什么意思 《虞美人》中,那句话抒发了此人对故国深深的思念之情不是最后一句. 正弦交流电路参数的测量实验误差来源 我原创个词,魂絮梦绕,我以为这是已经有的词语呢,一查没有,难道还弄个原创不成,我挺疑惑,大伙给我查证一下. 李煜的《虞美人》这首词的题目虞美人是什么意思? 两个大小相等的共点力F1,F2,当他们之间的夹角为90度时合力的大小为20N,则当他们之间的夹角为120°时合力大小为多少?要详细解答过程 魂什么梦绕 1.“往事知多少”中的“往事”指什么?2.哪句词抒发了作者对故国深深的思念?1.“往事知多少”中的“往事”指什么?2.哪句词抒发了作者对故国深深的思念?3.读完这首诗,想一想与我们学过的 电厂水处理为什么要进行二氧化硅的测定?有什么作用?比如给水,过热,高热都需要测定.但是炉水去不测定二氧化硅只有在酸性条件下也钙反应.在锅炉上水都是PH>7 有梦绕这个词吗? 《虞美人》里的“往事知多少”的“往事”指什么 在照相机镜头、投影仪镜头、放大镜显微镜望远镜中成放大虚象的是什么 把纸板的半面向前折或向后折,还能看见反射光线吗? 发现:------------------ 说明:------------------ 请问如果纸板与平面镜不垂直,入射光沿纸板照射后将会出现的现象是?我知道反射光线不在纸板上,那是不是说明没有反射光线?如果有,那反射光线在哪? 如题. 自然科学知识适合做小报(170到220字*2或350到440字*1)更改通知:适合做小报(170到220字*1,350到440字不行) 如图,在一束平行光线中插入一张对边平行的纸板,如果光线与纸板右下方所成的角∠1是72°15′,那么光线与纸板左上方形成的∠2是多少?为什么?过程
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘