说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

开源项目Marathon:让你的数据中心像谷歌一样运行

HTML文档下载 WORD文档下载 PDF文档下载
Marathon是一个全新的框架,它将Mesos变成一个更有活力的工具,进而可以在单一的集群上运行不同的应用程序。Marathon出自于一家初创公司Mesosphere,该公司由两位前Airbnb的工程师创立。

最近,有一个叫 Marathon的项目进行了开源,它的设计宗旨就是让用户在同一组服务器之上,更智能地运行多种应用程序和服务——Hadoop、Storm,甚至一个标准的Web应用。Marathon出自于一家初创公司 Mesosphere之手,这家公司主要就是想构建一个数据中心操作系统,不过这个系统是运行在 Mesos集群管理软件之上,这也是 Twitter基础设施的重要组成部分。该公司的联合创始人是前Airbnb的工程师Florian Leibert(也曾在Twitter工作过)和Tobias Knaup。

Marathon只不过占据了Mesosphere的一小部分,但是Leibert表示它很重要且有着非常大的吸引力。就目前而言,云计算和大数据的发展趋势已经从巩固阶段跳转到问题的解决阶段,未来可能需要多个分布式系统去处理那些特定的任务。

在阐述Marathon之前,我们应该了解一下它的发展历程(点击查看大图):


网格计算将何去何从?

其实早在“云计算”的概念泛滥之前,像“网格计算”和“集群计算”这些专业术语与“请求式”联系的更紧密一些。思路也很简单:很多组织机构(比如银行和研究所)都有着大量的服务器,他们希望尽可能高效地利用这些机器,那么通常也意味着这些服务器会形成一个资源池(当然也可以称之为“云”),进而确保每一个应用程序或者任务都能得到它所需要的资源,而且还是按需分配。不再像以往的模式——为每个应用程序配置一个小集群,然后使用一个大集群托管所有的东西,这也是Platform Computing( 在2012年3月被 IBM收购)几年前对其私有云的定位。

然而,这一概念从未真正进入到主流企业之中,因为这些企业在很大程度上会选择虚拟服务器,而且倾向于考虑亚马逊EC2模式的虚拟服务器来配置自家的私有云。不过随着分布式计算的发展,尤其是 Hadoop等云平台的出现,大大改变了互联网企业的IT环境,那些通用的“网格计算”或者“集群计算”的理念再次得到了回归。

不可否认,其中有一部分原因在于,管理不同的IT环境已经变得十分的复杂:这里运行的是分布式的Web应用,那边还有一个Hadoop集群,甚至某个角落的服务器上还跑着Storm或者Spark,冷不防的你就有了3个集群,而且每一个都需要维护。当然这些复杂性的问题不会出现在Google、Facebook或者Twitter的管理者面前,毕竟他们玩的就是 “效率和自动化”的游戏。

Mesos的架构

这些互联网“巨头”都有自己的软件来处理越来越多的工作负载:谷歌使用的是Borg(尽管该公司已经发表了一个尚未部署的Omega系统的研究论文);Twitter使用的就是Mesos;Facebook的系统称之为Corona(主要用于 Hadoop的工作负载设计,但该公司希望扩展到多种框架上)。

连线的Cade Metz撰写了一篇博文,其中详细介绍了Mesos、Borg和Omega,读者可以 点击阅读。当然,如果和硬件关联不上,那么类似 Mesos这样的软件毫无价值,即使很多大公司都很喜欢这个系统。Airbnb是一个Mesos的忠实用户,他们使用Mesos来管理完全运行在AWS上的工作负载。

为什么Marathon很重要?

Mesos仅仅是适用于集群的管理,这意味着它可以隔离不同的任务负载。但是仍然需要额外的工具来帮助工程师查看不同系统上运行的工作负载。不然的话,如果某些工作负载消耗了所有资源,那么重要的工作负载可能就难以及时地获得资源。

Twitter也构建了一个工具叫Aurora(也在计划进行开源)来处理这个问题,包括Airbnb也有一个名为 Chronos的工具。Mesosphere的创始人Leibert 和Knaup在Airbnb的时候就负责构建Chronos这一工具。Marathon是一个“元架构”,它可以让Mesos和Chronos变得更好用,随着Mesos一起运行,并且在运行工作负载的同时提供了更高的可用性,让用户可以添加资源以及自动的故障转移。

不像Chronos在Mesos之上调度作业,Marathon让Chronos在Mesos的内部进行运行,通过这种方式,Chronos也变成Marathon所管理的一项工作。Chronos的优势在于处理和调度Hadoop作业和其他短期的任务,而Marathon则可以直接管理Chronos和那些长期运行的Web服务。Marathon甚至可以运行多个实例。


A cluster running three distinct applications


The same cluster, after one node died

从更广的层面而言,像Marathon这样的项目将来可能会在SDN(软件定义的网络)、存储,甚至是数据中心有更大的作为。Mesosphere公司也正试图通过软件管理的商用硬件来取代那些昂贵的硬件设施。(文/王鹏,审校/仲浩) 

原文链接:New open source tech Marathon wants to make your data center run like Google’s

从友盟微社区看Android第三方SDK架构实践 无创客 不青春!2015全国大学生移动应用创新大赛在京启动 响应式Web开发,必懂媒体查询(系统理论+实战教程) 实例剖析:如何用Foundation For Apps创建完美Web应用 【舌尖上的CTO】兄弟肉夹馍的开发运维一体化 开创未来的关键:是什么造就了硅谷?(下) 安全漏洞影响2.5万iOS应用?AFNetworking维护者发布回应 《近匠》专访AbleCloud李海磊:IoT平台求变 腾讯、京东、微软等设计专家齐聚,探讨移动应用体验创新设计 TIOBE 2015年5月编程语言排行榜:微软系语言份额上升 《Hadoop核心技术》作者翟周伟 :我与Hadoop的不解之缘 云集百位核心专家 中国云计算大会演讲议题公布(表) 细品这杯香浓的咖啡——阿里中间件高级专家沈询的Java之旅 超图研究院院长李绍俊:创新2.0时代的平台软件研发体系 优麒麟(Ubuntu Kylin)15.04发布派对在天津成功举行 【CTO讲堂】以API为核心的移动应用云大发展时代 游戏设计的迭代误用:从半成品到概念修正 成功的社区在于拥抱变化——知乎创始人周源专访 优化UITableViewCell高度计算的那些事 国外iOS大牛:开发Apple Watch应用我犯过的错 云上Java System Profiling与Debugging——蚂蚁金服观察与实践 搜狗商业平台Java技术实践 Java在电信软件领域的技术实战 关于Java框架Vert.x的几点思考 Java在游戏服务器开发中的应用 Java框架研发思考 那些年,Java程序员用过的开发工具 Java内存模型的历史变迁 Java 8与Apache Ignite Java开发与技术挑战——关于技术的技术思考 专访唯品会架构师肖桦:做编码的架构师 请问C++有哪几个方向可以发展? 答谢帖,欢迎 anux(阿牛克斯),firetoucher(风焱) , 666333(刘六) , SmallHand(火龍) 刘海洋伤熊被判免予刑事处罚6月取得清华毕业证 sos,网络版的vb怎么搞啊,大家帮帮忙啊,。。。sos 请问C++有哪几个方向可以发展? 如何用ASP像读取数据库表一样读取EXCEL表内容? 答谢帖,欢迎 anux(阿牛克斯),firetoucher(风焱) , 666333(刘六) , SmallHand(火龍) 请问C++有哪几个方向可以发展? 高分急求高手:Sybase查询的汉字问题 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 帮我译vb为c# VB.net如何在进程之间通讯,我用SendMessage发WM_COPYDATA给目标窗口,可是总是不行,请高手帮忙! 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 关于文件操作的那几个函数问题 如何初始化const char * p[5]数据成员? 如何安装WINME???急!,在线等!!! C文件读写(急,来者有分) ---控件--里连接---数据库---都有什么方法?SQL2K 正在搜索 请稍后 是怎么做的? 为什么这样做? 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 再问,关于中文字符.急!!!! OleDbDataReader这个东西是不是不可以同时打开两个? 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 日期的计算问题 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 用jsp编打印图片的问题(很急) 谁第一个来,谁得分 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 今天生日,除了MM没人祝我生日快乐,只好自已祝福自已了(散分) 如何将表单提交到数据库中? 在线等!!!!!!!!!!!! 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 如何在屏幕任意位置显示移动的文字 收到了数字情书,我嫩是解不开。。帮帮我吧,不好回了。 如何让winamp慢速播放mp3? 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 在服务器端的DLL文件中如果获取网站在服务器的磁盘上的路径? 在水晶报表中如何控制所显示记录的条数! 一个超级奇怪的iis问题??????? 一路同行?我开始学习C#, 我是一从为接触过单板的人,学的是软件。现在我想提一个问题。 如何解决UNIX通讯问题? 关于读出文件里的字符串与录入的字符串比较问题 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! help!有关SESSIONBEAN! 无法联接ORACLE数据库,错误信息:ORA-01034:ORACLE not available 其它信息 sos 用vb怎么实现打印功能啊,不是vb附带的那小功能啊,把家帮帮忙啊,。。。sos 请教高手:视频传输编程技术!!! 请教!.net的程序一定要 关于鲜花插在牛粪上>>>优秀的女性喜欢上一个于自己各方面相差多的男性是鲜花插在牛粪上,那反之,优秀的男士喜欢上劣质的女性是什么,该怎么比喻~ 해킹 프로그램 波涛汹涌是什么意思? 波涛汹涌的涌什么意思 从-1,1,2这三个数中任取两个不同的数做一次函数Y=KX+B的系数K,B则一次函数图像不经过4象限的概率为 求给个思路写故事.一直想不到好的题材. 如果两个人在恋爱期间经常吵架,其实就是因为看待事情的观点不同,意见不一致,但是彼此都有感情,这样适合结婚吗? ”世界上总共有三种人.“的说法是怎么回事? 黄色用英文是怎么写的~ 唐玄宗评价300字(在线等要快) 鲜花插在牛粪上了怎么办?RT 网站展示完全用CSS画的苹果鼠标英智库发布2013年幸福国家排名杭州地铁周边公共交通配套薄弱遭吐槽46名中国与印度非法采金者在加纳被捕美国最新汇率报告未将中国列为“汇率操温家宝十年教育工作回顾:珍视成绩努力普京获评福布斯2013全球“头号强人简氏关注中国海军最大演习:最大看点并学者称一线城市过高生活成本让人幸福感乐清一淫贼夜潜女邻居家中 持刀强逼她中国三大舰队穿越岛链 专家:给日本实中国购苏35价格是俄军5倍 大校称并中国女足8球大胜 百名球迷寒夜助威布鲁诺:远离大悲和大喜这两种情绪路遥雨冷见真情 陪伴国足过寒冬北京市副市长:核心区停车收费需要调整航拍极寒下的济南中国有100万千万富翁,他们都喜欢这父亲15年背子求学:当儿子的腿生活中想不明白的事,那些年的歌词里都餐饮版《围城》:为什么你进不来?为什两架运20新机接连曝光 中航高管披露
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘