说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Google新论文 CPI²:基于Linux的世界级跨数据中心服务器CPU监控

HTML文档下载 WORD文档下载 PDF文档下载
搜索巨头近期又公布了两篇新的论文:其中一篇为CPI²,实现跨数据中心对每台服务器的CPU性能进行监控,更主要的是建立于Linux之上;另一篇则是Omega,Google的大规模集群调度技术。本文专注于CPI²。

Google已经实现世界级数据中心服务器监控,新的技术可以监控世界范围内每台服务器上的每个任务;其最终目的是通过这些数据有选择对进程进行干预、甚至是关闭该进程让同CPU上的其它进程得以运行。

搜索巨头在技术论文(PDF)中详细的描述了这一世界级监视技术的实现方法,相信使用大型基于Linux云计算基础设施的机构都会对此感兴趣。

论文中写道:

性能隔离是云计算的主要挑战。不幸的是,Linux缺少对共享资源(比如:处理器缓存、存储器总线等)中性能干扰的防御;这样的话,公有云中的应用程序将无法避免来自邻居们的干扰。

CPI²方案使用从硬件性能计数器获得的CPI(cycles-per-instruction,平均指令周期数)数据检测问题,中断或者关闭“问题”进程从而达到预期的效果,当然它会根据相同作业中大量任务数据认知这个任务的反常与否。

本质上讲,CPI²让Google可以在集群上万个CPU核心中隔离单个核心上的单个性能低下任务,对这个任务进行检查并进行操作,而造成的CPU开销甚至不到0.1%。它并不需要特殊的硬件支持,唯一的软件依赖恰是使用Linux。

CPI²允许Google收集任何指定指令的预期CPU CPI,从这些数据中分析出标准的资源配置文件,然后使用这些标准的配置文件去帮助网络巨头确定哪些任务比一般情况下耗费了更多的CPI,从而解放与这些任务使用相同CPU的其它进程。

Google称,其绝大多数机器上都运行着多任务。作业的处理类型分为实时处理和批处理两种,同时这些作业由大量的任务组成。Google服务器上96%的任务都会与至少10个的任务组成一个作业,而87%左右的任务会与100或以上的任务组成一个作业。

但是这些任务可能会相互干扰,导致处理器缓存和内存分配问题,造成应用中的某个任务延时飙升——这正是Google不惜一切代价都想避免的问题。

为了实现任务流下每个处理器的控制,Google使用CPI监视所有运行的服务器。通过测量处理器硬件计数器,然后用CPU_CLK_UNHALTED.REF除以INSTRUCTIONS_RETIRED来获得CPI数据。

通过计算模式下的perf_event工具,Google每分钟都会收集一个长为10秒周期的数据。系统中总CPU的开销低于0.1%,并且不会对延时产生影响。


因为集群需要跨大量的平台运行,CPI的目的在于体现各种平台下的CPU运行情况。CPI的值通过每台机器上的agent进行本地分析和测量。agent通常会被给予作业中任务预期最常见的CPI分布,所以它可以独立的分析出运行的正常与否。

如果agent发现有“victim”任务受到影响变得缓慢,它将会每秒一次的对“antagonist”任务进行干涉。agent会使用一个算法来判断“antagonist”任务的CPU占用增加与“victim”任务的迟缓是否曾在关系,依据的则是指令的周期数。

如果agent识别了一个“antagonist”并发现它是个批量作业,系统将会“通过CPU hard-capping来强制减少‘antagonist的CPU占用率’”。

鉴于CPI²和Omega论文的联合作者中都有John Wilkes,Google很有可能是通过Omega(Google大型基础设施管理系统的一个组件)给agent发布任务。

“antagonis”任务的配置文件与CPI数据进行的是离线的记录和存储,这样管理员就可以通过Google的主要网络分析工具Dremel进行查询。

Google工程师使用Dremel进行性能取证,用以确定“antagonists”任务,在将来他们可能为“antagonists”任务重新制定策略,让它们在单独的主机集中运行,然后使用这个调度进度来彻底的避免这个问题。

其中有一个需要改进的方面是处理多个“antagonists”,它将会复杂化算法;另一个则是为capping任务建立的反馈途径。

论文中写道:“即使这两方面还未改善,但是CPI²是个强大的、实用的工具。”

使用CPI²获得应用性能可行信息的开销比Google其它方案来的更少,这里还存在一个被称为“Google-Wide Profiling”可同时对硬件和软件性能进行追踪的平行技术,但是只在Google小范围的进行使用。

从整体上看,CPI²提供的不只是管理,更倾向于让集群运行的更加稳定、效率。如果你在执行搜索或者查看Gmai、通过Google服务查找地址时发现比平常需要更多的时间,那么你可能就会被CPI²冷酷及无情的当做是“antagonists”。

原文链接: Google: 'We'll track EVERY task on EVERY data center server'(编译/仲浩 王旭东/审校)

相关链接:

CPI²论文下载地址: PDF

Omega论文下载地址: PDF

“  第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名!

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加!

not(elems)-JQuery API not(expr)-JQuery API not(el)-JQuery API parent(expr)-JQuery API parents(expr)-JQuery API prev(expr)-JQuery API siblings(expr)-JQuery API Events事件-JQuery API bind(type,data,fn)-JQuery API blur(fn) -JQuery API blur() -JQuery API change(fn) -JQuery API click(fn)-JQuery API click()-JQuery API dblclick(fn) -JQuery API error(fn) -JQuery API focus(fn)-JQuery API focus() -JQuery API hover(over,out)-JQuery API keydown(fn) -JQuery API keypress(fn)-JQuery API keyup(fn)-JQuery API load(fn)-JQuery API mousedown(fn)-JQuery API mousemove(fn)-JQuery API mouseout(fn)-JQuery API mouseover(fn)-JQuery API mouseup(fn)-JQuery API one(type,data,fn)-JQuery API ready(fn)-JQuery API resize(fn)-JQuery API 获得一个窗口的句柄,如何获取该窗口的Height和Width 怎样让程序停留指定的时间间隔? 一定要装oracle的客户端,才能在system DSN的添加中看到oracle的数据源驱动程序吗? 一个关于多进程udp连接的重发的问题 怎样把金钱变量转换成字符串变量? 有人知道如何在application中取出拨号地址的吗? 这不公平!!!!!!! Delphi 指针问题,请大家帮忙! web assistant怎么根据数据库中的数据生成一个页面?那个页面要我自己的样式? 大家帮我看看错在那里!谢谢! 请问有没有用自己的机子作服务器的? 帮我看看代码 日志钩子的安装问题? 如何使用。MDB文件 由于上一题回帖子的人数众多,导致分数不够,所以再开一帖!继续!关于用vb进行文件的读写问题! 怎样在数据库中输入了许多条记录后, 一次性存盘成功? 改变光驱盘符?很急很急 在Oracle中怎样加已经存在的数据文件? 我想请高手帮忙 !! 请问目前那一本参考书对DELPHI初学者有很大提高? 一个关于udp重发的问题 如何在delphi程序里调用vc写的exe执行文件。 如何将query中的内容输出到文本文件,然后还能将该文本文件再导入进来?急急急!!!!!!!!!!! 急急急!!我的计算机找不到硬盘了45分 如何求任意多边形的重心 紧急求助:请问java有没有比较丰富的多媒体控件?比如录音的控件??? 急急急!!!我的计算机找不到硬盘了,45分 如何把一个字段的内容求和,然后把结果存入另一表! 请教,怎样把一个记录数组用VB读入ACCESS 2000数据库中? 关于货币类型的问题? the script too large ????????我快疯了。 什么地方有Sybase与Oracle的比较资料? 急急急!!!我的计算机找不到硬盘了,40分 问一下大家 复活节彩蛋 win2000 professional下如何配置weblogic6.0 jsp和javasript如何通讯? 急!!!如何把'¥100'字串转化为浮点型100.00 用OleContainer1将一个WORD文档存进数据库后如何将它从数据库中取出??? 关于SNMP的问题(请高手回答,送40分) 谁想过要戒水?戒成了吗?又渴了吗? 我用在各种机器上使用Win2000,从来没有down过, 真是太奇怪了??? 请问如何确定操作系统系统是中文的还是英文的? 向外国用户发注册码时候应该说些什么,才能让别人觉得你比较专业? 如何捕获ADO的异常信息 struct结构的数据存储是用的什么顺序方式呀? 能介绍几本关于BCB的适合初学者阅读的书吗? 高手进来,struct结构的数据存储是用的什么方式呀 高分!高手请进!!! Newton 有关StoredProc的 商务信函——填空Dear Sirs,We write to i___ ourselves as one of the l__ exporters from Brazil of a wide r__ of exvacators.We a__ to this letter a list of products we are r___ exporting and t__ that some of the i___ will be of great i___ to you 发邮件给某人英语 英语有哪些标点符号 商务英语信函(关于产品介绍)的填空Dear sirs,We are very pleased to receive your _______ of 15th January and _________ our illustrated _________ and price list giving the details you ask for.Also by separate ________ we are sending yo 给……发邮件到…… 英语怎么说? 英文里为什么很少用标点符号?印象中括号,引号,破折号都很少见,书名号更是根本没有,常用的只有逗号句号和问号,偶尔能看到个引号.这是为啥捏?3Q 英语信题目,写一份信函你9月2日写了一封信给上海音像出版社订购50箱CD碟,现在写信希望对方能够确认已收到订单,并再次附上订货信附件.你的公司名称:Music Store你的地址:Parker Lane,London N 1 在写EMAIL的时候一些英语单词的简写有哪些?比如把YOU写成U 英语翻译英文句子里电影名字是用《》书名号括上,还是用“”引号括上? 英文商务信函 回复请帮我写封信.大概想表达的意思是:您的支票我已经收到了,但是您把我的名字写错了,是qiu 不是qui,结果中国银行不让我兑现,您能不能改正之后 在发张支票过来,我不大懂 你每周给你的朋友发多少封电子邮件?英语怎么写? 填写标点符号, 英语翻译dear sir/madam,we wish to refer to our Order No.4567 for ten tons of processed polyethylene due to be shipped at the end of next month .when this order was placed,our stocks were considered to be sufficiently enough to last until Septembe 英语单词email的用法英语单词“email”的具体用法 标点符号填写1雨的力量在于它可使一望无际的黄土高原转眼变得沟沟壑壑()混乱不堪()而知识的力量则在于它可改变命运()扭转乾坤(),缔造美好的未来.2不要在光线暗的地方看书( 商务信函翻译成英语.谢敬启者: 事由:衬衫 我们从一本贸易杂志上得知贵公司名称和地址,同时我们获悉贵公司是当地纺织行业领先企业.很荣幸写信给贵方,希望和贵方建立业务关系. 我们 发电子邮件的英语单词 填写标点符号 英语翻译感谢您快速的回复,你的报价我们已经收悉,但是很遗憾你方价格偏高,我们希望你们重新考虑报计算价格并报给我们一个最具有竞争力的价格,并且我们想知道你生产的此种货物 英语翻译Hätte Interesse an diesem Tablet.Meine Frage wäre:Kann man eine 32 GB Karte dazu bekommen.Dann gibt es dazu noch eine passende Tasche.Haben Sie diese vielleicht auch zum Verkauf.Wenn ja,wie teuer?Wenn man 2 Tablet-PCs kauft,best 问一个标点符号书写问题如果用格子信纸书写到每一行还有一个空格时,这时正好这句话还差一个字,如果加上句末的标点符号就需要两个空格了.通常遇见这种情况下是不是这最后一个空格就 商务信函英语,Ⅲ.英译中1.On the recommendation of Sunshine Trading Corp.,we have learned your name and address.2.We shall be grateful if you will send us your samples immediately.3.We trust there's a good prospect for our business through ou favourite 在美式英语中怎么拼写 名信片的英语怎么写 英语邮件怎么写? “电邮”用英文怎么写 英语比赛,要写一篇英语作文,布置怎么写英语信. 英语翻译别肉鸡! 这封英文信如何写?由于某个客户的订单量太少,老板决心停止与其的发展.现在要写这样一封信,委婉的表达该意思,我该如何写是好?50分悬赏,好的话再酌情追加. "英文怎么写?你...以上英文怎么写? 英语翻译你买到了倩碧吗?如果没有,那就不要买了,我有个哥哥最近去了加拿大旅游,他也可以帮我带倩碧,如果你买到了,你打算怎么给我呢? 谢谢你的回信.以及你对我的家人和公司的关心.我们都很好,希望你也很好.这么长时间没有联系,我感到抱歉,因为近来工作实在是太忙了.很期盼你来到北京观看08年奥运会,相信那一定是一次让 英语信怎么写 英语翻译再次打扰你.根据你们图纸上的要求,我们需要在XXX(产品名称)上张贴三种LABEL,但是你们目前仅建立了两种LABEL的信息在LSWEB,还差一种,请帮忙完成下. 原文:照片收到.不知你现在可好,奥运会期间有没有来北京?这些照片是我在杭州西湖拍的,西湖,那里很美,是人间天堂.你还会来中国吗?祝愿你一切顺利!吻你漂亮的女儿. 《信我 》的英文怎么写 英语email格式写家人的爱好 求助写封英文信假设你是李华,你的朋友来中国玩,请写信邀请他来你家乡玩,用英文写,活动内容有游泳,跑步,爬山,吃海鲜,交通坐飞机,机场有45路车,到最后一站下,会去接他 我喜欢你 你信么英语 代写英文Email,非常急,关于询价,直白就可以. 中文意思如下:收到你的信很高兴,我看了你的相册,真羡慕你走了那么多的地方,每个地方都留下了很多故事和回忆吧,真好!真的很希望我也能早点去你走过的地方看看.你在家平时都做些什么 我说我喜欢你,你信不?英文怎么翻译 :电子邮件地址 英文怎么说 谁能帮我写英文信信的大致内容是:我叫XXX 我是那个中国孩子 很高兴能与您相识 并且成为一个临时家庭 我的英文不是太好 我想您已经了解 很抱歉我迟来的问候 请带我向您的家人问好还有 见信速回用英语怎么写 用英语怎么写,email 一份写给父母的英文信内容是我在大学中生活个方面的增加了,而且物价也在涨,等原因.希望你的父母能给你增加生活费. 他在信中写了什么吗 用英语怎么说 英语翻译:我已经收到你发来的电子邮件,现在我给你谈谈我上网的感受 中文标点和英文标点转换有没有快捷键转换中文标点和英文标点?而不用再去输入法图标上点击. 昨晚我写了一封信(求英语翻译) 求帮忙写一份英文商务信函啊!急用,缩行式商务信函:主要内容:许光伦是宁波康大进出口公司的业务经理,通过Pakistan使馆商务参赞处得悉对方公司的名称和地址,欲与对方建立友好业务关系, 你也可以往这里给我发邮件 ←求英文翻译 输入的中文标点符号与英文标点符号有什么区别?中文标点符号与英文标点符号主要是什么功用. 英语翻译MATT先生:您好.非常抱歉现在才给你回复.我刚接手工作,需要对先前工作流程及相关事宜了解.公司非常重视此次合作机会.我已经将合作协议发给相关同事评估,正在等待回复,如果有 英语翻译主要是“相关人士”的准确翻译, 怎样切换中文标点和英文标点? 英语商务信函,急用,the chairman of your company wants the sales figures for last month and he will present them at a shareholders meeting ,write a fax to the sales manager Alex要求:1,telling him to prepare the sales figures 2,explaining wh 英语翻译附档是C的验货报告,请查阅 关于英文里的标点符号今天上课就是讲这个..听不太懂....不是句号实不实心的问题...是想问在句子中分段的用法..
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn