说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

10个技巧让你更轻松地使用AWS

HTML文档下载 WORD文档下载 PDF文档下载
区别于实体服务器,IaaS往往会烙上服务提供商的色彩。在AWS进入中国之际,为大家分享10个AWS使用秘诀,其中包括资源的元数据查询、跨区域的依赖性、CPU Steal等方面。

编者按:在之前“亚马逊AWS落地中国,云计算产业圈集体发力”的文章中,我们报道了AWS通过“前店(北京)+后厂(宁夏)”的方式落地中国,也简单分析了国内云产业的现状;同时,我们还在AWS宣布落地中国后对AWS创始人之一Andy Jassy进行了专访,分享了AWS对行业现状的剖析以及对待产品的态度。AWS落地中国之所以会产生如此大的影响,与其在IaaS领域霸主地位是分不开的,而霸主地位凭借的则是庞大的合作伙伴群体与其独特的服务。诚然,每个服务都有强烈的提供商烙印,这里为大家分享AWS“金牌”合作伙伴Netflix前员工带来的10个AWS使用技巧。

下为译文

作者: Chris Fregly,前 Netflix 流平台工程师、 AWS 认证解决方案架构师和fluxcapacitor.com的负责人。

灵感来自Simone Brunozzi最近在旧金山AWS聚会上的演讲,并从我的最近一些Fluxcapacitor.com咨询业务收集,编辑了10个有用的时间及性能节省方案:

1. 查询 AWS 资源元数据

不记得您的 c1.xlarge 集群的EBS优化 IO 吞吐量吗?单一PUT的 S3 对象大小限制又是多少?Awsnow.info可以解决你所有关于AWS资源元数据的问题。对集成awsnow.info与您的应用程序感兴趣吗?很幸运,这里为你准备了一个REST API。

注:这些是默认软限制,会因账户而异。

2. 驯服你的S3 bucket

用一个CLI命令删除整个S3存储桶:

aws s3 rb s3://<bucket-name> --force

Recursively copy a local directory to S3:

aws s3 cp<local-dir-name> s3://<bucket-name> --region <region-name> --recursive

3. 理解AWS跨区域依赖性

从今年夏天早些时候的PagerDuty宕机博文显示一个有趣的跨区域依赖,它违反了关于AWS 区域隔离的传统思维。

摘要:us-west-1和us-west-2区域之间的北加州共同对等点故障,导致2个同步的AZ(每个在不同区域中运行)丢失,那些依靠此部署配置的东西,像HA、quorum(比如在PagerDuty示例中的ZooKeeper),同时丢失的还有在2013年4月13日这86分钟的负载均衡。

4. 使用 ZFS 与 EBS

不约而至的两个美味

在每个AWS文档中,EBS卷每年故障率(AFR)的预期值在0.1-0.5%之间,而商用硬盘的AFR在 4%左右,其中失败是卷的完全丢失。

为了保护自己免受这种风险(虽然很小),你可以使用RAIDZ配置将ZFS中的多个EBS卷集合起来。虽然相对无证,Chip Schweiss有一个很好的博文,有一些有用的脚本,详细介绍了这个话题。

5. 给你的RDS磁盘添加条纹以提高性能

有简单的小技巧使你的 MySQL 和 Oracle RDS 实例性能最大化。首先,尽可能小的给实例规划尺寸。然后,以5GB的增量慢慢增加你的存储,每个增量将创建一个额外的磁盘条纹,这将增加IO和减少寻道时间。

这一点,和许多其它优化技巧一样,可以在前 AWS 工程师的reddit页面 IAMA 找到。

6. 避免吵闹的邻居

在任何像AWS的多租户、非专用、虚拟化的环境,,你一定会体验到CPU受吵闹邻居的影响,也就是CPU Steal。CPU Steal是你的一位虚拟化客户非自愿地等待另一位客户正在使用物理主机CPU的时间百分比.

当使用基于EBS的EC2实例,你可以通过简单的停止和启动实例来逃离嘈杂的环境。你需要确保在它重新启动之前,你的运行状况检查策略不会终止该实例。对S3 支持的 EC2 实例来说,唯一的选择是要结束/发布一个新实例。

你可以通过选择较大的 EC2 实例类型避免吵闹的邻居。更大的虚拟化客户实例需要更多的物理主机资源,因此主机可以支持更少的整体租户。租户始终都是平等的实例类型。t1.micro非常嘈杂且有突发性,类似于老大学宿舍上铺的室友。

然而,,避免吵闹的邻居最有效的方法是是额外支付专用的EC2 实例.。记得专用的实例的费用吗?我们的朋友 awsnow.info 会告诉你答案。

7. 采用CloudFormation

AWS开发了一个称作CloudFormer的工具,允许你为你现有的 AWS 资源创建CloudFormation模板,此工具和CloudFormation本身一样巧妙和神秘。

CloudFormation模板的维护并不容易,但是,你可以在你的模板资源上使用类似#include的宏指令将每个资源的片段拼凑成一个完整的模板。这有利于模板的重用和片段注释。

通过Evan Brown的文章了解到,新的统一的AWS CLI已支持CloudFormation模板。

另一个项目troposphere,可以达到类似的效果。在这里,Peter Sankauskas在关于AWS的解答中描述了这一项目。

值得注意的是,,CloudFormation最近添加了对Virtual Private Cloud(VPS)的支持。

8. 避免为你的工作负载使用差的CPU架构

不同的CPU架构对某些工作负载启用更好的性能,这取决于NUMA特性、高速缓存大小、芯数、硬件线程数量、GPU等等.

像 AWS 的虚拟化的环境不能保证特定的 CPU 体系结构,AWS数据中心的物理软件基本上每天都会有更新。us-east-1,AWS最古老的区域之一,  包含几种不同类型的CPU——AMD Opteron、Intel Xeon和Intel Sandy Bridge。

如果您的工作负荷对这种物理 CPU 体系结构敏感,最好在启动(Linux 上的cat/proc/cpuinfo)时对此进行检测,以便重新启动/终止该实例。如果你对成本敏感,您可以运行该实例 55 分钟,然后终止它。用AWS,无论哪种方式你最少支付一小时的费用。

9. 一开始就使用Virtual Private Cloud(VPC)

VPC 现在是大部分地区新帐户的默认配置。改装一个非 VPC 环境来使用 VPC 是非常耗时的任务——特别是在大型部署中有很多的安全组件。

目前没有针对非 VPC 安全组(只入)和 VPC 安全组(入和出)的迁移路径。事实上,正是因为这种缺乏安全组迁移,Netflix仍在运行非 VPC。

另一个好处是,VPC启用 ELB作为专用子网之后的中间层负载平衡器。非VPC情况下,ELBs 是公开的。

一个常见的配置是使用ELB与HAProxy来启用更多细粒度控制负载平衡算法,因为 ELB 的是黑盒,可以比预计更有附着力。

值得一提的是,网络地址转换(NAT)实例在 VPC 中其实就是对专用硬件设备(单一 ASIC芯片)执行端口地址转换 (PAT)的EC2实例。

10. 在达到预期峰值之前预热和自动横向扩展您的 AWS 资源

ELBs——与其他 AWS 黑盒资源,如NAT、3、DynamoDB、Glacier和Beanstalk,都是由EC2 实例组成,就像您的自定义应用程序。

这些实例就像您的应用程序那样需要自动缩放。在AWS之前尚无自动完成的方法。

默认情况下,基于流量,亚马逊会尽力自动最佳化,但是,在预期峰值之前通知他们进行预热和资源配置总是最好的选择。

演示资源配置中的差异,以下是对高流量、预热和预配置ELB 的Netflix使用挖掘:

$dig cbp-us.nccp.netflix.com<br>;; ANSWER SECTION:<br>cbp-us.nccp.netflix.com. 291 IN CNAME dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com.<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.21.243.94<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.20.155.88<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.21.237.35<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 50.17.181.99<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.22.188.158<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.20.146.144<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 23.21.242.67<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 174.129.230.252

请注意,返回的 8 ELB 实例。此外还要注意双协议,启用了 IPv6。

下一步,下面是低流量、使用默认ELB的FluxCapacitor场景一览:

$dig edge.fluxcapacitor.com<br>;; ANSWER SECTION:<br>edge.fluxcapacitor.com. 300 IN CNAME awseb-e-j-awsebloa-pjstt309pthn-1823662872.us-east-1.elb.amazonaws.com.<br>awseb-e-j-awsebloa-pjstt309pthn-1823662872.us-east-1.elb.amazonaws.com.    60 IN A 23.21.119.137<br>awseb-e-j-awsebloa-pjstt309pthn-1823662872.us-east-1.elb.amazonaws.com.    60 IN A 54.225.176.201

注意只有 2 个ELB 实例返回。

再次,这些都是ELB的组成实例,而不是ELB之后的实例。

原文链接:10 Things You Should Know About AWS (编译/仲浩 审校/周小璐)

中国工程院院士、大数据专家委员会主任李国杰:能挖掘出价值的数据就是好数据 阿里飞天平台总架构师唐洪:飞天开放平台 百度大数据首席架构师林仕鼎:新计算时代 金山发布全系列IaaS平台 Google无人驾驶汽车与机器人组合,秒杀无人机 Google欲推新Chrome应用:适用于Android、iOS平台 comScore:美国市场苹果手机独占鳌头 Android和iOS双寡头垄断 一周消息树:新技术实现远程触摸和操纵实物 创新人机交互 研发周报:帮助网站转换的六大黑色星期五规则 【开源专访】JFinal作者詹波:以极简方式实现Web项目的极速开发 2013中国智能交通与大数据技术峰会:迎接交通大数据新时代 大数据应用技术(上):加速创新,重塑世界 英特尔百度携手推出首个跨平台应用商店 12月9日:计算机软件第一夫人Grace Hopper出生 触摸屏将成笔记本标配 电脑行业或将迎来又一春 触摸4G,你必须要知道的那些事儿 TIOBE 2013年12月编程语言排行榜:Transact-SQL冲刺年度语言 敏捷开发的6个实战经验 【图文】走近华为企业业务与支撑万人技术团队的云数据中心 《习惯联盟》陈晓冬:与京东云合作让我们没有后顾之忧 流计算与批处理同现:畅享大数据时代的开源实践 挑战和机遇并存:大数据时代机器学习与可视化 【企业开源系列】收发一条Twitter推文的背后 在IE11中更快地获得您需要的内容 暴露程序员身份的8个行为 英特尔创新应用大赛大评审!创新也有中国风 苹果面临一问题:正源源不断地失去优秀工程师 初学编程者必知的五个网站 大数据基准测试专题论坛:基准测试是一把尚未完成的尺子 大数据应用(下):应用驱动技术,DaaS创造价值 大数据研究与发展专题论坛:大数据在各领域中的应用及发展策略 请问谁知道这是什么缘故啊? 如何计算cpu和memory的一般的使用上限 在delphi中使用什么报表控件打印的报表效果较好 谁知道db或dbf头文件的格式? 急急 NMFtp中我想从ftp服务器下载指定文件扩展名的文件,该怎么办? 初始化页面的时候,如何使TextMode="Password"的asp:textbox有默认值显示? IBM软件清库存(大优惠) 又是可恶的乱码问题 struts与数据库!在线等待! 如何开发asp.net程序(基于vb) vc++的链接错误 如何用程序动态的获得activex控件的方法属性事件信息 请教:使用web.xml做资源约束时如何由自己的程序来做用户验证 请问:怎样编程来来虚拟网卡? 急!创建LOOKUP的问题 如何计算cpu和memory的一般的使用上限 新问题请教! 老问题:从Excel文件里把数据导入导数据库中 有汇编玩的非常牛的人吗??? 字符串操作的简单问题 学习J2EE需要装什么软件? >>有关记录的问题??<< 请高手指教:出现“ORA12663:服务器未提供客户机要求的服务”问题,怎么解决? 大侠救我! 动态sql问题请教,谢谢 填充combobox的问题 windowsxp不能创建拨号连接 怎樣轉換時間格式 ACCESS问题 Linux下上网问题?在线等待!急!急!急! 终极讨论:从Excel文件里面导入数据 winsock的问题 关于WINDOWS下邮件程序编写问题 Solaris下的Makefile问题 在lan里面的两台主机之间怎么配ppp连接,没有modem 我的SQL数据库安装的是实例,好象有问题哦! 高分求票据、合同套打代码! 事务问题,请大家帮忙,在线等待,50分相送!!!! xml解析的问题? 关于CRuntimeClass,请指教。 100分求解(在线等待) 终极讨论:从Excel文件里面导入数据 CString怎样转换为char * 类型? 有关爱情与事业的讨论! replace(replace(replace(replace(str,"<","&lt;"),">","&gt;"),chr(13),"<br>")," ","&nbsp;")是什么意思? 非常简单的问题!!! 看看这个portal做的怎么样? 如何去掉word中的页码 兄弟们,帮忙推荐一本powerDesigner的中文书籍,电子书籍也可以,在线等待!thanks! 动态sql问题请教,谢谢 为什么我的OnTimer不响应呀 人寒冷的感觉是怎样造成的? doing是什么意思 久别重逢怎么造句 怎样才能给人一种冰冷的感觉 已知a,b为非零向量,函数f(x)=(xa+b)(a-xb),则使f(x)的图像为关于y轴对称的抛物线的一个必要不充分条件是A.a⊥bB.a平行bC.|a|=|b|D.a=b 南美白对虾、罗氏沼虾与中国对虾生活习性的对比 英语翻译Poligono Industrial Baix Ebre H STREET PLOT 79/80 形容一个人出门便要打扮漂亮,而家中乱得如垃圾堆一般的词语 英语翻译a telecommuting work force can help business-owners substantially curtail the overhead costs,such as the costs of rent and utilities 如图,四边形ABCD中,AD平行BC,点E在CD的延长线上,连接DE,交AB于点F,连接DB,∠AFD=∠DBE,且DE方=BE乘CE,(1)求证:∠DBE=∠CDE,(2)当BD平分∠ABC时,求证:四边形ABCD是菱形. 爱因斯坦的最大失误怎么样 两阶段法求线性规划问题maxz=10x1十15x2十12x3{5x1十3x2十x3=0并指出属哪一类解 英语翻译llacer ramirez lerardo laguia numero 49 alzira 46600西班牙巴伦西亚的一个地址。请注明那个是街道什么的 最好能翻译成中文的地址 仲永从幼年的天资过人却落得个“泯然众人”的结局,这个故事给了你哪些启发呢?请你从不同角度思考.(1)从仲永的经历来看(2)从仲永父亲的行为对仲永的影响来看 大虾和小虾有嘛区别?大虾比小虾大嘛. 英语翻译CALLE MARIA DE GUZMANNUM 58 Piso BJ 28003 MADRID 罗氏沼虾名字的由来 IT项目管理中线性规划的方法? 英语翻译街道:Avda,fuenlaburad65 地区:leganes Madrid Espana 韶山冲的读音“韶山冲”的“韶”怎么读?急用! 英语force;yenilated翻译什么 喜阴的农作物有哪些? 毛泽东的老家湖南省湘潭市韶山冲,“冲”是指什么?是行政单位吗? 英语翻译whose strength is proportional to the product of the objects' masses and inversely proportional to the square of the distance between them看了十分头昏… 在北方什么农作物喜阴 “韶山冲”中“冲”的意思是 光子为何能受到万有引力的吸引?这是困扰了我高三一年的问题.光子是能量体,不具有质量,根据万有引力定律,可以知道光子是不会受到黑洞的吸引的,可是为什么还说光子逃逸不了黑洞?除非光 几何除了欧式几何还有哪些几何大类? 什么作物喜阴 韶山冲为什么那么出名?韶山冲的“冲”是什么意思?湖南省湘潭市下辖的韶山市,有一个地方叫韶山冲,在全中国都很出名.一个小地方为什么那么有名气呢?韶山冲的“冲”是什么意思? 养怡之福的之,盈缩之期的之我知道这两个之词性一样,但不知是什么词性, 兵的故事;”但此刻,他肯定是最感寒冷的一个人“?这句话和故事的结局有什么关系? 韶山冲的冲是什么意思 Vien的意思Vien这个英语名字翻译过来叫什么.. 有什么喜阴的作物啊?我想种在我家的大树下! 我就是L音不准,怎么发音, Vien什么意思 为什么说“但此刻,他肯定是最感寒冷的的一个人”?这句话和故事的结尾有什么关系?《兵的故事》天黑了.暴风雪呼啸得更加(愤怒 狂怒).一辆客车已经被暴风雪困在公路上六七个小时.车上 人有悲欢离合,月有阴晴阳缺,此事古难全,但愿人长久,千里共蝉娟, sinh 《兵的故事》中为什么说"但此刻,他肯定是最感寒冷的一个人”?这句话和故事的结局有什么关系?” 但愿人长久,千里共蝉娟. 定义与性质的不同急以三角形为题 为什么说但此刻,他肯定是最感到寒冷的一个人?这句话和故事的结局有什么关系天黑了.暴风雪呼啸得更加(愤怒 狂怒).一辆客车已经被暴风雪困在公路上六七个小时.车上二十几名乘客中,有 但愿人长久,千里共蝉娟. 英文名Vien感觉怎么样?是什么含义? 中华人民共和国第十一届全国人民代表大会第二次会议是什么时候开的 但愿人长久,千里共蝉娟.的意思? 性质和定义的区别 第十一届全国人民代表大会第四次全体会议什么时候召开? 祈祷的音怎么读 “性质”和“意义”有什么区别 第十一届全国人民代表大会什么时候开始,什么时候结束? 但愿人长久,千里共蝉娟!这句话的正确解释是什么? 喜阴的菜有哪些 方仲永从神童到“泯然众人”,这种变化的根本原因是用原文回答 “L”的发音不准怎么办 理一理,连句成段.只写序号【】这个八边形的''藻井,还是古代的木质扬声器呢【】最典型的戏台 绍兴柯桥区塘乡的宾舍戏台距今已有400多年的历史.【】藻井壁间画着八仙过海的故事.【】在 方仲永由神通到泯然众人矣的三个原因是什么 发音不准(了.来)的音说不好怎么办?那位亲知道发音不准怎么治疗.了来说不好 上医院看了有的说要割舌系带有的说割了没用 .不知道怎么办了唉 印度高官建议用阉割强奸犯方法遏制强奸国际货币基金组织专家称无需担忧中国经英9个月女婴获封最年轻选美皇后【组图格蕾丝王妃生平展开幕 儿子阿尔伯特亲德媒称已锁定美驻德使馆窃听站位置(组日本如此焦虑为哪般利比亚枪手狂劫央行运钞车得手5000《世界新闻报》窃听丑闻开审 “世纪审纽约华裔灭门案震惊社区 凶犯偷渡来美伤医案频发凸显医患冲突 医患之间更加强风暴袭击欧洲多国美窃听惹到愤怒的公牛 1个月监听西班日媒称安倍秀强硬让中日问题难解决 损蒙古总统到参谒朝鲜锦绣山太阳宫日防相称“中国危及和平” 中日关系陷以色列释放的5名巴勒斯坦在押人员抵达中行“高山案”嫌犯曾数次用拉杆箱装满金正恩或“首秀”元首外交叙利亚黑客自称“黑了”奥巴马美致力为盟友关系“疗伤”专家解读:安倍“恼羞成怒”127台演出新春聚京“混”得很任性一句话新闻全国中学排名“自主招生百强”2015款贵士相比老款降价20万长街宴宴请百余打工者3成家庭每月教育支出超千元医院塌方式腐败,怎么治?工行北京分行与京港地铁签署战略合作协乘务员双班倒 临客服务“不打折”去年超150名国企高管被查 专家:还1+X课程:基于核心素养为完整人格奠天价“民转公”严重违反教师法新车剧透(4)国家信访局官员:进京上访人数下降减少英菲尼迪发布2015年规划新车剧透(1)30余家博物馆寒假推出展览讲座晒信息公开“成绩单”,别成自我表扬今天天气周润发被封“自拍神”
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘