说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

10个技巧让你更轻松地使用AWS

HTML文档下载 WORD文档下载 PDF文档下载
区别于实体服务器,IaaS往往会烙上服务提供商的色彩。在AWS进入中国之际,为大家分享10个AWS使用秘诀,其中包括资源的元数据查询、跨区域的依赖性、CPU Steal等方面。

编者按:在之前“亚马逊AWS落地中国,云计算产业圈集体发力”的文章中,我们报道了AWS通过“前店(北京)+后厂(宁夏)”的方式落地中国,也简单分析了国内云产业的现状;同时,我们还在AWS宣布落地中国后对AWS创始人之一Andy Jassy进行了专访,分享了AWS对行业现状的剖析以及对待产品的态度。AWS落地中国之所以会产生如此大的影响,与其在IaaS领域霸主地位是分不开的,而霸主地位凭借的则是庞大的合作伙伴群体与其独特的服务。诚然,每个服务都有强烈的提供商烙印,这里为大家分享AWS“金牌”合作伙伴Netflix前员工带来的10个AWS使用技巧。

下为译文

作者: Chris Fregly,前 Netflix 流平台工程师、 AWS 认证解决方案架构师和fluxcapacitor.com的负责人。

灵感来自Simone Brunozzi最近在旧金山AWS聚会上的演讲,并从我的最近一些Fluxcapacitor.com咨询业务收集,编辑了10个有用的时间及性能节省方案:

1. 查询 AWS 资源元数据

不记得您的 c1.xlarge 集群的EBS优化 IO 吞吐量吗?单一PUT的 S3 对象大小限制又是多少?Awsnow.info可以解决你所有关于AWS资源元数据的问题。对集成awsnow.info与您的应用程序感兴趣吗?很幸运,这里为你准备了一个REST API。

注:这些是默认软限制,会因账户而异。

2. 驯服你的S3 bucket

用一个CLI命令删除整个S3存储桶:

aws s3 rb s3://<bucket-name> --force

Recursively copy a local directory to S3:

aws s3 cp<local-dir-name> s3://<bucket-name> --region <region-name> --recursive

3. 理解AWS跨区域依赖性

从今年夏天早些时候的PagerDuty宕机博文显示一个有趣的跨区域依赖,它违反了关于AWS 区域隔离的传统思维。

摘要:us-west-1和us-west-2区域之间的北加州共同对等点故障,导致2个同步的AZ(每个在不同区域中运行)丢失,那些依靠此部署配置的东西,像HA、quorum(比如在PagerDuty示例中的ZooKeeper),同时丢失的还有在2013年4月13日这86分钟的负载均衡。

4. 使用 ZFS 与 EBS

不约而至的两个美味

在每个AWS文档中,EBS卷每年故障率(AFR)的预期值在0.1-0.5%之间,而商用硬盘的AFR在 4%左右,其中失败是卷的完全丢失。

为了保护自己免受这种风险(虽然很小),你可以使用RAIDZ配置将ZFS中的多个EBS卷集合起来。虽然相对无证,Chip Schweiss有一个很好的博文,有一些有用的脚本,详细介绍了这个话题。

5. 给你的RDS磁盘添加条纹以提高性能

有简单的小技巧使你的 MySQL 和 Oracle RDS 实例性能最大化。首先,尽可能小的给实例规划尺寸。然后,以5GB的增量慢慢增加你的存储,每个增量将创建一个额外的磁盘条纹,这将增加IO和减少寻道时间。

这一点,和许多其它优化技巧一样,可以在前 AWS 工程师的reddit页面 IAMA 找到。

6. 避免吵闹的邻居

在任何像AWS的多租户、非专用、虚拟化的环境,,你一定会体验到CPU受吵闹邻居的影响,也就是CPU Steal。CPU Steal是你的一位虚拟化客户非自愿地等待另一位客户正在使用物理主机CPU的时间百分比.

当使用基于EBS的EC2实例,你可以通过简单的停止和启动实例来逃离嘈杂的环境。你需要确保在它重新启动之前,你的运行状况检查策略不会终止该实例。对S3 支持的 EC2 实例来说,唯一的选择是要结束/发布一个新实例。

你可以通过选择较大的 EC2 实例类型避免吵闹的邻居。更大的虚拟化客户实例需要更多的物理主机资源,因此主机可以支持更少的整体租户。租户始终都是平等的实例类型。t1.micro非常嘈杂且有突发性,类似于老大学宿舍上铺的室友。

然而,,避免吵闹的邻居最有效的方法是是额外支付专用的EC2 实例.。记得专用的实例的费用吗?我们的朋友 awsnow.info 会告诉你答案。

7. 采用CloudFormation

AWS开发了一个称作CloudFormer的工具,允许你为你现有的 AWS 资源创建CloudFormation模板,此工具和CloudFormation本身一样巧妙和神秘。

CloudFormation模板的维护并不容易,但是,你可以在你的模板资源上使用类似#include的宏指令将每个资源的片段拼凑成一个完整的模板。这有利于模板的重用和片段注释。

通过Evan Brown的文章了解到,新的统一的AWS CLI已支持CloudFormation模板。

另一个项目troposphere,可以达到类似的效果。在这里,Peter Sankauskas在关于AWS的解答中描述了这一项目。

值得注意的是,,CloudFormation最近添加了对Virtual Private Cloud(VPS)的支持。

8. 避免为你的工作负载使用差的CPU架构

不同的CPU架构对某些工作负载启用更好的性能,这取决于NUMA特性、高速缓存大小、芯数、硬件线程数量、GPU等等.

像 AWS 的虚拟化的环境不能保证特定的 CPU 体系结构,AWS数据中心的物理软件基本上每天都会有更新。us-east-1,AWS最古老的区域之一,  包含几种不同类型的CPU——AMD Opteron、Intel Xeon和Intel Sandy Bridge。

如果您的工作负荷对这种物理 CPU 体系结构敏感,最好在启动(Linux 上的cat/proc/cpuinfo)时对此进行检测,以便重新启动/终止该实例。如果你对成本敏感,您可以运行该实例 55 分钟,然后终止它。用AWS,无论哪种方式你最少支付一小时的费用。

9. 一开始就使用Virtual Private Cloud(VPC)

VPC 现在是大部分地区新帐户的默认配置。改装一个非 VPC 环境来使用 VPC 是非常耗时的任务——特别是在大型部署中有很多的安全组件。

目前没有针对非 VPC 安全组(只入)和 VPC 安全组(入和出)的迁移路径。事实上,正是因为这种缺乏安全组迁移,Netflix仍在运行非 VPC。

另一个好处是,VPC启用 ELB作为专用子网之后的中间层负载平衡器。非VPC情况下,ELBs 是公开的。

一个常见的配置是使用ELB与HAProxy来启用更多细粒度控制负载平衡算法,因为 ELB 的是黑盒,可以比预计更有附着力。

值得一提的是,网络地址转换(NAT)实例在 VPC 中其实就是对专用硬件设备(单一 ASIC芯片)执行端口地址转换 (PAT)的EC2实例。

10. 在达到预期峰值之前预热和自动横向扩展您的 AWS 资源

ELBs——与其他 AWS 黑盒资源,如NAT、3、DynamoDB、Glacier和Beanstalk,都是由EC2 实例组成,就像您的自定义应用程序。

这些实例就像您的应用程序那样需要自动缩放。在AWS之前尚无自动完成的方法。

默认情况下,基于流量,亚马逊会尽力自动最佳化,但是,在预期峰值之前通知他们进行预热和资源配置总是最好的选择。

演示资源配置中的差异,以下是对高流量、预热和预配置ELB 的Netflix使用挖掘:

$dig cbp-us.nccp.netflix.com<br>;; ANSWER SECTION:<br>cbp-us.nccp.netflix.com. 291 IN CNAME dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com.<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.21.243.94<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.20.155.88<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.21.237.35<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 50.17.181.99<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.22.188.158<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.20.146.144<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 23.21.242.67<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 174.129.230.252

请注意,返回的 8 ELB 实例。此外还要注意双协议,启用了 IPv6。

下一步,下面是低流量、使用默认ELB的FluxCapacitor场景一览:

$dig edge.fluxcapacitor.com<br>;; ANSWER SECTION:<br>edge.fluxcapacitor.com. 300 IN CNAME awseb-e-j-awsebloa-pjstt309pthn-1823662872.us-east-1.elb.amazonaws.com.<br>awseb-e-j-awsebloa-pjstt309pthn-1823662872.us-east-1.elb.amazonaws.com.    60 IN A 23.21.119.137<br>awseb-e-j-awsebloa-pjstt309pthn-1823662872.us-east-1.elb.amazonaws.com.    60 IN A 54.225.176.201

注意只有 2 个ELB 实例返回。

再次,这些都是ELB的组成实例,而不是ELB之后的实例。

原文链接:10 Things You Should Know About AWS (编译/仲浩 审校/周小璐)

从Java转向Go——AeroFS的一段奇妙之旅 谷歌重组建母公司Alphabet,新来的CEO Sandar Pichai是什么来头? 《近匠》专访AllSeen联盟主席薛国栋:从通讯层为物联网去中心化 Android性能优化典范(三) 杭州兆合陈洋:微气象大民生,气象微信平台研发探索 【探秘ES6】系列专栏(十):更深入了解生成器 【探秘ES6】系列专栏(十一):类语法 《近匠》专访Depth VR:浅析VR交互技术选型中的瓶颈与机遇 【CTO讲堂】将“简单快速”渗透到移动开发测试每个环节,从fir.im团队说起 全球开发者报告:Windows Phone已死,Windows 10长存 苹果官方博客:从SDK详说Swift代码的改变 Espresso实战:快速的Android UI自动化测试 《Java并发编程的艺术》作者方腾飞:感谢Java,带我一路前行! Crystal:一个类似于Ruby语法的编程语言 谁将是传统密码的终结者 专访民生银行:CPOS平台如何从线下布局移动支付 MathWorks程邺:机器人时代未来已来 Swift编程规范:保持代码优美的10个方法 中国第二届CSS开发者大会视频&amp;amp;PPT全部免费观看 如何基于Vert.x实现远程调用? Go 1.5如期发布,完全告别C代码 Rust一周集锦(三):关闭3个RFC并为1.4版本做准备 【CTO讲堂】多备份创始人陈元强:在线灾备革命背后的事 探索React:组件间通信过程解析 机智云完成2亿元B轮融资 将围绕信息安全与机器学习创建“机智云联合实验室” 【CTO讲堂】深度?广度?浅析技术人员的职业发展之路 详解React Flux架构工作方式 专访Tiny框架创始人悠然:好的软件设计是“品”出来的 开发移动应用的7大设计要点 历时一年半 现代Web框架Phoenix 1.0正式发布 【七问七答】对话Erlang核心成员Eric Merritt 这个毛病是什么原因?(加急,肯请赐教) 在线等候?自定义控件问题? 请问知道进程的ID值和句柄,能否控制程序窗口的大小? 多层数据库疑问!!!!!!!!!!!!!!!!!!!!!!!!!!! 关于IBM AS/400 DB2数据库编程 怎么从_streamptr 中恢复 recordset? 与数据库建立联接的后续问题 早上偶然看见前女友从眼前走过,突然有种莫名的感动 歌词和音乐同步问题?winnap的歌词插件基于什么样的原理做出来? 一个菜鸟的苦恼!! 用命令行配置IIS的命令是什么? 看看这个程序到底错在哪? 查找点对象问题,各位进来帮我看看 各位朋友一定请帮忙,关系到我工作问题(不是很难) 用ASP和Javascritp或Vbscript配合将SQL Server里的数据在客户端转换成EXCEL文件 Application的问题,急 谁能告诉我《银色幻想》在哪里有得下,万分感谢!!给分多多 新開一貼,sql語句請教,急,給分!!! 局域网内指定IP出现“该静态IP地址已经使用”,原理如何,如何编程实现。 一个语句的写法,up者有分 关于数据汇总的精典SQL语句求教! 有奖捉疵 50分 怎么打*****号部分的代码总不执行啊? 请问如何列举当前打印机支持的纸张信息? 歌词和音乐同步问题?winnap的歌词插件基于什么样的原理做出来? 急救!!!关于对话框中编辑框重画问题 小问题。。。。只想知道为什么。。。。 转载(贫富悬殊的中国) !!!用ASP能否实现一次上传一整个目录下所有的文件(子目录不算)?高手请答复! TreeView专题讨论 j2me中请问如果将textField中的内容写入到moto388手机的记事本中? 在vc中调用其他的exe include 另外一个jsp文件时,能向那个文件传参数吗?不能的话,有其他办法吗?谢谢 系统不能识别DaysBetween,如何处理 请问如下通过web连续下载图片,只是第一张要提示,以后每张就不再提示了? 关于ADO驱动MDAC版本的疑问 兄弟要工作了,是不是只要见到领导都要打次招呼? 我的问题!! 最近在用MFC写GDI程序,请前辈们给点建议 老兄给一些建议啊!用VB做什么毕业设计比较合适啊? 急,获取主板信息的问题! 请教finder的排序问题 mysql对一个数据库中表的数量有没有限制? 100分,急求控件的编写方法~!!!!我在做的项目想用到类似于vc编译器左边的class,resource,file view的窗口控件,谁有? 为什么我收到的邮件列表每次都是乱码?怎样打开? 大家帮看看这段代码哪出问题了,在线给分 求高效统计算法(在线等待,采纳着需要分来信200) 怎样将bcb中vcl 及其他组件改为activex??? 微软的面试题 treeview 控件在客户端的操作? 怎样在程序里找无标题的DLG! j2me中请问如果将textField中的内容写入到moto388手机的记事本中? 假设望远镜的光轴已经垂直于分光计的中心转轴,而平面反射镜面与中心转轴之间还有一个角度a,而此时反射回去的小十字像和平面镜转过180度后反射回去的小十字像和平面镜的位置应该是怎 薄衫中的薄应该读bao还是bo 是否存在有理点连续,无理点间断的函数? 育英小学校园里用81盆鲜花摆放了一个方阵花坛,最外层每边有鲜花多少盆?最外层一共有多少盆鲜花 普通灯发出的光,其波长范围为多少 什么是安瓿剂? 根据意思,写出相应的谚语1.功夫到了家,事情自然就会成功.( )2.刚出生不久的小牛,不怕老虎.( )3.人总是希望生活得更好.( )4.比喻单方面闹不起事来.( )5.各行各业都有杰出的人才.( 地质年代?地质年代单位是怎么划分的?如何以一种简便的方式来记他? 什么是安瓿 指对人谀奉承,刻意讨好、指说话不切实际,好夸口、喜欢表现自己,处处要强、根据意思写出三个字的歇后语 请问您一下地质年代的事名词上?"太古宇"代替了"隐生宇"吗?那隐生宙是否曾"存在"?是否生命和地球乃至太阳系是同一时刻产生("形成")的呢? 安瓿用拼音怎么拼 甲、乙两个实心正方体物块放置在水平地面上,甲的边长小于乙的边长.以下做法中,有可能使两物体剩余部分对地面的压强相等的做法是 ( )A 如果它们的密度相等,将它们沿水平方向切去相等高 在一定条件下物体的温度可以降到0k吗 “安瓿”怎么读 小明同学利用太阳光测量凸透镜的焦距.他注意到让凸透镜正对太阳光,但没有仔细调节纸片与透镜的距离,在纸片上的光斑并不是最小时,就测出光斑到凸透镜中心的距离l.那么,凸透镜的实际焦 所有的地质年代太古代、元古代、震旦纪、古生代、中生代、新生代、寒武纪、奥陶纪、志留纪、泥盆纪、石炭纪、二叠纪、三叠纪、侏罗纪、白垩纪、第三纪、第四纪太古代、元古代、震 一个函数能否每一点都间断?...自变量每个都有对应的函数 根据雾的成因不同,分为辐射雾、平流雾、上坡雾和什么? i am certainly not bored翻译 怎么判断函数是连续还是间断的求P{X=a】 如果是间断则是计算的 如果是连续就是为0 怎么判断 平流雾是什么东西 BV-2BV-2*2.5-MR-PC20-CC是什么意思 不到长城非好汉的后一句是什么 平流雾是怎样形成的? youre not here.i am bored .翻译! 请问不到长城非好汉下句 重庆的雾是平流雾还是辐射雾? 已知 湿球黑球温度WBGT,干球温度,热辐射强度,风度,如何求相对湿度 “不到长城非好汉”的下一句提醒:是相对应的一句,而且要压抑.是半句话 列举两条长沙市典型的人文地理现象 在分光计实验中为什么要把光栅面放在平台上两调节螺旋的垂线上 《蜗居》电视剧结局的最后一个镜头里,屏幕上出现了一段文字,是什么?没来得及看.想知道那段文字写的什么. 关于长沙地理关于长沙地形地貌的介绍 英文的 可能我需要更详细具体的,关于地形地貌的, 英语翻译 同归于尽是什么意思? 美的空调扇使用制冷时要不要在水箱中加水啊?为什么我加水再放冰晶后按加湿不会制冷啊? 英语翻译 如果你不离开我,我们同归于尽的英语怎么写,这英语还有什么解释 买了台美的空调扇AC120-G,制冷时,要放入冰冻的冰晶盒,那冰晶盒是不是要冻成冰块啊,还是只要是冰的就行了? 怎样判断原子的电子组态?以下哪些原子或离子的电子组态是基态,激发态还是不可能组态?(a)1s22s2 (b)1s23s1 (c)1s23d1 (d)[Ne]3s23d1 (e)[Ar]3d24s2 (f)1s22s22p63s1 (g)[Ne]3s23d12 (h)[Xe]4f7 (i)[Ar]3d6这道题是高教社 《女蛹之人皮嫁衣》最后一个镜头什么意思最后一个镜头,时间又回到了半年前,安妮给男主角打电话,说她怀孕了,然后男主角又拒接了安妮的电话,男主角猛拍了一下窗玻璃,电影就结束了,这里 英语翻译“可能我不是个很好的人”这么说对吗?该怎么说? 初一多少分,到初三时才能考上重点高中 用波长为500nm的光 θ=30°照射每厘米刻有2000条缝的平面衍射光栅上,第0级主极大的衍射角应为? No,I am not.求中文翻译! 阴道支原体感染阴道分泌物检测出解脲脲支原体感染,医生说是阴道炎的缘故,给我开了克拉霉素四盒,可是我很担心这是抗生素,吃了会使肠胃道和阴道菌群失调,因为我虽然感染了支原体,但没 求matlab大神帮忙解决错误白光光栅衍射代码clf;%设置固定参数lamda=[660,610,570,550,460,440,410]*1e-9; %七色光的波长,单位米RGB=[1,0,0; 1,0.5,0; 1,1,0; 0,1,0; 0,1,1; 0,0,1; 0.67,0,1]; %七色光的RGB 值d=4e-5; %光栅常 现在哪些牌子的有氟空调扇好?价格是多少?有氟空调扇与加水的空调扇区别优势在哪里?看了很多评论都是说空调扇不好,不是很制冷,但是我有段时间住朋友家感觉还可以,晚上还有点冷必须盖 阴道支原体感染是什么意思? 超声波烫钻机的技术参数? 地质时代怎么具体区分? 支原体感染阴道需要用什么药?病情描述(发病时间、主要症状等):支原体感染总是反复,请问除了吃口服药外,阴道是不是需要也用药啊,需要用什么药呢? 请问下有谁知道超声波捕鱼器功效怎么样 下表简单的介绍了各地质时代的简况,表中的开始时间和持续时间单位均为距今百万年.宙 代 纪 符号 开始时间 持续时间 生物发展阶段 隐生宙 太古代Ar 没有国际性的划分方案 4500 2100 晚期有 支原体感染怎么治疗?吃什么药? 超声波传感器中,技术参数 -工作电压:300~800Vp-p 具体是多少伏呢? 二项系数和跟系数和有什么区别 地质时期指哪个时期?请详细说明. 若函数Y=(6+3M)X+4N-4是一次函数,则M、N应满足的条件是( ),若是正比例函数,则M、N应该满足( )初二数学 俄媒称美欲打造“全球北约”综合遏华日媒:四个关键词解读金正恩时代美媒文章:没有美国的世界将会怎样?波黑发起“植百万棵树”行动财经随笔:“奥巴马医改”为何不讨喜?国际新闻早报:欧洲政界谴责美国窃听行日媒:日英拟开国安热线“牵制中国”美刊盘点中国继续购买美债四大理由日本台风灾区官员与女子欢饮引民愤 或欧盟针对美监控拟推新法规 科技企业或港媒:监控丑闻令美众叛亲离 “去美国军演引发澳大利亚山火肆虐 一名灭火飞日议员质疑安倍 称应给首相出席国会次三名驻阿富汗英军官涉嫌私刑处决塔利班美国国安局被指30天收集1240亿份雄性鱼深夜发奇怪求偶声 扰乱英国居民穷母为喂子行窃 女警感动放人送百美元秘鲁前印加遗址发现两具保存完好的千年联合国继续准备销毁叙化武 瑞典提供运澳大利亚调查山火原因 中国卫星提供监美国600万年轻人赋闲 纽约芝加哥均收藏缙云山最后的风水宝地 唯有融创·姜你军卷土重来 部分超市卖10元“2014 重庆家装马太效应加剧”嘉陵江大桥,是这位老爷子题的字为什么生产车间里看不到人呢?研发国产可分解农膜将填补国内行业空白拿别人身份证去办银行卡,这是啥工作?海亮地产荣登2013中国房地产卓越1哪里有空车位手机一搜便知春暖花开宜出游 乍暖还寒慎减衣坚决杜绝拦卡堵截正常上访人员的做法动动手指点点鼠标新鲜食材送到家铺新污水管 大南门金三角断道剩豆浆喝前要煮沸孙杨解禁但商业活动还不准 停训期间学自主研制系统性价比超进口叫醒世界的花开周老伯绣的鞋垫人见人爱佳兆业广场春节后首推优惠重庆晨报社区报招聘启事首届钢管舞比赛上演本土演员反串出场
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘