说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

10个技巧让你更轻松地使用AWS

HTML文档下载 WORD文档下载 PDF文档下载
区别于实体服务器,IaaS往往会烙上服务提供商的色彩。在AWS进入中国之际,为大家分享10个AWS使用秘诀,其中包括资源的元数据查询、跨区域的依赖性、CPU Steal等方面。

编者按:在之前“亚马逊AWS落地中国,云计算产业圈集体发力”的文章中,我们报道了AWS通过“前店(北京)+后厂(宁夏)”的方式落地中国,也简单分析了国内云产业的现状;同时,我们还在AWS宣布落地中国后对AWS创始人之一Andy Jassy进行了专访,分享了AWS对行业现状的剖析以及对待产品的态度。AWS落地中国之所以会产生如此大的影响,与其在IaaS领域霸主地位是分不开的,而霸主地位凭借的则是庞大的合作伙伴群体与其独特的服务。诚然,每个服务都有强烈的提供商烙印,这里为大家分享AWS“金牌”合作伙伴Netflix前员工带来的10个AWS使用技巧。

下为译文

作者: Chris Fregly,前 Netflix 流平台工程师、 AWS 认证解决方案架构师和fluxcapacitor.com的负责人。

灵感来自Simone Brunozzi最近在旧金山AWS聚会上的演讲,并从我的最近一些Fluxcapacitor.com咨询业务收集,编辑了10个有用的时间及性能节省方案:

1. 查询 AWS 资源元数据

不记得您的 c1.xlarge 集群的EBS优化 IO 吞吐量吗?单一PUT的 S3 对象大小限制又是多少?Awsnow.info可以解决你所有关于AWS资源元数据的问题。对集成awsnow.info与您的应用程序感兴趣吗?很幸运,这里为你准备了一个REST API。

注:这些是默认软限制,会因账户而异。

2. 驯服你的S3 bucket

用一个CLI命令删除整个S3存储桶:

aws s3 rb s3://<bucket-name> --force

Recursively copy a local directory to S3:

aws s3 cp<local-dir-name> s3://<bucket-name> --region <region-name> --recursive

3. 理解AWS跨区域依赖性

从今年夏天早些时候的PagerDuty宕机博文显示一个有趣的跨区域依赖,它违反了关于AWS 区域隔离的传统思维。

摘要:us-west-1和us-west-2区域之间的北加州共同对等点故障,导致2个同步的AZ(每个在不同区域中运行)丢失,那些依靠此部署配置的东西,像HA、quorum(比如在PagerDuty示例中的ZooKeeper),同时丢失的还有在2013年4月13日这86分钟的负载均衡。

4. 使用 ZFS 与 EBS

不约而至的两个美味

在每个AWS文档中,EBS卷每年故障率(AFR)的预期值在0.1-0.5%之间,而商用硬盘的AFR在 4%左右,其中失败是卷的完全丢失。

为了保护自己免受这种风险(虽然很小),你可以使用RAIDZ配置将ZFS中的多个EBS卷集合起来。虽然相对无证,Chip Schweiss有一个很好的博文,有一些有用的脚本,详细介绍了这个话题。

5. 给你的RDS磁盘添加条纹以提高性能

有简单的小技巧使你的 MySQL 和 Oracle RDS 实例性能最大化。首先,尽可能小的给实例规划尺寸。然后,以5GB的增量慢慢增加你的存储,每个增量将创建一个额外的磁盘条纹,这将增加IO和减少寻道时间。

这一点,和许多其它优化技巧一样,可以在前 AWS 工程师的reddit页面 IAMA 找到。

6. 避免吵闹的邻居

在任何像AWS的多租户、非专用、虚拟化的环境,,你一定会体验到CPU受吵闹邻居的影响,也就是CPU Steal。CPU Steal是你的一位虚拟化客户非自愿地等待另一位客户正在使用物理主机CPU的时间百分比.

当使用基于EBS的EC2实例,你可以通过简单的停止和启动实例来逃离嘈杂的环境。你需要确保在它重新启动之前,你的运行状况检查策略不会终止该实例。对S3 支持的 EC2 实例来说,唯一的选择是要结束/发布一个新实例。

你可以通过选择较大的 EC2 实例类型避免吵闹的邻居。更大的虚拟化客户实例需要更多的物理主机资源,因此主机可以支持更少的整体租户。租户始终都是平等的实例类型。t1.micro非常嘈杂且有突发性,类似于老大学宿舍上铺的室友。

然而,,避免吵闹的邻居最有效的方法是是额外支付专用的EC2 实例.。记得专用的实例的费用吗?我们的朋友 awsnow.info 会告诉你答案。

7. 采用CloudFormation

AWS开发了一个称作CloudFormer的工具,允许你为你现有的 AWS 资源创建CloudFormation模板,此工具和CloudFormation本身一样巧妙和神秘。

CloudFormation模板的维护并不容易,但是,你可以在你的模板资源上使用类似#include的宏指令将每个资源的片段拼凑成一个完整的模板。这有利于模板的重用和片段注释。

通过Evan Brown的文章了解到,新的统一的AWS CLI已支持CloudFormation模板。

另一个项目troposphere,可以达到类似的效果。在这里,Peter Sankauskas在关于AWS的解答中描述了这一项目。

值得注意的是,,CloudFormation最近添加了对Virtual Private Cloud(VPS)的支持。

8. 避免为你的工作负载使用差的CPU架构

不同的CPU架构对某些工作负载启用更好的性能,这取决于NUMA特性、高速缓存大小、芯数、硬件线程数量、GPU等等.

像 AWS 的虚拟化的环境不能保证特定的 CPU 体系结构,AWS数据中心的物理软件基本上每天都会有更新。us-east-1,AWS最古老的区域之一,  包含几种不同类型的CPU——AMD Opteron、Intel Xeon和Intel Sandy Bridge。

如果您的工作负荷对这种物理 CPU 体系结构敏感,最好在启动(Linux 上的cat/proc/cpuinfo)时对此进行检测,以便重新启动/终止该实例。如果你对成本敏感,您可以运行该实例 55 分钟,然后终止它。用AWS,无论哪种方式你最少支付一小时的费用。

9. 一开始就使用Virtual Private Cloud(VPC)

VPC 现在是大部分地区新帐户的默认配置。改装一个非 VPC 环境来使用 VPC 是非常耗时的任务——特别是在大型部署中有很多的安全组件。

目前没有针对非 VPC 安全组(只入)和 VPC 安全组(入和出)的迁移路径。事实上,正是因为这种缺乏安全组迁移,Netflix仍在运行非 VPC。

另一个好处是,VPC启用 ELB作为专用子网之后的中间层负载平衡器。非VPC情况下,ELBs 是公开的。

一个常见的配置是使用ELB与HAProxy来启用更多细粒度控制负载平衡算法,因为 ELB 的是黑盒,可以比预计更有附着力。

值得一提的是,网络地址转换(NAT)实例在 VPC 中其实就是对专用硬件设备(单一 ASIC芯片)执行端口地址转换 (PAT)的EC2实例。

10. 在达到预期峰值之前预热和自动横向扩展您的 AWS 资源

ELBs——与其他 AWS 黑盒资源,如NAT、3、DynamoDB、Glacier和Beanstalk,都是由EC2 实例组成,就像您的自定义应用程序。

这些实例就像您的应用程序那样需要自动缩放。在AWS之前尚无自动完成的方法。

默认情况下,基于流量,亚马逊会尽力自动最佳化,但是,在预期峰值之前通知他们进行预热和资源配置总是最好的选择。

演示资源配置中的差异,以下是对高流量、预热和预配置ELB 的Netflix使用挖掘:

$dig cbp-us.nccp.netflix.com<br>;; ANSWER SECTION:<br>cbp-us.nccp.netflix.com. 291 IN CNAME dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com.<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.21.243.94<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.20.155.88<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.21.237.35<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 50.17.181.99<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.22.188.158<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.20.146.144<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 23.21.242.67<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 174.129.230.252

请注意,返回的 8 ELB 实例。此外还要注意双协议,启用了 IPv6。

下一步,下面是低流量、使用默认ELB的FluxCapacitor场景一览:

$dig edge.fluxcapacitor.com<br>;; ANSWER SECTION:<br>edge.fluxcapacitor.com. 300 IN CNAME awseb-e-j-awsebloa-pjstt309pthn-1823662872.us-east-1.elb.amazonaws.com.<br>awseb-e-j-awsebloa-pjstt309pthn-1823662872.us-east-1.elb.amazonaws.com.    60 IN A 23.21.119.137<br>awseb-e-j-awsebloa-pjstt309pthn-1823662872.us-east-1.elb.amazonaws.com.    60 IN A 54.225.176.201

注意只有 2 个ELB 实例返回。

再次,这些都是ELB的组成实例,而不是ELB之后的实例。

原文链接:10 Things You Should Know About AWS (编译/仲浩 审校/周小璐)

Verizon研究显示:中国成为2012年度网络间谍攻击的主要来源 Clang宣布全面支持C++11标准 北大陈钟:SEMAT—中国软件工程发展的新机遇 超华尔街预期:苹果第二财季营收为436亿美元 跨平台游戏引擎Spaceport已被Facebook收购 文科生开发GPU数据库 性能超传统数据库70倍 开发者赚了90亿:从苹果Q2财报,看iOS生态 备受开发者青睐的13款热门开源项目 Netflix赌赢《纸牌屋》背后的秘密武器:大数据分析 为什么:Google Glass只能运行Web应用? 对话Rackspace高级副总裁Jim Curry:我们没有&amp;quot;辜负&amp;quot;营销炒作 7个大数据流言——避免错误的Hadoop和云分析决策 Facebook vs. Google:撇开搜索,数据中心产业上的又一竞技 苹果将于6月10日召开WWDC 新版OS X和iOS或将面世 传Amazon今年秋季发布电视机顶盒设备 够快:不会3种以上语言的程序员不是好程序员 Cloud Foundry、Greenplum获通用电气1亿美元注资 微软推超强Android应用Switch to Windows Phone Unity CEO宣布:放弃支持Flash平台 为交房租做App:我第一年赚了7万美金 iOS越狱大神Comex加盟Google 曾错过苹果Offer 维基百科正式从MySQL迁移到MariaDB数据库 JavaScript MVC框架PK:Angular、Backbone、CanJS与Ember 大数据推广引领精准推广浪潮 ThoughtWorks负责人曾学海:数字渠道细分带来的架构演进 你画我猜2 : Draw Something 2正式发布 云中游科技CEO张帆:畅谈“找你妹”的自营销 Oracle当心,MySQL原始团队已重整旗鼓! 优秀的Meteor学习资源 ThoughtWorks美女分析师:如何规划企业在线数字渠道战略? OpenStack将怎样影响软件行业? 如何实现类适于IE浏览器的图片旋转功能 如何在FileListBox中弹出系统对该文件的右键菜单 如何更改MFC程序生成文件的默认图标? 我是ASP初学者,请大家帮忙? 英语真的那么重要吗? 一个JS的简单问题,但是我还是给100分 怎么透明显示一张bmp图片(急,在线等待) 急,两个问题,帮帮忙(其中一个关于ActiveSkin) 查询出的报表内字段值为空的单元格,显示不出单元格框线,为什么? Java论坛 急!在LINUX下,配置内核时Intel corporation|82801AB AC'的声卡应该先哪项,我用的是2.4.16的内核。 世界杯——蓝色的忧郁 使用异步socket通信,服务器端在OnReceive消息函数中能否获得客户端IP地址? 菜鸟学JAVA送分 怎样用delphi实现EDI? 两到汇编题。麻烦大家帮我做一下。。我实在做不出来 今天去面世了~~~结果他们………… 举报 哪里有.net源程序下载?? : 两到汇编题。麻烦大家帮我做一下。。我实在做不出来 莱鸟问题:如何字符变量str的值赋给EDIT控件, : 两到汇编题。麻烦大家帮我做一下。。我实在做不出来 哪里有2001年的中程的试卷? 第一次来CSDN,以后希望大家多多帮助!! 在VB中获取和修改计算机名字 用什么软件能把扫描仪扫的文章变位文本文档?? 终止线程出错! VB中远程数据库的访问 如何实现使textbox中只能输入带两位小数的内容?即保证其中内容为*.XX(*代表任意数字串),凡不合要求的输入都被过滤? 如何在IIS的DefaultWEB Site的属性的HTTP Header中加入新的File type?? 怎样读jpeg的头文件,用C语言,谢了 为什么我远程连接sql server总不成功呢?我已经把1433端口开了啊 西游记 如何判断一个大整数是素数,如何找出整数的模逆 多层数据库开发源码大公开---不可多得! WinZip等的右键菜单Add to xxx.zip是怎么实现的? 帮帮忙,急! 因写程序丢过头发的请进. 怎样使lable的内容分两行显示 一个使我困惑的小问题,敬请关注(***100分***)!! 帮帮忙好吗? 二个关于字符串中对子串的替换与删除的问题? 怎样实现虚构造函数? 请问各位高手,手机图片和手机铃声是什么格式的?在电脑上能不能打开?应该怎么制作? 请大家帮个忙,有个小问题,如何用showmessage输出括号内的内容('%K%')?在线等待 A simple problem!? 救命,对话框显示的奇怪问题!!! An error 1069 (由于登录而无法启动服务器) 请问为什么向Oracle表里加不上记录? 我在局域网中用些东西常被主机防火墙隔了,有什么办法绕过防火墙 小利问小王:“你们家共有几口人呢?”小王答:“我家人数的3/4再加上3/4个人,就等于我家的人数.”小王家有( )人. 我国人口有1182005000人,这个数读作(),改写成以万作单位的数是().请问()里面还带单位吗 总人数除以平均每人种植棵数等于? 食堂买来2/3吨面粉,如果明天吃1/9吨,可以吃( )天? 双黄蛋孵出来的小鸡是什么样的? ____do you like better,apples or oranges是什么意思 小利问小王:“你们家共有几口人?”小王答道:“我家的人数的3/4再加上3/4个人,就等于我家的人数.”小王 第五次全国人口普查统计全国人口约为1236260000这个数读作,改写成以亿作单位的数约是()亿 Do you like apples 的中文是什么呢 设直线kx+(k+1)y-1=0(k是正整数)与坐标围成的三角形面积为Sk,则S1+S2+S3……S2013的值是? 全国第五次人口普查统计结果显示,我国总人数已达到1295330000人,读作()人改写成“亿人”作单位,并保留两位小数越是()亿人. 求我被同桌摸了奶作文,800字左右. She's going to the cinema( )Sunday evening填on或in,并说明原因. 全国第六次人口普查数据显示,我国现有1370536875人,横线上的数读作(),改写成以万为单位的数是()改写成以亿为单位的数,保留两位 小数是() What’s your sister like?—_______.A.She is a worker\x05B.She likes pearsC.She is very thin\x05D.She is like her father 鱼干里面的虫子对人体有什么危害 乐乐骑自行车去郊游,20分钟行了8km,平均每分钟行多少千米?平均每行1km要多少分钟? Sir you an apple juice中文什么意思 she is going to the cinema( )Sunday evening. A.on B./ C.in 一条排污管道长5分之8km,修了12天后还剩10分之1km没修.平均每天修多少千米? 关于《牛奶与健康》的作文内容要求:主题鲜明.内容健康,构思新颖,富有童真、童心、童趣.作品要求通过对牛奶的认识.饮奶过程中的故事,对提高身体素质、智力水平、学习成绩的作用等展开 已知直线y=kx+k-1和直线y=(k+1)x+k(k是正整数)及x轴围成的三角形面积为Sk,则S1+S2+...+S2006的值是多少? 教室里的一场风波 作文 500字急 求牛奶与健康的作文,谢谢啦 这是什么昆虫,对人体有害吗? 《——的风波》作文,500字以上 牛奶营养健康作文 2.设直线L1:y=kx+k-1和直线L2:y=(k+1)x+k (k为正整数)及 x轴围成的三角形面积为Sk,2.设直线L1:y=kx+k-1和直线L2:y=(k+1)x+k(k为正整数)及 x轴围成的三角形面积为Sk,求S1+S2+S3+…….+S2011的值. 插头有三根线,插座有两个孔,请问我的地线该连接零线还是火线 she likes this coat 改为否定句是 设直线y=kx+k-1和直线y=(k+1)+k(k是正整数)及x轴围成的三角形面积为Sk,则S1+S2+S3+.+S2006的值是? 热水器的插座电线中 黑色 绿色 白色 三根线 哪根是火线哪根是零线 哪根是地线? She likes this coat改为否定句是什么? 鸟蛋颜色大小不一,但结构都一样我想知道鸟蛋是怎样孵出小鸡的?为什么不属于科学问题.课堂上我们一般会根据情景及生活经验,提出明确而科学的问题. 水塔里有细细的小虫是什么虫?对人体有害吗? 列举中国近代史上的反抗事件 5列 一个鸡蛋有可以孵出两个小鸡的吗. 一个圆锥形沙堆地面积是12.56平方米高9m把这多沙子放入长5米宽2m的沙坑可以铺多厚 列举中国近代史上(五四前)9个重大历史事件,并分别写出它们的影响? 食堂运来一批面粉,每天吃20份之1吨,12天后还剩这批面粉的3份之2.运来的面粉有多少吨? 小孩几岁才能上小学一年级, 请列举中国近代史上与南京有关的三个历史事件. 想问一下这是什么昆虫,对人体有害吗? 一圆柱形沙堆,店面积是12.56立方米,高0.9m,把这堆沙子铺入长4.5m.宽2m的沙坑内,可以铺多少米?保留两位小数~ 大家帮忙罗列一下中国近代史上的时事报道 请问下这是什么昆虫?对人体有害么 1只小狗的重量相当于2只小兔的重量,1只小兔的重量相当于3只小鸡的重量,那么1只小狗的重量相当于()只小鸡的重量 两个或多个动名词短语并列作主语的时候 谓语动词是单数还是复数形式例如 Watching TV and reading books are really interesting是不是应该这样 使用复数 爱国的人物 事迹 小孩几岁上一年级比较好我儿子2005年9月23日出生,声母、韵母都学完了,而且10以内的分成都学完了,11+15之类的计算能求. 364只碗三人共食一碗饭,四人共吃一碗羹 找个爱国主义人物或事例!简短一些!不要太长! 小孩子几岁上一年级比较好 一寺院有364个碗,三人一碗饭,四人一碗羹,正好用完所有碗,用方程式求寺院多少 AB两地相距7200米,甲、乙分别从AB两地同时出发,结果在距B地2400米处相遇,如果乙的速度提高到原来的3倍,那么两人可提前10分钟相遇,则甲的速度是每分钟行多少? 大家都知道,鸡蛋可以孵小鸡,但,双黄蛋可以吗,它能孵几只小鸡呢?有特殊情况吗?那有谁知道金刚葫芦娃,小矮人们,仙女们都是七个.这是为什么? 两只狗的重量等于4只兔子1只狗的重量,问1只狗和多少只兔子的重量相同. 两地相距360km.客车和货车同时从两地相对开出,4.5小时相遇,客和货速度的比是5:3,货车每小时行多少米? 双黄蛋可以孵出小鸡吗?为什么 某寺不知有多少和尚,但知道他们三人合吃一碗饭,四人合吃一碗汤,共用了364只碗,试求和尚的人数.今天一定得答完!...
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘