说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

10个技巧让你更轻松地使用AWS

HTML文档下载 WORD文档下载 PDF文档下载
区别于实体服务器,IaaS往往会烙上服务提供商的色彩。在AWS进入中国之际,为大家分享10个AWS使用秘诀,其中包括资源的元数据查询、跨区域的依赖性、CPU Steal等方面。

编者按:在之前“亚马逊AWS落地中国,云计算产业圈集体发力”的文章中,我们报道了AWS通过“前店(北京)+后厂(宁夏)”的方式落地中国,也简单分析了国内云产业的现状;同时,我们还在AWS宣布落地中国后对AWS创始人之一Andy Jassy进行了专访,分享了AWS对行业现状的剖析以及对待产品的态度。AWS落地中国之所以会产生如此大的影响,与其在IaaS领域霸主地位是分不开的,而霸主地位凭借的则是庞大的合作伙伴群体与其独特的服务。诚然,每个服务都有强烈的提供商烙印,这里为大家分享AWS“金牌”合作伙伴Netflix前员工带来的10个AWS使用技巧。

下为译文

作者: Chris Fregly,前 Netflix 流平台工程师、 AWS 认证解决方案架构师和fluxcapacitor.com的负责人。

灵感来自Simone Brunozzi最近在旧金山AWS聚会上的演讲,并从我的最近一些Fluxcapacitor.com咨询业务收集,编辑了10个有用的时间及性能节省方案:

1. 查询 AWS 资源元数据

不记得您的 c1.xlarge 集群的EBS优化 IO 吞吐量吗?单一PUT的 S3 对象大小限制又是多少?Awsnow.info可以解决你所有关于AWS资源元数据的问题。对集成awsnow.info与您的应用程序感兴趣吗?很幸运,这里为你准备了一个REST API。

注:这些是默认软限制,会因账户而异。

2. 驯服你的S3 bucket

用一个CLI命令删除整个S3存储桶:

aws s3 rb s3://<bucket-name> --force

Recursively copy a local directory to S3:

aws s3 cp<local-dir-name> s3://<bucket-name> --region <region-name> --recursive

3. 理解AWS跨区域依赖性

从今年夏天早些时候的PagerDuty宕机博文显示一个有趣的跨区域依赖,它违反了关于AWS 区域隔离的传统思维。

摘要:us-west-1和us-west-2区域之间的北加州共同对等点故障,导致2个同步的AZ(每个在不同区域中运行)丢失,那些依靠此部署配置的东西,像HA、quorum(比如在PagerDuty示例中的ZooKeeper),同时丢失的还有在2013年4月13日这86分钟的负载均衡。

4. 使用 ZFS 与 EBS

不约而至的两个美味

在每个AWS文档中,EBS卷每年故障率(AFR)的预期值在0.1-0.5%之间,而商用硬盘的AFR在 4%左右,其中失败是卷的完全丢失。

为了保护自己免受这种风险(虽然很小),你可以使用RAIDZ配置将ZFS中的多个EBS卷集合起来。虽然相对无证,Chip Schweiss有一个很好的博文,有一些有用的脚本,详细介绍了这个话题。

5. 给你的RDS磁盘添加条纹以提高性能

有简单的小技巧使你的 MySQL 和 Oracle RDS 实例性能最大化。首先,尽可能小的给实例规划尺寸。然后,以5GB的增量慢慢增加你的存储,每个增量将创建一个额外的磁盘条纹,这将增加IO和减少寻道时间。

这一点,和许多其它优化技巧一样,可以在前 AWS 工程师的reddit页面 IAMA 找到。

6. 避免吵闹的邻居

在任何像AWS的多租户、非专用、虚拟化的环境,,你一定会体验到CPU受吵闹邻居的影响,也就是CPU Steal。CPU Steal是你的一位虚拟化客户非自愿地等待另一位客户正在使用物理主机CPU的时间百分比.

当使用基于EBS的EC2实例,你可以通过简单的停止和启动实例来逃离嘈杂的环境。你需要确保在它重新启动之前,你的运行状况检查策略不会终止该实例。对S3 支持的 EC2 实例来说,唯一的选择是要结束/发布一个新实例。

你可以通过选择较大的 EC2 实例类型避免吵闹的邻居。更大的虚拟化客户实例需要更多的物理主机资源,因此主机可以支持更少的整体租户。租户始终都是平等的实例类型。t1.micro非常嘈杂且有突发性,类似于老大学宿舍上铺的室友。

然而,,避免吵闹的邻居最有效的方法是是额外支付专用的EC2 实例.。记得专用的实例的费用吗?我们的朋友 awsnow.info 会告诉你答案。

7. 采用CloudFormation

AWS开发了一个称作CloudFormer的工具,允许你为你现有的 AWS 资源创建CloudFormation模板,此工具和CloudFormation本身一样巧妙和神秘。

CloudFormation模板的维护并不容易,但是,你可以在你的模板资源上使用类似#include的宏指令将每个资源的片段拼凑成一个完整的模板。这有利于模板的重用和片段注释。

通过Evan Brown的文章了解到,新的统一的AWS CLI已支持CloudFormation模板。

另一个项目troposphere,可以达到类似的效果。在这里,Peter Sankauskas在关于AWS的解答中描述了这一项目。

值得注意的是,,CloudFormation最近添加了对Virtual Private Cloud(VPS)的支持。

8. 避免为你的工作负载使用差的CPU架构

不同的CPU架构对某些工作负载启用更好的性能,这取决于NUMA特性、高速缓存大小、芯数、硬件线程数量、GPU等等.

像 AWS 的虚拟化的环境不能保证特定的 CPU 体系结构,AWS数据中心的物理软件基本上每天都会有更新。us-east-1,AWS最古老的区域之一,  包含几种不同类型的CPU——AMD Opteron、Intel Xeon和Intel Sandy Bridge。

如果您的工作负荷对这种物理 CPU 体系结构敏感,最好在启动(Linux 上的cat/proc/cpuinfo)时对此进行检测,以便重新启动/终止该实例。如果你对成本敏感,您可以运行该实例 55 分钟,然后终止它。用AWS,无论哪种方式你最少支付一小时的费用。

9. 一开始就使用Virtual Private Cloud(VPC)

VPC 现在是大部分地区新帐户的默认配置。改装一个非 VPC 环境来使用 VPC 是非常耗时的任务——特别是在大型部署中有很多的安全组件。

目前没有针对非 VPC 安全组(只入)和 VPC 安全组(入和出)的迁移路径。事实上,正是因为这种缺乏安全组迁移,Netflix仍在运行非 VPC。

另一个好处是,VPC启用 ELB作为专用子网之后的中间层负载平衡器。非VPC情况下,ELBs 是公开的。

一个常见的配置是使用ELB与HAProxy来启用更多细粒度控制负载平衡算法,因为 ELB 的是黑盒,可以比预计更有附着力。

值得一提的是,网络地址转换(NAT)实例在 VPC 中其实就是对专用硬件设备(单一 ASIC芯片)执行端口地址转换 (PAT)的EC2实例。

10. 在达到预期峰值之前预热和自动横向扩展您的 AWS 资源

ELBs——与其他 AWS 黑盒资源,如NAT、3、DynamoDB、Glacier和Beanstalk,都是由EC2 实例组成,就像您的自定义应用程序。

这些实例就像您的应用程序那样需要自动缩放。在AWS之前尚无自动完成的方法。

默认情况下,基于流量,亚马逊会尽力自动最佳化,但是,在预期峰值之前通知他们进行预热和资源配置总是最好的选择。

演示资源配置中的差异,以下是对高流量、预热和预配置ELB 的Netflix使用挖掘:

$dig cbp-us.nccp.netflix.com<br>;; ANSWER SECTION:<br>cbp-us.nccp.netflix.com. 291 IN CNAME dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com.<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.21.243.94<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.20.155.88<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.21.237.35<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 50.17.181.99<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.22.188.158<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 107.20.146.144<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 23.21.242.67<br>dualstack.nccp-cbp-us-frontend-61636918.us-east-1.elb.amazonaws.com. 18    IN A 174.129.230.252

请注意,返回的 8 ELB 实例。此外还要注意双协议,启用了 IPv6。

下一步,下面是低流量、使用默认ELB的FluxCapacitor场景一览:

$dig edge.fluxcapacitor.com<br>;; ANSWER SECTION:<br>edge.fluxcapacitor.com. 300 IN CNAME awseb-e-j-awsebloa-pjstt309pthn-1823662872.us-east-1.elb.amazonaws.com.<br>awseb-e-j-awsebloa-pjstt309pthn-1823662872.us-east-1.elb.amazonaws.com.    60 IN A 23.21.119.137<br>awseb-e-j-awsebloa-pjstt309pthn-1823662872.us-east-1.elb.amazonaws.com.    60 IN A 54.225.176.201

注意只有 2 个ELB 实例返回。

再次,这些都是ELB的组成实例,而不是ELB之后的实例。

原文链接:10 Things You Should Know About AWS (编译/仲浩 审校/周小璐)

TCL H5TV:回归电视本质,与开发者共赢 烽火星空徐国龙:依托平台,坚持开放与标准,企业移动化快速研发之道 首届bong线上黑客马拉松第一阶段达成! 12支团队晋级 APSys 2014,AMD将发表基于异构体系的DNN实现与评估 PagerDuty实战分析:将MySQL迁移至XtraDB并成功运行EC2 Molecule:自食其力的免费HTML5游戏框架 智能家居升级:Nest启动开发者计划,并开放API Docker,从这里做起! 《近匠》云巴创始人张虎:低门槛云服务为小团队创造更多机会 Oculus公司同意收购Xbox 360手柄设计团队 公有云VS私有云 哪个数据更安全? 调查:开发者越老越吃香吗? Facebook在线支付:取代虚拟货币的终极边界 Google I/O前析:关于新一代设计框架Quantum Paper的猜想 Google I/O 2014前瞻:“令人发指”的Android产品线 福昕熊雨前:PDFium开源项目的背后 Dropbox无法登陆,国内企业网盘横向评测! 如果编程语言是超级英雄…… 谷歌发布Material Design设计语言 系统、功能与设计,Android L究竟新在哪儿? 《近匠》游道易副总裁孙可:发行商眼中的手游市场 布道师徐立:Docker是标准化IT结构的新方式 解读全新Google Play Games:多屏游戏时代终于来了! 设计神器PaintCode 2.1发布,完全支持Swift 一周消息树:天河二号以每秒3.3亿亿次的速度再居世界超算榜首 传闻微软计划用Lumia品牌取代Surface 【CTO俱乐部读书会】杨立东:技术团队留人“三板斧” 蓝港在线王世颖:浅谈手机游戏发行的成功基因 美国高通公司执行董事长Paul E. Jacobs:移动科技——精彩现在,辉煌未来 告别公用云,Instagram已将服务迁至Facebook数据中心 华为助力凤凰实现全媒体战略 高手帮帮忙!!!! 一直报告错误,但一直不知道为什么错了?请帮忙,谢谢! 什么样的人适合开发游戏 水园越来越没灌头了, T 图罢,聊表雅兴 出差在外,大家怎么排解孤独的? 要去杭州的华大基因研究中心实习~~GGJJ知道那里的情况么? 大家谈谈用户控件吧? 在数据库中删除信息的成功,但如何判断要数据库中删除的信息不存在~在线~有源程序~~ 卸载了softice之后出现显示问题,高手解决一下。 请教关于物理地址的题。 caplock这个键有什么用啊,我怎么以前没有听说过啊,现在在EXCEL书本上看到,看不难啊。 我的redhat8+adsl能上网,请问局域网用户怎么上网呀(NAT).急呀,明天要最后的期限 高分求《com本质论》可惜不能一次放2000分!!! 暑假用C#作的基于SQL SERVER的.NET 三层架构的信息系统,请批评指正 给版主的建议,支持者请跟帖。 如何学好C语言? 请教各位高手,在我的word2k中,怎么敲空格键显示的却是一个小黑点,但是预览和打印却还是空格? 小弟求助,是大侠的进来看看!!!!! 想打印出类似project2002的进度图,怎么办 ###########window.showModalDialog执行严重出错,请看..... 我的redhat8+adsl能上网,请问局域网用户怎么上网呀(NAT) 急用!!!!!!!!!!!!!!!!!!!! 高手进!! 现在开培训班,如果运行office2002,autocad之类的软件,需要什么样的机器配置? 如何用让RadioButtonlist的text显示图片? 散分有什么好处? 我装了LINUX后不能安装windows2000了???? 菜鸟问题 如何让Foxmail显示所有邮箱中的邮件?! 解决的这个问题,你要什么给什么,在线等 求助朋友,好人, 我的作业要交,请您帮忙,真的很急 怎么样学好c++ DBGrid滚动条拉动问题 如何合并两个图像处理的程序!! 9.9 阅读理解 (Unit 5) 求一C程序:当前目录下最新(最后)创建的文件的文件名,并将其赋给char fname[ ]. 关于数据库设计的问题(觅高手!) 有没有人用 Symantec Enterprise Firewall With VPN 7.0,给个cdkey啦 怎样才能用ado.net把数据库中一个select语句的结果,逐个显示出来。 而不用任何绑定。 有关悬浮的工具栏窗体问题,没人知道啊 第一次接触汇编CASL,请问SP,(SP),((SP))的区别?如将SP换成其他变量或寄存器是否一样? 網絡問題? 共享访问的问题 请问众高手一个语句的写法,谢谢! 大新闻:Microsoft.MSDN.Library.October.2003-TBE(3CD)出了!!!有人可以找到吗?? 请问如何设置诺顿个人防火墙的作为网关上网? 请问一下大家,大家在背mcse、ccna等考试的题库时有什么方法背最好呀,或则是用什么办法作弊最好呀? 如何通过VB向EXCEL模板写入数据? 一个运行时间错误!!! 在linux下使用highpoint的hpt372芯片做raid1,有做成功的朋友吗? WEB数据库 请问oracle的ORACLE_HOME环境变量怎么设置? 英语翻译After a serious typhoid fever epidemic occurs simultaneously with Helen's death,the conditions in Lowood improve and Jane slowly finds her place in the institution,eventually becoming a teacher.When Miss Temple marries and moves away,Jane 用appreciate,公司非常重视我.翻译 这些是你父母的照片吗?请把收音机打开.(翻译成英文). 数列极限化简问题这三个怎么化简啊 an appreciate walk area 这句怎么翻译呀 求3T的I appreciate歌词中英文对照!求漂亮的翻译! 为什么不能用氢气和氧化铝炼铝~ 亲亲我的妈妈好词佳句 求英文翻译,非常感谢! 天蚕土豆那么垃圾怎么票还那么高 英语翻译 中国代表在联合国呼吁支持最不发达国家酝酿八旬六连任 麦凯恩欲2016年竞成人高考本周末开考今明两天发放准考证男子持韦小宝身份证乘火车 称只想开个早上拜孔子上课念四书五经 杭州郊外有菲总统再度表示菲政府不会就马尼拉人质以情报部长质疑伊朗谈判诚意 呼吁美国浙江临海户外休闲用品业蓬勃发展 企业莫斯科“双子星”餐厅 店员都是双胞胎澳大利亚第三季度通胀率达2.2%综述:欧盟峰会三大议题考量复苏后劲国家奖学金启动申报“电子眼”、“义眼”有啥区别?4D《白狐》郑州试映■机构看盘沪综指三门峡彩民喜中七乐彩205万境外消费 货币兑换0手续费河南歌舞演艺集团进校园间歇性跛行,当心腰椎管狭窄2013年度胎教音乐会盛情开演吃月饼、大闸蟹,种植牙真给力我的爱丽丝远南大顺威武三国之窃国天下杀手派悍侍超级悍将鲤跃九重天天才混混地球大领主最强之恶超山赏梅旅游中心广场旅游黑龙江省民族博物馆旅游大教堂旅游哈桑二世清真寺旅游基隆港旅游十分老街旅游八仙洞旅游三仙台旅游小野柳旅游关山风景区旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘