说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

亚马逊云平台的迁移过程

HTML文档下载 WORD文档下载 PDF文档下载
文章分别从成熟老系统的常见问题、迁移过程需要考虑的问题以及迁移后带来的收益说起,详细介绍了亚马逊云平台的的迁移过程及注意事项。

【导读】本文转自Bruce Dou的博客,作者分别从成熟老系统的常见问题、迁移过程需要考虑的问题以及迁移后带来的收益谈起,详细介绍了亚马逊云平台的的迁移过程及注意事项。

最近3个月变化很多,离开呆了5年多的北京,开始英国的工作和生活。到这之后基本在做系统向亚马逊云平台的迁移,踩了不少坑,收获也很多。由于系统的迁移涉及各个常见的架构组件,边边角角的细节很多。和大部分系统一样,长时间野蛮成长积累了很多问题。这样的老系统迁移到新平台意味着你需要处理所有之前埋下的问题。公司之前聘请了亚马逊推荐的第三方咨询服务工作在做迁移,但是由于问题太多,拖了很长时间没有完成。

成熟老系统常见的问题:

1. 缺乏文档

这应该是大小公司都存在的问题。文档会极大降低开发效率,并且互联网项目的特点是易变和追求速度,详细文档不是很好的方案。这就要求方案和细节设计上的合理性和不要做 “精巧”方案。结构化设计,不要零散的组成,这样其他人即使没有文档也可以理解。

2. 项目中临时方案太多

导致后来看起来很别扭而且不容易理解,半截工程。系统中存在大量“精巧”的设计,导致后来者难以理解。这也告诉我们做设计的时候尽量简单通俗易懂,项目设计的可沟通性也是很重要的一方面。某位工程师说自己花了1周的时间才搞明白Postfix的收邮件并自动解析的过程是怎么运行的。

3. 代码质量参差不齐

代码质量问题每个大点的团队都没法保证,保持代码库的干净很重要。

4. 繁杂的业务

5. 代码的Bug和代码对环境的兼容性

之前的系统使用配置文件做主从读写分离,配置文件由其他系统控制。但是配置文件确保留在代码库中,这意味着假如代码回滚或者 check 分支出错,配置文件会发生改变。不该发生的全会发生,这样的事情确实发生了。导致部分操作写入从库,从库与主库同步失败,典型的脑裂问题。最后只好花了很长时间重做从库的同步。这样的问题处理并不复杂,复杂的在于如何发现这个问题的原因。业务系统各种奇怪的表现,有时候很难想到问题的根源。

迁移过程需要考虑的问题:

1. 完善测试

性能测试可以采取流量镜像复制,读操作有很多简单可靠的流量复制工具,有时候根本不需要一个高大上的流量复制系统。并且大部分系统都是读多写少,测试不是什么难题。

功能性测试只能尽量做足,让熟悉系统的用户进行。

2. 无缝迁移

整个过程基本实现了平滑无缝迁移,系统的没有停止 1 分钟运行。由于项目的特点,比较少写操作,重点是读,暂停写操作后作将 HaProxy 后端逐步指向新集群,等全部流量导入新集群后修改 DNS 指向新集群。这里还涉及到 DNS TTL 从长变短再变长的修改过程。

缓存预热很重要,尤其是数据库的预热,这就要求新集群流量导入逐步进行,防止对整站延迟的影响。

3. 回退方案

由于暂时停止写操作,即使流量导入到新集群后测试发现问题仍然可以指回旧集群。

4. 改进还是保持原状

由于架构组件的选择余地很大,之前的各个组件的配置是否合理需要很长时间 Review。这里就要权衡保持原状还是一次性做好优化。比较好的方案是如果不是 BUG 则保持原状,等系统完成迁移再进行改进。

5. 性能的持续监控和对比测试

性能监控工具已经非常成熟了,比如 AppNeta 和 New Relic , 基本可以把控各个组件的性能。在迁移之前也可以进行镜像流量复制对比测试新旧集群的性能。

迁移带来的收益

1. 重新设计的发布自动化

业务代码、系统配置、云架构配置的分离,任何操作的版本化,可回退。

2. 弹性扩展,总体成本的降低

迁移到亚马逊的主要原因就是高低峰流量差异很大。迁移后低峰期可以节约 1 半的机器成本。

3. 跨区域容灾,无单点故障

实现了 Multi-AZ,任意单点故障不影响业务运行。Web 前端服务器可以随手关掉,数据库的升级,配置改动也无任何影响,当然这归功于 RDS Multi-AZ 功能。

4. 运维难度的降低,无需运维

系统会自动根据负载进行增减机器,所以无需担心压力大把机器打垮,单机器的各种故障也无需人工处理。

来自:Bruce Dou Blog

短命:微软将于2014年停止对WP8系统支持 Native和Web过时了,企业级移动开发流行用Hybrid App 与EverNote竞争?谷歌Google Keep浮出水面 又一次跨越:著名3D游戏引擎Unity版本更新 Feedly团队:自研后端平台或将开源 StackMob的诱惑:16小时,山寨一款移动App “云”筹帷幄 开发者必知的5大SaaS在线服务工具 超350个政府项目托管在GitHub 政府开源会成主流? Kinect for Windows SDK 1.7正式发布,支持3D建模 SafeNet与风河系统联手推出VxWorks嵌入式系统软件货币化方案 Windows Server 2012中的动态负载均衡 Google等互联网公司将成为创新中心? 在Hadoop的战争中 MapR获新一轮3000万美元融资 初创公司DNNresearch:谷歌科技帝国的新“基石” 创业了,我们该如何起名? 乐视网联手富士康推新盒子C1S “0+290元”新浪微博发售 吸引开发者:只要开发新应用 微软便奖100美元 PaintCode - 将矢量图转化为Objective-C代码的开发神器 苹果发布iOS 6.1.3 封杀evasi0n越狱所用漏洞 [API快讯] Google开放实时协作API 58同城开源轻量级Java Web框架 Argo 初创公司AppNeta:4轮融资,4780万美元 MongoDB释放2.4版本:692更新及8大得意之作 十年6亿美元!Amazon云计算喜获CIA大单! 国人当自强:HTML5+联盟首次筹备会成功举行 开源框架TAAE发布 快速打造iOS音频应用 如何学会600多种编程语言 “第五届中国云计算大会”将于2013年6月5-7日在京召开 Ridiculous Fishing:游戏遭遇山寨如何一雪前耻 老游戏的今天:Doodle Jump每周进账2万美元 剑指Evernote 谷歌正式推出Google Keep 如何在windows2000下安装apache服务器? 请问谁能帮我把linux里网卡芯片w89c940的驱动源程序提取出来?? html页面上的透明传输 C# webform的简单问题,如何关闭窗口 新手上路,Jb8的小问题 100分求购 经常看到说ADO很好的帖子,但是还是有一些疑惑,望高手赐教 用VC编写NetDDE程序,怎样设定客户程序连接服务器时的密码? 怪问题,请大虾帮忙!!!! 请问要学习数据库系统设计应该看那些资料? 急:高分求助关于jdbc连接MySQL数据库的问题. 如何用javascript来检测机器上是否安装word2000?请给点代码提示,先谢谢了 在本地机器上测试邮件发送 使用treeview数据库绑定,能不能绑到一个子节点下? 关于给目录树的子菜单再增加下层菜单的问题 要访问mysql数据库中排列在最前面的5条数据,怎么班? 高分征求 SQL SERVER 数据库的冗余、负载均衡的解决方案? 无法从硬盘安装Redhat9,大家帮帮我 Delphi7中安装上自己编写的控件后出现的问题??? 求助 100分深情大奉送!! 请教各位高手帮忙是关于EOT的??? 到底怎么用存储过程?是不是在查询分析器中使用? 到底怎么用存储过程?是不是在查询分析器中使用? 串口问题!!! behavior:url(#default#userData)的问题!马上给分。 如何得到所有用户表的表名?(在线等候) 怎么让打开的EXCEL文档自动到某一工作表?? 如何分别取得字符串中空格前和空格后的数据呢?如‘dfds df fds'分为dfds df fds. 谁知道MSWord的文件格式? 怎样给自定义函数设置多个参数项? 在URL地址栏中传递字符串参数遇到的一个问题??? 如何在繁體下打開簡體文件名的文件?要求不能用改名的辦法 插入数据到数据库! 高手关注--------送分-----------急急急! 在ASP中如何编程建立索引服务的编录及目录? 在web server application把MEMO字段中带格式(RTF)的内容转换成纯文本? 请问在身份验证中,能否有两个login.aspx??? 急~那篇给vb控件打包文件添加数字签名以便浏览器浏览的那篇文章在哪里? 用vb如何实现模拟雷达界面??欢迎赐教! 如何用CSS控制INPUT的输入外观不是立体的,而看起来是平板的样子,只有一个边线? 用户注册的问题,密码总验证不对,能不能看看错在哪里? 如何使文本框只显示下面的边框? xsl求助~~~ 怎么将int转为CString 有的论坛采用从数据库得到帖子,有的使用shtml,有的使用xml,孰优???还有其他吗? 100分==在JSP中打开word文件的实例 紧急在线等一个很简单的问题 DTPicker 怎样和数据库绑定? 如何动态改变VB报表中Section中的一个与数据环境绑定的rptTextBox的颜色!(100分求教) datediff()这个函数怎么用哪位高手可否给小弟讲解一下急用在线等 和女友分手了,痛苦! 最后一句话是“娇艳的玫瑰上,一闪一闪的,是晶莹的水滴.” 这篇文章的题目是'棉袄与玫瑰最后一句话是“娇艳的玫瑰上,一闪一闪的,是晶莹的水滴.” 这篇文章的题目是'棉袄与玫瑰 1.已知a-1/a=3,那么a^2+1/a^2=________.2.不改变分式的值,使分式的分子 分母中各项系数都为整数,0.2x-0.012/-x-0.05=_______3.已知关于x的方程x+m/m(x-1)=- 4/5的解为x=-1/5,则m=______4.若(x-3)^0-2(3x-6)^-2有意义,那么 适合考实验班的高中数学定理 tanα/2=m,则sinα= cosα= 怎样画出一个角的平分线 若sin2α=1/4,则|cosα-sin2α|的值是__________好的,我会看情况加分. 若a^2+a+1=0 求a^2+a^8+a^9+2009的值 怎样用角尺画出角的平分线? 有腊梅品质的人 数学小几何...证明题.. 如图,已知GD//HE,且∠1=∠2,试说明AF//BC 已知α为锐角,sin=五分之三,则tan(α-四分之派)等于 [ ] A.七分之一 B.-七分之一 C.7 D.-7 若sin2α>0且cosα<0.则α是? 要一篇《每天都是一首诗》的写作指导 小叶红檀和小叶紫檀哪个好 白鹅课文的写作特点 在直角三角形abc中,c=10,ab=3比4,a=?,b=? 城市面貌,人际关系,交通,社会治安按词性如何排序 仿写白鹅的作文 锐角α,β满足sinβ=mcos(α+β)sinα(m>0,α+β≠90°)令x=tanα,y=tanβ,(1)y=f(x)的表达式(2)当α∈[45°,90°)时,求函数f(x)的最大值 红檀和小叶紫檀的区别是什么? 白鹅这篇课文的简介 已知sinα=msinβ,ncosα=mcosβ,且α、β为锐角,求证cosα=根号下(m方-1)除以(n方-1) 腊梅品质成语.诗句 白鹅 课文中白鹅昂首大叫写的是白鹅的什么? 已知集合M={x|x方+根号下m乘x+1=0,若M∩R=空集,则M的取值范围是? 请详细解说,用高一知识解说.谢谢 液相色谱仪维修一般是返厂还是现场修 八年级生物题,我实在看不懂,帮忙看一下吧!谢谢啦!题目:某种雌雄异体的植物有宽叶和狭叶两种类型.宽叶由显性基因B控制,狭叶由隐性基因b控制,B和b均位于X染色体上.基因b使雄配子致死.请 若a b 为锐角.且tan a = 7分之1 sin b =10分之根号10 则a +2b 等于多少!急 如图,A,B,C都在⊙O上,∠1=∠B.求证:AE是⊙O的切线就是在⊙O中,一个三角形ABC,AB,BC,AC都为任意弦,然后AE直线紧贴⊙O,求AE为切线 如何用三角尺画出一个50°的角 正三棱台的上、下底面边长及高分别为1,2,2,则它的斜高是 ad,ae分别是 △abc的高和角平分线求角dae与角c-角b的关系,请证明 高一数学求解答 问一题高中生物遗传图解的题目D为什么是错的C怎么算谢谢了 作文;选自然科学、社会生活热点项内容作调查研究课题,写一份研究报告分数很高了,注意只能400~450字哦 1.已知集合A是方程ax²+bx+1=0的解集.1.若A={-1.1},求a,b的值.(2)若A={1},求a,b的值、 2.已知集合A={x丨x-a=0},B={ax-1=0},若A含于B,求a的值.(2)若B含与A,求a的值. 小学四年级语文上册14课课文的段末说白鹅“可要大吃一惊”了,这是为什么? 小叶紫檀和血檀的区别 如图,已知正方形ABCD的对角线交于点O,E是OA上一点,CF⊥BE于点F,CF交OB于G.求证:OE=OG. 童年梦境的作文童年梦境的作文 600字 举例说明如何选择社会调查研究的课题 如图,在正方形ABCD的边BC的延长线上取一点H,使CH=CE,联结DH交BE的延长线于点G,证明DH=BE,DH⊥BG 画出最大的圆 社会科学方法论课题选择求帮忙想一个研究课题吧 最好新颖一点,研究范围不要太广,主要题目形式为A和B的关系研究之类的. 高数∫x^(-1) dx = x * x^(-1)+ ∫x dx = 1 +∫x^(-1) dx 然后移过来1=0这是怎么回事? 童年梦境的作文! 怎么样用圆规画角平均线 在直角三角形ABC中,角c=90°,角A 以“童年梦境”为题写一篇作文[初一]急!要求:1、充分发挥自己的想象 2、运用描写的表达方式3、字数在600字以上[好的可以追加分的,最好多一点,越快越好] 使用电子白板时,用圆规画角,可以直接显示度数嘛 若|a|=2,|b|=1,则a-b的值是多少同上 作文:童年梦境 600字 急用 高数,求解不定积分 ∫√(1+x^2)dx 警犬都是出自哪里分什么种类,请详细说明,以及各种犬的介绍 如图,点C、D线段AB上,△PCD等边三角形,且△APP∽△PDB,求角APB的度数 已知a∈(π,3π/2),tana=2,则cosa= |a|=8,|b|二2,且|a一b|=b一a,求a和b的值. 某商场出售洗衣机上午出售总数的一半多20台下午售出剩下的一半少20台结果还剩105台该商场原来有多少台? 已知a属于(已知a属于(派,3派/2)tana=2,cosa=?求详细解答! 奥巴马被指政治光环不再 支持率与声望一客机在蒙特利尔机场失火被迫疏散 致日本一17岁少年将伙伴推下河 称没有郭声琨:加强防控把暴力恐怖活动摧毁在新疆日报:始终筑牢反分裂思想防线新加坡:见习飞行员遇车祸 获赔留学费美建议叙问题会议11月举行 不确信反印度民众燃放爆竹庆祝排灯节 引发环境孙杨可自选拘留时间 新女友浮出水面亦德国拒绝为斯诺登提供庇护 避免影响德刚果(金)政府宣布该国打击反政府武装俄注重文化保护 文化事业拨款70%用穆尔西审判延后 分析指与穆沙拉夫审判科索沃举行地方政府选举 投票点遭蒙面印尼巴厘岛男子咖啡地中发现2000多美参众两院大佬不宽恕斯诺登 将派“安三中全会前夕高层密集调研民生 为改革李克强登上拖拉机驾驶室与农机手交谈梁振英:菲人质事件若1个月没成果将采曝湛江国资委官员带女下属开房 视频男李克强:农业改革要尊重群众意愿和首创川军赢广东,却伤了刘炜四川艺术家盛赞华西都市报改版严查“为官不为”,方有“不敢不为”鸡公车 百年前成都的“出租车”与父亲拉家常“政务最强音”2016四川政务封云榜故事连载175成都2017买房热点区域不满足120亿 孙志文下个目标冲30适时关注内在需求 放下执念安享晚年肥水流了外人田110不再受理非警务业务,利于提升警川人寿命十年增加2.7岁袁险峰吴群刚分别当选南充市人大常委会还有多远会买房·推荐李康肖友才分别当选甘孜州人大常委会主亚马逊中国总裁张文翊:Prime注册澳驻蓉总领事离任 行李装满成都记忆约什隔扣周鹏省体“燃了”96111健康热线:我不要再当“笨”
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘