说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

从史上八大MySQL事故中学到的经验

HTML文档下载 WORD文档下载 PDF文档下载
本文列举了史上八大MySQL宕机事件原因、影响以及人们从中学到的经验,文中用地震级数来类比宕机事件的严重性和后果,排在最严重层级前两位的是由于亚马逊AWS宕机故障(相当于地震十级和九级)。

本文列举了史上八大MySQL宕机事件原因、影响以及人们从中学到的经验,文中用地震级数来类比宕机事件的严重性和后果,排在最严重层级前两位的是由于亚马逊AWS宕机故障(相当于地震十级和九级)。

一、Percona网站宕机事件

震级:3
发生时长:2011年7月11日
持续时长:数日
地点:加州Pleasanton(幸福屯)
宕机原因:Percona网站主服务器上的3块硬盘损坏,同时因为人员变更,导致未能如预期地恢复,多个网站资产因此下线数小时到数天不等,影响其软件下载及交易。
经验:备份不一定永远正常,不应该对其抱有过多期待。

二、GitHub服务中断

震级:4
发生时间:2012年9月10-11日
持续时长:1:46小时
地点:加州圣弗朗西斯科
宕机原因:GitHub将一对古老的、基于DRBD的MySQL服务器替换成一个拥有3个节点的集群。在合并到新系统时,“活动的”数据库自动出现了多个故障转移(failover),同时又因为集群管理软件的错误操作导致性能下降,最终造成网站宕机。
经验:GitHub修改了Pacemaker配置来保证故障转移仅仅可以被运维人员控制。

三、Journal Space所有数据丢失及网站关闭

震级:5
发生时间:2009年1月5日
持续时长:无限期
宕机原因:Journal Space是一个拥有6年历史的博客平台,基于MySQL开发,其唯一的数据库备份机器由RAID系统维护。最终网站的数据因前员工的报复行为被重写,最终导致所有用户数据丢失以及网站关闭。
经验:永远不要把驱动器镜像当做备份——它能防范物理故障带来的问题,但是不提供时间点恢复功能。

四、PHPFog共享数据库运行中断

震级:6
发生时间:2012年10月8日
持续时长:8小时
地点:俄勒冈州波特兰
宕机原因:PHPFog将用户数据合并到一个新的共享数据库服务上,但是在合并过程中遭受过多的堆叠连接,最终共享数据库停止响应,因此在共享数据库从快照中恢复前一直处于服务不稳定状态。从问题发生到解决一共历时8小时。
经验:
这一事件后,PHPFog加速Amazon RDS用户迁移活动。

五、Couch Surfing因MySQL数据库故障导致服务关闭

震级:7
发生时间:2006年6月
地点:加州圣弗朗西斯科
持续时长:1个月
宕机原因:流行社交网站Couch Surfing曾拥有90000名用户,在2006年遭遇了一场严重的硬盘问题,在试图恢复数据时发现数据库增值备份遭遇问题。其MySQL数据库以及应用关键部分丢失,因此创始人最终关闭了这项服务,随后用户社区又将它重启。
经验:任何MySQL系统必须有一个以上备份服务器;每天都必须验证MySQL备份进程。

六、magnolia因丢失主数据库和备份导致最终无法完全恢复

震级:7
发生时间:2009年1月30日
地点:加州圣弗朗西斯科
持续时长:无限期
宕机原因:Magnolia和Delicious一样,是一个流行的书签服务,基于MySQL数据库。该服务在由于硬盘损坏以及备份系统的错误,丢失了主数据库和备份,最终无法完全恢复。
经验:确保硬件的可靠性非常重要;备份系统是否可行必须得到充分的验证。

七、Amazon RDS宕机事件 

震级:9
发生时间:2012年6月29日
持续时长:3小时
地点:弗吉尼亚州北部
用户影响:亚马逊EC2云计算服务以及包括Netflix公司、Heroku、Pinterest、 Quora、HootSuite和Instagram等。
宕机原因:一个被称为derecho的强雷暴天气系统通过弗吉尼亚州北部,使得亚马逊在该地区的设施失去了动力,发电机不能正常运行,消耗应急电源的不间断电源(电源)系统,从而导致运行在Amazon RDS上的大概上千个MySQL数据库宕机。
经验:扩大7*24小时工程师支持团队规模,发生电源系统故障、UPS启动之前完全支持手动操作开启发电机开关。

八、Amazon RDS宕机事件

震级:10
发生时间:2011年4月21日
持续时长:48小时
地点:弗吉尼亚州北部
用户影响:导致使用AWS平台的Reddit、Foursquare、Hootsuite、Quora以及其他多家社交网络服务商成为“受害者”。
宕机原因:亚马逊修改网络设置,同时在对主网络升级扩容过程中,工程师不慎将主网数据全部切换到从网,由于从网带宽较小,而它的设计目的并非用于主网容灾或备份,因此导致网络堵塞,所有EBS(ElasticBlock Store)节点通信全部中断,导致存储着数据和日志的MySQL数据库宕机,其中运行在一个可用区域里41%的MySQL数据库宕机24小时,14.6%宕机48小时。

经验:亚马逊重新审计了网络设置修改流程、增强自动化运维手段以及容灾架构设计。


MySQL系统宕机的原因(点击查看PDF和大图)


六大领域考评鲍尔默微软掌舵能力,只一“C”尔? 剥离自雅虎的Hortonworks:低调发展,三年融资近1亿美元 Google的中国梦如何死于傲慢与不得力公关 [回顾]昨日黄花,那些被人们遗忘的11个操作系统 管理企业级API的7个最佳实践 Java 与 .NET 的平台发展之争 英特尔正在开发3D深度感知摄像头 可读出人类的情绪等 从数据平台到运营平台:国产开源移动统计Cobub Razor发布0.6版本 八月网络事故频现,CN域名遭最大规模网络攻击 Google云平台或将成为Amazon最大竞争对手 Camera360宣布完成1800万美元B轮融资 利用ZK Ajax框架 高效扩展Web App Web开发者需养成的8个好习惯 GitHub工程师专访:奶昔+海象+游泳池=开源 Paymill发布移动SDK,实现应用内直接支付 免费到付费:全球第二开源Web Server Nginx“堕入”商业化 乐视发布新版智能电视操作系统LetvUI 2.3—Schnauzer 进步还是灾难的开始?科学家首次通过互联网实现“心灵感应” 叫板Apple TV 谷歌发布Chromecast的iOS应用 性能提升100倍的秘密武器:一行SQL代码的妙用 60个开发者不容错过的免费资源库 专门针对初学者的Node.js教程 初创公司Parse.ly:1年内捕获1.6亿独立访问用户,收入增5倍 融资新方式:用未来10年收入的6%融资10万美元 小米手机-HAXLR8on:创客32小时全纪实 图文:看苹果下一代iPhone细节 能吸引你购买吗? [开源推荐]Intention.js:通过HTML进行响应式开发 Android副总裁Hugo Barra将加盟小米 三星将召开首届开发者大会 推新SDK和S Pen 15个步骤创立技术公司,并收获千万用户(三) H3Cloud:为企业提供最优化IaaS方案 天啊!!怎么办啊,救命啊 内存分配的一个小问题 无聊,散分。只给前面十个。 用image控件可以互相转换ico,bmp,jpg三种格式的图片吗? 请问哪有NGWS下载? ?有没有啊 以下程序的输出值是 哪位朋友知晓如果Table与DbGrid绑定后,如何实现非第一索引的排序。 请问MSDN有中文版的吗?我们这的全是英文版的 我的 Win2000 出大问题了,急盼各位大虾赐教 请问那里有VB.NET软件下载呀 什么delphi命令可以打开网页呢? 到底有没有人知道如何可以在panel中动态的调用frame或者是form呢? 哪里有windowsXP下载? 送我能给的最大分,请教很小的问题,中高手进 聊天请进(thinkingdog) 大家来谈谈 IBM都有些什么认证???什么认证现在比较吃香???谢谢!!! 打印数窗问题求助! 如何使用UrlDownloadtoFile下载文件使用进度条? 如何用在两次用getTime()中得到两个不同的时间。 一个类似于牛角尖的问题(多余的CONST),不能忽视,请各位高手详细说明!!谢谢! 怎样读写注册表,每次都不成功,气死我也~! 各位救命啊,用 TClientDataSet.Load XML 的问题。。。。 娃呀呀,pb8怎么这么难安装?jaguar组建就用了5分钟,regester window又用了10分钟,重启动后,还没完,偶不敢装了,把碟退了出来,大家是不是也这样?//牛虻 请教高手一个ado的问题. 请问一个TWebBrowser的问题 请问:系统崩溃后,找不到BOOT,系统告诉:DOS基本分区为格式化?无法引导启动! 在VB.NET的tabcontrol上放置AxMSFlexGrid控件问题,急 java3D 现在大家是用Oracle 8还是 Oracle 9??? C++问题求助! 请教一个错误的原因. 各位大侠请问Jeffrey Richter的windows核心程序设计是不是就是andvanced windows程序设计的第四版 SCJP里的那些什么300-020,020是什么意思啊? 请问一个关于document.write()方法的问题。急啊! 初学者,欢迎灌水。 Delphi6的Bug?不兼容? 为什么我用GetProfileString()却总是得不到结果 sos 请教各位大侠一个问题 delphi6中的installShield 请介绍接收端CRC校验传输内容是否正确的方法,资料或代码。谢谢! 各位大侠请问Jeffrey Richter的windows核心程序设计是不是就是andvanced windows程序设计的第四版? 谁会做软件狗?有钱赚了!!! 为什么我用QuickRep作的报表只能显示一条记录,而且columnHeaderBand上内容也显示不出来 请问在税务局开发数据库的同行么?? 大家好各位大侠请问Jeffrey Richter的windows核心程序设计是不是就是andvanced windows程序设计的第四版? 谁做过软件狗,马上来拿钱!!! 江苏省的成绩什么时候可以出来啊,我是徐州的 shockwaveflash没有hwnd,怎么办? chechy(chechy) 你在吗? 一个关于用excel做的日报的问题 油为什么能穿透塑料袋为什么塑料袋没破 而且油还能穿透塑料袋弄的桌面上油都是油呢? 干冰能够人工降雨原理是什么? 压力容器A/B/C/D分类具体是指什么意思?A与D有区别是什么? 一个正方体在太阳光照射下有几种形状 将干冰用于人工降雨的原理是什么? 一年的正午学校旗杆的影子在旗杆的什么方向为什么 升华过程要吸热,有什么作用? 正午的时候 太阳在你的什么方向 影子又在什么方向说下why 某学校操场上,在O处立有一旗杆,OP是正午时旗杆在地上的影子,影子长度经常变化,当6月22日时影子缩短为0.M有棵树,OM与OP相垂直.(1)旗杆所处纬度为_______,因为____________________________,到________ 用塑料袋炸出的油叫什么做油. 太阳升起与太阳落下时影子最( ),但方向( ),正午时影子最( ). 干冰在人工降雨时所发生的物态变化仔细一点应该好像有四种吧 怎么做塑料除油剂配方才能改进?怎么做塑料除油剂配方才能改进,找哪家公司做比较好呢,最好设备什么的好点? 用“正午太阳偏南,物体的影子指北”来判断方向,只要正午可以见到太阳,那么任何时候都符合上述规律的地区是A.全球各地B.南半球中纬度地区C.北半球纬度地区D.北半球下列词语,从地质学观 用干冰人工降雨发生了哪些物态变化? 俄罗斯联邦为什么不把中国元朝时期就属于中国的领土:西伯利亚、外蒙古、等地,归还中国统治呢?为什么不把中国元朝时期就属于中国的领土:西伯利亚、外蒙古、 库页岛、唐努乌良海、 北京旗杆正午时的影子方向是()8月8日 请问这个焊接符号是代表什么意思?还有a 1.5 是什么意思 影子的方向和太阳的位置的关系太阳的变化 来的 中国和俄罗斯为什么不容易被分裂?我没有分裂中国的意思,我想问的是中国和俄罗斯都是多民族的国家,为什么这两个大国不容易分裂呢? (初二物理题)干旱时,要实施人工降雨必须具备什么样的天气条件?实施人工降雨时常向高空抛撒干冰,请问干冰的作用是什么? 阳光下任何( )的物体都有影子,影子都在( )的一面,在同一时刻,同一地点,直立的物体的影子方向都?阳光下任何( )的物体都有影子,影子都在( )的一面,在同一时刻,同一地点,直 俄罗斯中西伯利亚高原为什么没有东西伯利亚山地高? 压力容器新的分类方法新容规说的你这是旧的容规 在一天当中,物体在太阳光下的影子的方向是如何变化的 用牛奶做隐形墨水的原理在白纸上用牛奶写字,写完后风干,再用打火机,在纸下面烤一下,字便显现出来.但是白纸的替他地方却没有被烤过的任何痕迹.请问这里面用了牛奶的什么原理,请详细讲 为什么牛奶滴进醋里会变成那样?你去试试? 为什么上午太阳光下物体的影子方向应为北偏西 为什么牛奶盒是长方形的?有什么原理吗? 西伯利亚地区有哪些民族,为什么苏联解体了,俄罗斯联邦还存在呢?为什么不把中国元朝时期就属于中国的领土:西伯利亚、外蒙古、 库页岛、唐努乌良海、新疆西北等地,归还中国统治呢? 用什么胶可以把塑料画现在漆墙上?就是白墙 压力容器的等级是怎么划分的什么是一类.二类.三类 久旱无雨时,人们就要实施人工增雨——在云层中撒些干冰,达到人工降水.试解释这么做的道理. 焊接符号表示方法 压力容器是如何分类的 久旱无雨时,人们就要实施人工降雨——在云层中撒些干冰,达到人工降雨,能解释这么做的道理吗?干冰即(固体二氧化碳) 焊接符号怎么表示? 现行压力容器分类标准是什么时候开始执行的 当把干冰撒在空中时,干冰进入云层,很快什么为气体. 这个是表示什么焊接符号呀 历史爱好者们,西伯利亚在元朝管辖时说何种语言?(肯定不再是现在的俄罗斯语言了) 在同一时间,同样高度的建筑物,在下列哪个城市中它的影子最长A.深圳B.宁波C.杭州D.北京 求焊件符号的表示图纸焊件符号表示的意思. 元朝属不属于中国rt 在同一时间,同样高度的建筑物,在下列哪个城市中它的影子最长( )A.深圳 B.宁波 C.杭州 D.北京 这个焊接符号是啥意思?请指点. 牛奶:纸袋的和塑料袋的有什么不同包装不一样营养成分也不一样吗?请详细说明. 在同一时间,同样高度的建筑物,在下列哪个城市中的影子最长() A 深圳 B宁波 C杭州 D北京在同一时间,同样高度的建筑物,在下列哪个城市中的影子最长()A 深圳 B宁波 C杭州 D北京 太阳光下AC与A'C'是平行的,同一时刻的2根相同高度的木杆在太阳光照射下的影子一样吗?说说你的理由.要过程(初一下学期第五章三角形的复习题)最好有证明 一天中太阳各个时间段的朝向,在什么地方,早上,中午,下午各个时间段的影子是朝哪的,注意各个时间段. 科学选择题:在同一时间,同样高度的建筑物,在下列哪个城市中它的影子最长?A.深圳B.宁波C.杭州D.北京 某一时刻测的一根竹竿的影子是这根竹竿的两倍长那么此时的太阳光与地面成多少度角? 早上,中午,下午哪个时间你的影子最长 在同一时间,同样高度的建筑物,深圳,宁波,杭州,北京哪个城市的影子最长 如图,太阳光线AC与A‘C‘是平行的,同一时候两根高度相同的木杆在太阳光照射下的影子一样长吗?说说你的理由 压力容器的分类? 牛奶醋需要什么牛奶跟醋混合来喝对减肥比较好! 正方体在太阳底下的影子成什么图形? 液氮或干冰增雨的原理是什么? 压力容器一、二、三类是怎么分类的
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn