说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

从史上八大MySQL事故中学到的经验

HTML文档下载 WORD文档下载 PDF文档下载
本文列举了史上八大MySQL宕机事件原因、影响以及人们从中学到的经验,文中用地震级数来类比宕机事件的严重性和后果,排在最严重层级前两位的是由于亚马逊AWS宕机故障(相当于地震十级和九级)。

本文列举了史上八大MySQL宕机事件原因、影响以及人们从中学到的经验,文中用地震级数来类比宕机事件的严重性和后果,排在最严重层级前两位的是由于亚马逊AWS宕机故障(相当于地震十级和九级)。

一、Percona网站宕机事件

震级:3
发生时长:2011年7月11日
持续时长:数日
地点:加州Pleasanton(幸福屯)
宕机原因:Percona网站主服务器上的3块硬盘损坏,同时因为人员变更,导致未能如预期地恢复,多个网站资产因此下线数小时到数天不等,影响其软件下载及交易。
经验:备份不一定永远正常,不应该对其抱有过多期待。

二、GitHub服务中断

震级:4
发生时间:2012年9月10-11日
持续时长:1:46小时
地点:加州圣弗朗西斯科
宕机原因:GitHub将一对古老的、基于DRBD的MySQL服务器替换成一个拥有3个节点的集群。在合并到新系统时,“活动的”数据库自动出现了多个故障转移(failover),同时又因为集群管理软件的错误操作导致性能下降,最终造成网站宕机。
经验:GitHub修改了Pacemaker配置来保证故障转移仅仅可以被运维人员控制。

三、Journal Space所有数据丢失及网站关闭

震级:5
发生时间:2009年1月5日
持续时长:无限期
宕机原因:Journal Space是一个拥有6年历史的博客平台,基于MySQL开发,其唯一的数据库备份机器由RAID系统维护。最终网站的数据因前员工的报复行为被重写,最终导致所有用户数据丢失以及网站关闭。
经验:永远不要把驱动器镜像当做备份——它能防范物理故障带来的问题,但是不提供时间点恢复功能。

四、PHPFog共享数据库运行中断

震级:6
发生时间:2012年10月8日
持续时长:8小时
地点:俄勒冈州波特兰
宕机原因:PHPFog将用户数据合并到一个新的共享数据库服务上,但是在合并过程中遭受过多的堆叠连接,最终共享数据库停止响应,因此在共享数据库从快照中恢复前一直处于服务不稳定状态。从问题发生到解决一共历时8小时。
经验:
这一事件后,PHPFog加速Amazon RDS用户迁移活动。

五、Couch Surfing因MySQL数据库故障导致服务关闭

震级:7
发生时间:2006年6月
地点:加州圣弗朗西斯科
持续时长:1个月
宕机原因:流行社交网站Couch Surfing曾拥有90000名用户,在2006年遭遇了一场严重的硬盘问题,在试图恢复数据时发现数据库增值备份遭遇问题。其MySQL数据库以及应用关键部分丢失,因此创始人最终关闭了这项服务,随后用户社区又将它重启。
经验:任何MySQL系统必须有一个以上备份服务器;每天都必须验证MySQL备份进程。

六、magnolia因丢失主数据库和备份导致最终无法完全恢复

震级:7
发生时间:2009年1月30日
地点:加州圣弗朗西斯科
持续时长:无限期
宕机原因:Magnolia和Delicious一样,是一个流行的书签服务,基于MySQL数据库。该服务在由于硬盘损坏以及备份系统的错误,丢失了主数据库和备份,最终无法完全恢复。
经验:确保硬件的可靠性非常重要;备份系统是否可行必须得到充分的验证。

七、Amazon RDS宕机事件 

震级:9
发生时间:2012年6月29日
持续时长:3小时
地点:弗吉尼亚州北部
用户影响:亚马逊EC2云计算服务以及包括Netflix公司、Heroku、Pinterest、 Quora、HootSuite和Instagram等。
宕机原因:一个被称为derecho的强雷暴天气系统通过弗吉尼亚州北部,使得亚马逊在该地区的设施失去了动力,发电机不能正常运行,消耗应急电源的不间断电源(电源)系统,从而导致运行在Amazon RDS上的大概上千个MySQL数据库宕机。
经验:扩大7*24小时工程师支持团队规模,发生电源系统故障、UPS启动之前完全支持手动操作开启发电机开关。

八、Amazon RDS宕机事件

震级:10
发生时间:2011年4月21日
持续时长:48小时
地点:弗吉尼亚州北部
用户影响:导致使用AWS平台的Reddit、Foursquare、Hootsuite、Quora以及其他多家社交网络服务商成为“受害者”。
宕机原因:亚马逊修改网络设置,同时在对主网络升级扩容过程中,工程师不慎将主网数据全部切换到从网,由于从网带宽较小,而它的设计目的并非用于主网容灾或备份,因此导致网络堵塞,所有EBS(ElasticBlock Store)节点通信全部中断,导致存储着数据和日志的MySQL数据库宕机,其中运行在一个可用区域里41%的MySQL数据库宕机24小时,14.6%宕机48小时。

经验:亚马逊重新审计了网络设置修改流程、增强自动化运维手段以及容灾架构设计。


MySQL系统宕机的原因(点击查看PDF和大图)


ImageStone图像处理C++类库 jQuery Mobile 开发入门手册--概述 jQuery Mobile 开发入门手册--技术理论 jQuery Mobile 开发入门手册--组件 SMTP/POP3收发邮件的C#类库SmtPop.Net 用C#编写的Telnet开源类库 Visual Studio C#创建Windows服务(Windows Service) C#取得Windows服务列表 C#编程自动安装Windows服务 C#安装/删除 .NET Windows服务 C#启动、停止、重启Windows服务 jQuery实现Ajax提交form表单的简单方法 字符串String与枚举Enum之间的转换[C#] Javascript统计DOM元素里文字的行数 C#从Web网站下载文件 C#得到区域名称列表 C#合并多个PrintDocument WpWidgetLibrary - Windows Phone的HTML部件库(Widgets) 让你不再害怕C语言指针 C语言概述-C语言教程 Turbo C 2.0集成开发环境的使用(上)-C语言教程 Turbo C 2.0集成开发环境的使用(下)-C语言教程 程序的灵魂—算法-C语言教程 数据类型、运算符与表达式(上)-C语言教程 数据类型、运算符与表达式(下)-C语言教程 最简单的C语言顺序程序设计-C语言教程 分支结构程序-C语言教程 循环控制-C语言教程 数值数组-C语言教程 字符数组-C语言教程 函数(上)-C语言教程 散分有什么好处? 我装了LINUX后不能安装windows2000了???? 菜鸟问题 如何让Foxmail显示所有邮箱中的邮件?! 解决的这个问题,你要什么给什么,在线等 求助朋友,好人, 我的作业要交,请您帮忙,真的很急 怎么样学好c++ DBGrid滚动条拉动问题 如何合并两个图像处理的程序!! 9.9 阅读理解 (Unit 5) 求一C程序:当前目录下最新(最后)创建的文件的文件名,并将其赋给char fname[ ]. 关于数据库设计的问题(觅高手!) 有没有人用 Symantec Enterprise Firewall With VPN 7.0,给个cdkey啦 怎样才能用ado.net把数据库中一个select语句的结果,逐个显示出来。 而不用任何绑定。 有关悬浮的工具栏窗体问题,没人知道啊 第一次接触汇编CASL,请问SP,(SP),((SP))的区别?如将SP换成其他变量或寄存器是否一样? 網絡問題? 共享访问的问题 请问众高手一个语句的写法,谢谢! 大新闻:Microsoft.MSDN.Library.October.2003-TBE(3CD)出了!!!有人可以找到吗?? 请问如何设置诺顿个人防火墙的作为网关上网? 请问一下大家,大家在背mcse、ccna等考试的题库时有什么方法背最好呀,或则是用什么办法作弊最好呀? 如何通过VB向EXCEL模板写入数据? 一个运行时间错误!!! 在linux下使用highpoint的hpt372芯片做raid1,有做成功的朋友吗? WEB数据库 请问oracle的ORACLE_HOME环境变量怎么设置? 多态问题! 在游标中,如何跳出本次循环,执行下一次循环?我用的是sybase数据库 关于ShellExecute的简单问题,会的朋友都来看看啊 请问:一个简单的表单数据传送问题 如何用php获得一个表单里面的值? 100分在线紧急求救进程调度和内存分配程序,分不够再加,操作系统原理高手请进 这几天忙,提前祝中秋快乐! 高分求助win2k和SQL server 关于安全与数据备份的解决方案 在游标中,如何跳出本次循环,执行下一次循环?我用的是sybase数据库 一直没有搞清楚的问题(关于字节对齐):求助大侠---》》》》先谢了 大家好才是真的好,有个好网你一定要知道 问:物流管理信息系统与物流信息系统有什么区别! ==好的网络发文系统,应该具备哪些功能?== PHP小问题,望指教! 怎么安装grub? 怎样返回从数据库中查到的记录数目,并把它用Label显示出来啊? 提示:无法找到脚本库“/aspnet_client/system_web/1_0_357_0/webUiValication.js。请尝试手动配置此文件,或通过运行aspnet_resiis-c重 请问版主,是谁删了我的贴子,又扣我的信誉分? 高分求助win2k和SQL server 关于安全与数据备份的解决方案 请教关于CriticalSection 有一段源码帮忙分析 我打CS的时候怎么总是被踢呀? swf转avi的123456789问题 各位高手请进!!!!!!!!!!! 用嘴直接呼吸空气和吃东西时吃进空气都说吃饭是不要说话,容易吃紧空气导致腹胀,那用嘴直接呼吸空气会进入肺里,为什么吃东西时就进入胃里了 有没有什么词形容有实体却是虚幻的? 【高二数学】求球的体积的选择题》》》球O的界面把垂直于界面的直径分成1:3,若截面圆半径为根号3,则球的体积为( )(A)16π(B)16π/3(C)32π/3(D)4*根号3*π写出全过程(主要是思考分 Interrupting others in a conversation is ________rude.A.considered to be B.considered C.considered asD.A and B packet的复数是什么 究竟过程重要,还是结果重要呢?aaaa They _________ the conversation in a friendly atmosphere.A.carried outB.carried onC.carried forwardD.carried with 求I have got a packet of crisps?变为复数形式 in common practice,an englishman starts a conversation___with "What a good day!"and____it with phrases like "see you"or"bye".A beginning, ending B begins,ending C beginning,ends D begins,ends答案是A为什么不选D computer.pear.tower.field.church.packet.bridge这些可数名词的复数形式 13题,我做出来觉得逆否命题是真命题,可是又觉得原命题是假命题,可是原命题和逆否命题的真假性不是一致吗 英媒:养老金制度需考虑气候变化 否则格陵兰岛取消铀矿开采禁令恒天然调查:无肉毒杆菌风险 应改进生省委常委分赴教育实践活动联系点参加指台\"立委\":美国这种邪恶国家一定男子“拍卖初夜”以2600美元成交 外交部:日本应停止渲染外部威胁 说明金砖国家共议“气候变化对粮食安全不利安徽宁国副市长看望百岁老人 疑似PS美驻吉尔吉斯使馆收到不明信封 内装白“萨卡什维利时代”结束 格俄关系被指文化冲突下的《查理周刊》惨案《沙尔利周刊》袭击事件为法国社会敲响尼克斯客场不敌奇才 遭遇队史最长13\"猎狐2014\"专项行动结束 警1月11日 河北博物院文博讲坛带网友“跨越”主题实验短片《第十三双眼睛》法国一餐馆爆炸 尚不清楚此事是否与前南通“两会”1月19日开幕 继续坚持三亚兰博会明开幕 “回归绿色”为创意深圳科技企业开发“嘘嘘宝” 让尿片会哈尔滨市食品药品监督管理局义务献血 黑手教师超级全能眼异世之魔王归来幻途漫修背叛人间的神通者名动好莱坞九州重器十七号的荣耀燃烧军团异界降临召唤封神召唤多塔英雄里格半岛旅游柏林禅寺旅游赵州桥旅游西柏坡纪念馆旅游沕沕水旅游望天树旅游岳阳楼汴河街旅游岳阳楼旅游湖南大学图书馆旅游小瀛洲旅游苏堤旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘