说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

从史上八大MySQL事故中学到的经验

HTML文档下载 WORD文档下载 PDF文档下载
本文列举了史上八大MySQL宕机事件原因、影响以及人们从中学到的经验,文中用地震级数来类比宕机事件的严重性和后果,排在最严重层级前两位的是由于亚马逊AWS宕机故障(相当于地震十级和九级)。

本文列举了史上八大MySQL宕机事件原因、影响以及人们从中学到的经验,文中用地震级数来类比宕机事件的严重性和后果,排在最严重层级前两位的是由于亚马逊AWS宕机故障(相当于地震十级和九级)。

一、Percona网站宕机事件

震级:3
发生时长:2011年7月11日
持续时长:数日
地点:加州Pleasanton(幸福屯)
宕机原因:Percona网站主服务器上的3块硬盘损坏,同时因为人员变更,导致未能如预期地恢复,多个网站资产因此下线数小时到数天不等,影响其软件下载及交易。
经验:备份不一定永远正常,不应该对其抱有过多期待。

二、GitHub服务中断

震级:4
发生时间:2012年9月10-11日
持续时长:1:46小时
地点:加州圣弗朗西斯科
宕机原因:GitHub将一对古老的、基于DRBD的MySQL服务器替换成一个拥有3个节点的集群。在合并到新系统时,“活动的”数据库自动出现了多个故障转移(failover),同时又因为集群管理软件的错误操作导致性能下降,最终造成网站宕机。
经验:GitHub修改了Pacemaker配置来保证故障转移仅仅可以被运维人员控制。

三、Journal Space所有数据丢失及网站关闭

震级:5
发生时间:2009年1月5日
持续时长:无限期
宕机原因:Journal Space是一个拥有6年历史的博客平台,基于MySQL开发,其唯一的数据库备份机器由RAID系统维护。最终网站的数据因前员工的报复行为被重写,最终导致所有用户数据丢失以及网站关闭。
经验:永远不要把驱动器镜像当做备份——它能防范物理故障带来的问题,但是不提供时间点恢复功能。

四、PHPFog共享数据库运行中断

震级:6
发生时间:2012年10月8日
持续时长:8小时
地点:俄勒冈州波特兰
宕机原因:PHPFog将用户数据合并到一个新的共享数据库服务上,但是在合并过程中遭受过多的堆叠连接,最终共享数据库停止响应,因此在共享数据库从快照中恢复前一直处于服务不稳定状态。从问题发生到解决一共历时8小时。
经验:
这一事件后,PHPFog加速Amazon RDS用户迁移活动。

五、Couch Surfing因MySQL数据库故障导致服务关闭

震级:7
发生时间:2006年6月
地点:加州圣弗朗西斯科
持续时长:1个月
宕机原因:流行社交网站Couch Surfing曾拥有90000名用户,在2006年遭遇了一场严重的硬盘问题,在试图恢复数据时发现数据库增值备份遭遇问题。其MySQL数据库以及应用关键部分丢失,因此创始人最终关闭了这项服务,随后用户社区又将它重启。
经验:任何MySQL系统必须有一个以上备份服务器;每天都必须验证MySQL备份进程。

六、magnolia因丢失主数据库和备份导致最终无法完全恢复

震级:7
发生时间:2009年1月30日
地点:加州圣弗朗西斯科
持续时长:无限期
宕机原因:Magnolia和Delicious一样,是一个流行的书签服务,基于MySQL数据库。该服务在由于硬盘损坏以及备份系统的错误,丢失了主数据库和备份,最终无法完全恢复。
经验:确保硬件的可靠性非常重要;备份系统是否可行必须得到充分的验证。

七、Amazon RDS宕机事件 

震级:9
发生时间:2012年6月29日
持续时长:3小时
地点:弗吉尼亚州北部
用户影响:亚马逊EC2云计算服务以及包括Netflix公司、Heroku、Pinterest、 Quora、HootSuite和Instagram等。
宕机原因:一个被称为derecho的强雷暴天气系统通过弗吉尼亚州北部,使得亚马逊在该地区的设施失去了动力,发电机不能正常运行,消耗应急电源的不间断电源(电源)系统,从而导致运行在Amazon RDS上的大概上千个MySQL数据库宕机。
经验:扩大7*24小时工程师支持团队规模,发生电源系统故障、UPS启动之前完全支持手动操作开启发电机开关。

八、Amazon RDS宕机事件

震级:10
发生时间:2011年4月21日
持续时长:48小时
地点:弗吉尼亚州北部
用户影响:导致使用AWS平台的Reddit、Foursquare、Hootsuite、Quora以及其他多家社交网络服务商成为“受害者”。
宕机原因:亚马逊修改网络设置,同时在对主网络升级扩容过程中,工程师不慎将主网数据全部切换到从网,由于从网带宽较小,而它的设计目的并非用于主网容灾或备份,因此导致网络堵塞,所有EBS(ElasticBlock Store)节点通信全部中断,导致存储着数据和日志的MySQL数据库宕机,其中运行在一个可用区域里41%的MySQL数据库宕机24小时,14.6%宕机48小时。

经验:亚马逊重新审计了网络设置修改流程、增强自动化运维手段以及容灾架构设计。


MySQL系统宕机的原因(点击查看PDF和大图)


TestBird发布手游真人众测平台——附中国手游兼容性测试白皮书 与用户的再一次连接,微软的免费升级计划背后 颠覆App!LayaBox用Flash开发重度HTML5游戏 WinHEC:微软小娜与小冰正式登陆Windows 10平台 Coursera工程师董飞:典型硅谷公司大数据实战分析 微软开源Visual Studio构建工具MSBuild 死而复生!下架6月,Launcher重回App Store 虚拟投影、高保真耳机!新型可穿戴家庭影院Dashbon Mask 【程序员电子刊精选】躺枪的互联网思维 Algolia的分布式搜索网络架构 对抗苹果?豪雅联合Google、Intel开发智能奢表 VR产品技术解析之三星Gear VR 雅虎北研即将关闭 人才抢夺战迅速拉响 移动应用中的AR开发,5款最受欢迎工具推荐! 中国黑客Pwn2Own再创佳绩 Keen Team三年五夺魁 星环CTO孙元浩:技术解析Transwarp Inceptor是怎样炼成的 第七届中国云计算大会将于6月3-5日在北京召开 两大设计模式 塑造高可读性的网页布局 IP争夺战:任天堂与DeNA联手意味着什么? UNITE 2015干货不断,三天日程抢先看! iOS 8发布近一年,苹果HomeKit都带来了什么? Facebook开源移动网络测试工具Augmented Traffic Control 用JavaScript开发移动原生应用,Facebook正式开源React Native! 《知性》,探寻移动化社区的敏感带 【程序员电子刊精选】技术人员如何参与产品设计讨论之激活那一潭死水 Google开源代码构建工具Bazel 长点心吧!为啥健身应用让你越减越肥? 微信公众号能删除单篇文章了 安卓Android手机应用开发入门书籍推荐 自动释放内存!Facebook推出强大Android图片库Fresco 《近匠》AR学校:从教育领域看增强现实机遇何在 xp的桌面问题 急!!注册数据库的问题 IBM软件清库存(大优惠) linux 9.0 安装后无法启动,请帮助 请问delphi怎么读取xml文件中的内容? IBM软件清库存(大优惠) 〉〉〉〉〉〉〉〉求一份对旧系统进行分析、整合、优化的文档 又是闪烁,头大! 简单问题,请紧急指导.(在线) help help : fortran + dll = ? 奇怪的现象:判断不了SQL sum()查询结果!!! 2003高考试题 设置访问表命令:“access-list 2 permit 10.0.0.0 0.0.0.255”中10.0.0.0 和 0.0.0.255分别指什么? 请问谁知道这是什么缘故啊? 如何计算cpu和memory的一般的使用上限 在delphi中使用什么报表控件打印的报表效果较好 谁知道db或dbf头文件的格式? 急急 NMFtp中我想从ftp服务器下载指定文件扩展名的文件,该怎么办? 初始化页面的时候,如何使TextMode="Password"的asp:textbox有默认值显示? IBM软件清库存(大优惠) 又是可恶的乱码问题 struts与数据库!在线等待! 如何开发asp.net程序(基于vb) vc++的链接错误 如何用程序动态的获得activex控件的方法属性事件信息 请教:使用web.xml做资源约束时如何由自己的程序来做用户验证 请问:怎样编程来来虚拟网卡? 急!创建LOOKUP的问题 如何计算cpu和memory的一般的使用上限 新问题请教! 老问题:从Excel文件里把数据导入导数据库中 有汇编玩的非常牛的人吗??? 字符串操作的简单问题 学习J2EE需要装什么软件? >>有关记录的问题??<< 请高手指教:出现“ORA12663:服务器未提供客户机要求的服务”问题,怎么解决? 大侠救我! 动态sql问题请教,谢谢 填充combobox的问题 windowsxp不能创建拨号连接 怎樣轉換時間格式 ACCESS问题 Linux下上网问题?在线等待!急!急!急! 终极讨论:从Excel文件里面导入数据 winsock的问题 关于WINDOWS下邮件程序编写问题 Solaris下的Makefile问题 在lan里面的两台主机之间怎么配ppp连接,没有modem 我的SQL数据库安装的是实例,好象有问题哦! 高分求票据、合同套打代码! 事务问题,请大家帮忙,在线等待,50分相送!!!! 我心中的黄河,500字 当a1~a10中为a时,计算b1~b10中大于0的单元格数值之和, 数学中 钝角假设和锐角假设是指什么?谢谢.在看黎曼几何和罗巴切夫斯基几何简介的时候看到的名词. 介绍一本书 400字 sum(A1:A10+B1:B10)公式=sum(A1:A10+C1:C10)是否与=SUM(A1:A10)+SUM(C1:C10)一个意思 命题p:任意x∈R,x^2≥0.命题p的否定和非p分别是怎样的?我主要想搞清楚这种命题里,“否定”和“非”的区别是什么... HB与2B铅笔哪个导电越强?你们太没个性了只会复制别人的 什么是等比定理?公式是什么?通俗一点啊,看不懂 萍果手机发短信,怎么没有汉字、只有拼音? 英语里goose summer的意思貌似不是夏天? 等比定理公式 高数 拉格朗日乘数法(2元的)推理疑问与(7)一行的 fy(X0,y0)+λφy(x0,y0)=0 怎么推导出来的 复合函数求导 我这么算哪错了 第三问 关于等比定律,如图记得以前有一个三角形,跟图一样,谁比谁等于谁比谁,这是求的什么,定律是什么,最好详细一点 高数 拉格朗日乘数法44题怎么算? 三个元素相乘求导如a*b*c求导如何化解 设向量a1=(a1,b1,c1),a2=(a2,b2,c2),B1=(a1,b1,c1,d1),B2=(a2,b2,c2,d2),下列命题中正确的是()A 若a1,a2线性相关,则必有b1,b2线性相关B 若a1,a2线性无关,则必有b1,b2线性无关c 若a1,a2线性相关,则必有b1,b2线性无关d 1.已知“命题p:(x-m)^2>3(x-m)”是“命题q:x^2+3x-43(x-m)”是“命题q:x^2+3x-4 suggestion和suggest 什么区别 什么是等比定理初中学过的,一不小心给忘了 已知点O(2x,y²+4)与点Q(x²+1,-4y)关于坐标原点对称,试求x+y的值 开机后出现“the operation timed out”updatesyslive对话框上是这个,还可以上网,网络连接已经修复了,重启还是弹出这个窗口 爱莲说中歌颂的是莲花,却几次提到了菊花和莲花,其用意是什么 “阳奉阴陪”这个词语的一、三两个字意思相反,二、四两个字意思相反,请写三个这样的词语:天南地北 上行下效南辕北辙南来北往厚此薄彼 The operation has timed-out. 等比数列的原理(要详细 英语翻译Specious,however,has the negative suggestion of using deception to make something false appear true. 为什么我的Visual Studio 2003打开项目时会出现这个错误:尝试创建WEB项目或打开位于URL:"http://localhost/web."的web项目时,web服务器报告了以下错误:"the operation timed out". 函数f(x)=2√3sinxcosx-2sin²x,x∈R.(1)求f(x)的单调减区间与对称中心;(2)用五点法画出f(x)在[0,π]的图像. 翻译:1.你真好,给了我这么多建议(suggestion) 2.请代我向你的父母问好.(regards) operation timed 陶渊明的 爱莲说为什么里面主要说的是喜欢菊花 而不说莲花呢? 请帮忙将Serving suggestion翻译成阿拉伯文, 目前的中国,海防和陆防哪个更重要? name that place 帮忙翻译给领导的建议信件我认为我们缺少一个关于XXX的标准文档.以此文档来约束XX的流程、记录客户需求、相关责任人和问题的解决日期.I consider that we need a formular standard document about XXX.It' 新中国成立后为什么致力于海防的现代化建设,结合实例说明 No one was aware_________Jane had gone.A.where that B.of the place C.of where D.the place 谁可以同时用上眉清目秀、红光满面、大步流星、心旷神怡造句急用! 司马迁《史记·商鞅列传》文中的议论代表哪个阶级?卫鞅曰:“治世不一道,便国不法古.故汤武不循古而王,夏殷不易礼而亡.反古者不可非,而循礼者不足多”.孝公曰:“善.”以卫鞅为左庶长 22短文两篇第二课时爱莲说,陶渊明为什么独爱菊花 眉清目秀、红光满面、大步流星、心旷神怡怎样造句? 整形手术英文怎么说? It got its name from the wooden fence that stood where the street now 翻译成英文“准确定位细分市场” 司马迁《史记•商鞅列传》是哪家学派的 怎么理解“你的心里只有你”这句话?好吧,俩高二学生,约定高考后双方都没男女朋友的话便在一起,现在双方依旧没男女朋友,都开始为重本冲刺.但我写了一本青春纪念册,关于我和她的很多事 眉清目秀、疾步如飞、口若悬河造句 求黄河的文章,要500字到530字之间 吃减肥药,做整形手术 用英语怎么翻译 这表情什么意思! 分解因式 x2-6x+8 Let’s go by underground,shall we?保持句子原意,改成:_____ _____ go by underground?.对了追分 π_π……这表情是指什么意思?我送了一份礼物给心上人,是条白色长裙,她发来这个表情π_π…… 运用生活与哲学相关知识,阐述京津冀三地发展为什么 我国近代筹划海防是在哪一历史事件中?你认为当时筹划海防有无意义?你的理由是什么 😪这是个什么表情?什么意思? 英文字母表中那个字母总在向人提问;英文字母表中那个字母能解渴. 戚家军海防的故事 欧式几何和罗巴切夫斯基几何和黎曼几何各有什么特点,都适用什么范围, 专家:我国在售5大类17种转基因生物美方称无迹象显示两美国人遭绑架是恐怖中国画家潘义奎获艺术界\"诺贝尔\"土耳其已用中国导弹试验 硬顶美国别买美方称无迹象显示两美国人遭绑架是恐怖俄要求美与“俄机构在美招募间谍”指控美方称无迹象显示两美国人遭绑架是恐怖黎巴嫩军方破获一武装团伙纽约黄金期价24日收高美国民警卫队设施内发生枪击案两人受伤肯尼迪遇刺50周年拍卖会举行 凶手婚国际反恐会议在伊斯坦布尔召开纽约油价24日小幅反弹美元对主要货币24日继续低位徘徊纽约股市三大股指24日上涨报收埃及又一次缩短宵禁时间人民币即期汇率连破四关口 逼近“5时七部委9负责人“应考”科技经费使用北京地铁10号线一个月故障五回 官方南宁:警方在拆违现场遇暴力抗法被迫用美“杀死中国人”节目被删 万人在白宫气温骤降 心脑血管疾病多了冷,这几天阴雨绵绵二月兰提前绽放15年来,你在跟谁聊?贝因美剥离非食品业务斯诺登用廉价软件动车上,一碗热汤倒在5岁男童身上不如有个会用单反的男人地中海边,绿城当候鸟有人见过她的两枚戒指吗传住建部研究住房保障银行9名犯罪嫌疑人被抓新增资金涌入,关注三类个股被影视剧左右的书单,你怎么看方山脚下今年力争马年继续追逐幸福早出晚归 寒冷刺骨佟彤分诊成品油节后首次调价或搁浅数独游戏前马竞主帅曼萨诺执教国安
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘