说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

从史上八大MySQL事故中学到的经验

HTML文档下载 WORD文档下载 PDF文档下载
本文列举了史上八大MySQL宕机事件原因、影响以及人们从中学到的经验,文中用地震级数来类比宕机事件的严重性和后果,排在最严重层级前两位的是由于亚马逊AWS宕机故障(相当于地震十级和九级)。

本文列举了史上八大MySQL宕机事件原因、影响以及人们从中学到的经验,文中用地震级数来类比宕机事件的严重性和后果,排在最严重层级前两位的是由于亚马逊AWS宕机故障(相当于地震十级和九级)。

一、Percona网站宕机事件

震级:3
发生时长:2011年7月11日
持续时长:数日
地点:加州Pleasanton(幸福屯)
宕机原因:Percona网站主服务器上的3块硬盘损坏,同时因为人员变更,导致未能如预期地恢复,多个网站资产因此下线数小时到数天不等,影响其软件下载及交易。
经验:备份不一定永远正常,不应该对其抱有过多期待。

二、GitHub服务中断

震级:4
发生时间:2012年9月10-11日
持续时长:1:46小时
地点:加州圣弗朗西斯科
宕机原因:GitHub将一对古老的、基于DRBD的MySQL服务器替换成一个拥有3个节点的集群。在合并到新系统时,“活动的”数据库自动出现了多个故障转移(failover),同时又因为集群管理软件的错误操作导致性能下降,最终造成网站宕机。
经验:GitHub修改了Pacemaker配置来保证故障转移仅仅可以被运维人员控制。

三、Journal Space所有数据丢失及网站关闭

震级:5
发生时间:2009年1月5日
持续时长:无限期
宕机原因:Journal Space是一个拥有6年历史的博客平台,基于MySQL开发,其唯一的数据库备份机器由RAID系统维护。最终网站的数据因前员工的报复行为被重写,最终导致所有用户数据丢失以及网站关闭。
经验:永远不要把驱动器镜像当做备份——它能防范物理故障带来的问题,但是不提供时间点恢复功能。

四、PHPFog共享数据库运行中断

震级:6
发生时间:2012年10月8日
持续时长:8小时
地点:俄勒冈州波特兰
宕机原因:PHPFog将用户数据合并到一个新的共享数据库服务上,但是在合并过程中遭受过多的堆叠连接,最终共享数据库停止响应,因此在共享数据库从快照中恢复前一直处于服务不稳定状态。从问题发生到解决一共历时8小时。
经验:
这一事件后,PHPFog加速Amazon RDS用户迁移活动。

五、Couch Surfing因MySQL数据库故障导致服务关闭

震级:7
发生时间:2006年6月
地点:加州圣弗朗西斯科
持续时长:1个月
宕机原因:流行社交网站Couch Surfing曾拥有90000名用户,在2006年遭遇了一场严重的硬盘问题,在试图恢复数据时发现数据库增值备份遭遇问题。其MySQL数据库以及应用关键部分丢失,因此创始人最终关闭了这项服务,随后用户社区又将它重启。
经验:任何MySQL系统必须有一个以上备份服务器;每天都必须验证MySQL备份进程。

六、magnolia因丢失主数据库和备份导致最终无法完全恢复

震级:7
发生时间:2009年1月30日
地点:加州圣弗朗西斯科
持续时长:无限期
宕机原因:Magnolia和Delicious一样,是一个流行的书签服务,基于MySQL数据库。该服务在由于硬盘损坏以及备份系统的错误,丢失了主数据库和备份,最终无法完全恢复。
经验:确保硬件的可靠性非常重要;备份系统是否可行必须得到充分的验证。

七、Amazon RDS宕机事件 

震级:9
发生时间:2012年6月29日
持续时长:3小时
地点:弗吉尼亚州北部
用户影响:亚马逊EC2云计算服务以及包括Netflix公司、Heroku、Pinterest、 Quora、HootSuite和Instagram等。
宕机原因:一个被称为derecho的强雷暴天气系统通过弗吉尼亚州北部,使得亚马逊在该地区的设施失去了动力,发电机不能正常运行,消耗应急电源的不间断电源(电源)系统,从而导致运行在Amazon RDS上的大概上千个MySQL数据库宕机。
经验:扩大7*24小时工程师支持团队规模,发生电源系统故障、UPS启动之前完全支持手动操作开启发电机开关。

八、Amazon RDS宕机事件

震级:10
发生时间:2011年4月21日
持续时长:48小时
地点:弗吉尼亚州北部
用户影响:导致使用AWS平台的Reddit、Foursquare、Hootsuite、Quora以及其他多家社交网络服务商成为“受害者”。
宕机原因:亚马逊修改网络设置,同时在对主网络升级扩容过程中,工程师不慎将主网数据全部切换到从网,由于从网带宽较小,而它的设计目的并非用于主网容灾或备份,因此导致网络堵塞,所有EBS(ElasticBlock Store)节点通信全部中断,导致存储着数据和日志的MySQL数据库宕机,其中运行在一个可用区域里41%的MySQL数据库宕机24小时,14.6%宕机48小时。

经验:亚马逊重新审计了网络设置修改流程、增强自动化运维手段以及容灾架构设计。


MySQL系统宕机的原因(点击查看PDF和大图)


程序员没有天才:暴风影音首席架构师鲍金龙访谈 开放式创新改变世界——OpenStack生态系统将重新洗牌 Java 8最终发布日期敲定,即使有bug也要发布 Meteor PK Django,谁更适合开发实时Web应用? 学编程就像选家具:去宜家还是从种树开始? 前车之鉴 十二个年度最差设计网站汇集 冷暖交替,2014年编程兴衰趋势预测 诺基亚出Android手机,微软或将受惠 苹果不收购Nest的大猜想 Netflix开源S3一致性提升利器S3mper Fi 《近匠》第06期:UCloud——目标!完整云服务 小三上位:Windows Phone不容忽视的契机 “详解Visual Studio 2013”全国巡讲北京站:无忧开发iOS及Android应用 Chrome最新版:快速静音及在Win8中建Chrome OS系统 雅虎COO Henrique de Castro因业绩不佳被解雇 分析比特币背后的数据算法,抢占背后巨大市场先机 美食菜谱将会成创业风口的两大理由 Windows XP杀毒软件更新 将被延至2015年7月 小心,商家已经盯上你了 一软一硬 让你时刻保持清醒的可穿戴产品 寓教于乐 贝瓦依托移动平台打造中国式儿童“轻教育” 中科创达:CES2014上的中国红 SA:2014年移动互联网十大技术创新预测 回顾2013:HBase的提升与挑战 Google打造云中Hadoop便捷版,强势对抗AWS 【信息图】专业Web设计师和业余设计师的发展状况并不协调 先试后买:Agawi推新型广告服务AppGlimpse 搜狗CEO王小川:“硬件免费”是误区 平均比Hive快24倍,Impala剑指Stinger 利用ElasticSearch和Redis检索和存储十亿信息 微软高管再度失血 媒体及娱乐副总裁因内部重组离职 歌词和音乐同步问题?winnap的歌词插件基于什么样的原理做出来? 一个菜鸟的苦恼!! 用命令行配置IIS的命令是什么? 看看这个程序到底错在哪? 查找点对象问题,各位进来帮我看看 各位朋友一定请帮忙,关系到我工作问题(不是很难) 用ASP和Javascritp或Vbscript配合将SQL Server里的数据在客户端转换成EXCEL文件 Application的问题,急 谁能告诉我《银色幻想》在哪里有得下,万分感谢!!给分多多 新開一貼,sql語句請教,急,給分!!! 局域网内指定IP出现“该静态IP地址已经使用”,原理如何,如何编程实现。 一个语句的写法,up者有分 关于数据汇总的精典SQL语句求教! 有奖捉疵 50分 怎么打*****号部分的代码总不执行啊? 请问如何列举当前打印机支持的纸张信息? 歌词和音乐同步问题?winnap的歌词插件基于什么样的原理做出来? 急救!!!关于对话框中编辑框重画问题 小问题。。。。只想知道为什么。。。。 转载(贫富悬殊的中国) !!!用ASP能否实现一次上传一整个目录下所有的文件(子目录不算)?高手请答复! TreeView专题讨论 j2me中请问如果将textField中的内容写入到moto388手机的记事本中? 在vc中调用其他的exe include 另外一个jsp文件时,能向那个文件传参数吗?不能的话,有其他办法吗?谢谢 系统不能识别DaysBetween,如何处理 请问如下通过web连续下载图片,只是第一张要提示,以后每张就不再提示了? 关于ADO驱动MDAC版本的疑问 兄弟要工作了,是不是只要见到领导都要打次招呼? 我的问题!! 最近在用MFC写GDI程序,请前辈们给点建议 老兄给一些建议啊!用VB做什么毕业设计比较合适啊? 急,获取主板信息的问题! 请教finder的排序问题 mysql对一个数据库中表的数量有没有限制? 100分,急求控件的编写方法~!!!!我在做的项目想用到类似于vc编译器左边的class,resource,file view的窗口控件,谁有? 为什么我收到的邮件列表每次都是乱码?怎样打开? 大家帮看看这段代码哪出问题了,在线给分 求高效统计算法(在线等待,采纳着需要分来信200) 怎样将bcb中vcl 及其他组件改为activex??? 微软的面试题 treeview 控件在客户端的操作? 怎样在程序里找无标题的DLG! j2me中请问如果将textField中的内容写入到moto388手机的记事本中? 谁可以和我说一下LINUX是如配置的! 请问:如何在java通过xml文件和他的schema,既得到标签里的内容,有能够知道内容的类型 已修改的列 C++Test讨论区 菜鸟提问,大家不要笑我啊! 这里还有人在用Java IDE工具JawaBeginer的吗? 有谁知道aspopup控件的功能和作用--在线等待 100分,急求控件的编写方法~!!!!我在做的项目想用到类似于vc编译器左边的class,resource,file view的窗口控件,谁有? 马雷岛上的守卫灯塔是怎么建造的 物质的第六种状态也存在吗? I am just one person only中文意思是什么? 言字开头的四字词语,有急用快 80-90度可以杀什么细菌 Maybe I am destined to never just one person是什么意思 电风扇有什么功能 if和and /or 函数的运用?为什么if 有时和and/or 连用?and/or 启什么作用? I am as long as I am just a person others redundant! 台式电风扇里面的电容有什么作用 怎么定义if函数发言总分为12分.不发言得3分;发言次数1~2次(含2次)得6分;发言次数2~3次(含3次)得9分;发言次数超过4次(含4次)的得12分.怎么写if 函数啊?求大神指导啊.谢谢啦 I am a narcissistic person 和 Am i a narcissistic person 区别 怎么控制液体中离子浓度?要用到什么仪器 别不懂装懂.这个问题耗了一小时了,能复制的细胞器有线粒体中心体叶绿体,回答的出的再往下看,那么问题是除此之外的细胞器为什么不是呢,如核糖体,他们与中心体的复制有什么不同吗,不同 超声波美容仪器都具有导入导出功能吗 “我会把每一天当成世界末日来爱你”的英语怎么说 直线y=kx+b经过A(-2,-1)和B(-3,0)两点,利用函数图象判断不等式x分之一小雨k 那种超声波的美容的小铲子,就是清洁毛孔的那种,什么牌子的好啊?用过的人都是用的什么牌子的? 在某中液体中求Cl离子含量;求过程,在某中液体中,取25ml样本,加入10%NaOH完全至沉淀,过滤到锥形瓶中,滴加20滴铬酸钾,加入1比1硫酸,加入10%NaOH,调PH值到7,最后滴定AgNO3至砖红色沉淀有一条结果 手机进水用超声波洗要花多少银子 超声波如何清洗精密零件的? 清流触石, 手机进水了.用超声波洗或者没洗能看得出来吗? 利用人工分离培养的微生物制造饮料是利用了化学方式还是利用了现代生物技术? 清流触石,洄悬激注 手机进水,扬声器失灵,用超声波洗了下花了我30元, y=(x-1)/x 的图像应该怎么画?这种类型叫什么函数?急,同上 小石潭记的写水手法与清流触石,洄悬激柱写水写法的异同 手机进水放米里放几天要放多久啊 若坐标原点O到直线x/a+y/b=1 的距离为1 求ab范围, 清流触石,洄悬激柱,神马意西?咻咻,诶, 手机进水了,用超声波洗后没连天就开不开机了,是怎么回事? 若原点O到直线x+y+c=0的距离等于1,则c= “伐竹取道,下见小潭,水由清冽”与 “清流触石,洄悬激注”都是写水,请写出两句的异同. y=k/x+b是什么函数?有何性质? 超声波是否可以灭菌?我希望知道超声波振动细菌多长时间细菌会死亡?呈什么样的变化曲线,或是有怎样的规律? AE橡皮擦大小怎么调节 2因素4水平的正交表应该怎样设计两个因素分别是:温度和时间,温度的水平分布是50、65、80、100;时间的水平分布是:30、60、90、120.请教一下这个正交表该如何设计? 超声波可以大面积杀菌吗 谁会AE 用AE制作片头我想找一个会AE 可以教我用AE制作片头的 我想自己为我们工作室做片头 还有一些简单的特效 细胞器的中心体的膜结构是怎么样的? 直线l的解析式为y=4/3x+4,l与x轴,y轴分别交与a,b,求原点o到直线l的距离 AE 6.5 橡皮擦就只是圆形吗?没方块的吗?是不是需要什么插件呢? 超声波局放,快速巡检 秘鲁的气候类型是? 求matlab大神帮忙解决错误白光光栅衍射代码clf;%设置固定参数lamda=[660,610,570,550,460,440,410]*1e-9; %七色光的波长,单位米RGB=[1,0,0; 1,0.5,0; 1,1,0; 0,1,0; 0,1,1; 0,0,1; 0.67,0,1]; %七色光的RGB 值d=4e-5; %光栅常 AE里 制作中的参数想把它 转为AE的预设 怎么弄呀 麻烦大侠们 拜托 超声波震子放哪里 超声波烫钻机的技术参数? 如果说O(1s2 2s2 2p4)被称为是氧的电子组态(electron configuration)的话,那么O(2 6)怎么称呼呢?那electronic configuration是什么意思啊? 求一个三因素四水平的正交表,4^3 请问下有谁知道超声波捕鱼器功效怎么样 求解释,元素后面跟的电子组态是怎么解释的 给病人打吊针时该如何做,怎样找静脉? 超声波传感器中,技术参数 -工作电压:300~800Vp-p 具体是多少伏呢? 电子组态怎么画?应为自招需要。但是本人对这个怎么画!基本排列为规则!顺墟哦 反键什么到底怎么弄都不太清楚 打吊针时安置了留置针以后,打针位置血管突起,整根血管僵硬~一个月前打吊针留了3天留置针,十多天前发现打针位置血管突起,有疼痛感.血管僵硬.到今天为止,疼痛感没了,但是还是打针位置血 求此函数的间断点类型f(x)=(x-1)/ln|x-2|在x=1处的间断点类型. A、B、C、D、E、F六种物质,它们的组成中有一种元素是相同的,现有下列条件(1)A、B均难溶于水,A在空气中易被氧化成B(2)B受热分解可生成C(3)足量的F加入D的溶液中,充分震荡后,生成浅绿 I am just one person 十八大以来金融体制改革:坚持市场化改新书曝奥巴马曾向幕僚吹嘘:我擅长杀人日空自航空展开幕 蓝色冲击波进行飞行印度北部村落遭武装分子袭击 造成7死菅义伟:处理福岛核电站事故应加强政府埃及前总统穆尔西到达受审地点 将接受新书称奥巴马曾向幕僚吹嘘:我擅长杀人普京签署《俄联邦行政违法法典》保护文突尼斯宣布将紧急状态再延长8个月 已印度将发射火星探测器 舆论对印度太空法小镇一家三个孩子同时遇害 母亲患有国际黑客袭击澳大利亚200多家网站 美垃圾桶内惊现女童焦尸 女童父亲及继法国前部长称法现任总统头号问题为总统悉尼机场设施建设被指“ 只有第三世界印尼官员警告人口暴增危险 吁政府推家eBay卖二战纳粹大屠杀时期遗物获利斯诺登:揭发情报机构监控丑闻有利于社朴槿惠时隔39年访法 会晤奥朗德磋商罗姆尼:奥巴马医保网站问题频出 有损菅义伟:处理福岛核电站事故应加强政府聊城小米价格连续三个月上涨 业内人士世界3D打印新品亮相青岛 小到细胞大“世界杯反摩擦联盟” 蒙牛告诉你:看聊城五百教师倡议拒“谢师宴” 称“使农村妇女兼职当神婆 供奉“天使”号称中国海警编队6月20日在中国钓鱼岛领【附图】黎平琵琶歌孔子学院成为传播中华文化重要窗口亳州市开展渔业增殖放流活动 20万尾亳州古井镇查获百袋山寨洗衣粉美国国务卿克里或“很快”赶赴伊拉克阜阳:想在小区内停车 必须要抢前28网上贱卖奶粉 实为诈骗钱财亳州民警网扮“美眉” “约会”擒获盗马鞍山市成立城区首家土地流转农民专业世界杯亚洲汽车惹人眼球 圣保罗街头满李娜领衔温网赛前酒会 浓妆大红唇惊艳中国海警编队6月20日在中国钓鱼岛领乌鲁木齐水区39家幼儿园关停 280武术大师刘连峻先生受邀赴俄讲学受欢迎长城网中招咨询会专题即将上线 考生可
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘