说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

由CloudFlare宕机引发的思考

HTML文档下载 WORD文档下载 PDF文档下载
高速发展的网站安全服务商CloudFlare刚刚经历了一次重大的事故,DDoS新策略导致DNS服务集群失效,影响持续了一个多小时。虽然事故的原因很简单,但如何避免类似事件发生,国内的相关企业和用户可以从中得到哪些启示,CSDN搜集了多方观点。

【CSDN综合编译】3月3日, CloudFlare经历了过去四年间第三次严重的事故。UTC时间9:47(北京时间3月3日17:47),CloudFlare的边缘路由器发生故障,这导致使用CDN和安全服务的785000多个网站受到影响。约30分钟后故障被排除,事故持续影响了一个多小时。

CloudFlare的联合创始人及CEO Matthew Prince在事故当天就通过 blog对事故进行了分析,并向用户道歉。从广泛的评论来看,主流舆论对于此次事故还是报以宽容和理解,对CloudFlare的勇于认错的态度和快速的行动进行了肯定。


图:CloudFlare的实现原理

据TechCrunch 报道,中国是除美国本土外CloudFlare的最大市场,尽管此次事故在国内也引起了大量讨论,但还没有商业用户的抱怨声音(企业用户每月需支付3000美元)。

去年四月,CloudFlare的月PV达到400亿,目前这个数据已经达到1000亿。CloudFlare帮助网站节省带宽、提高访问速度,并过滤恶意攻击。

什么引起了事故?

Matthew Prince在blog上表示(编译来自 36kr):

CloudFlare 的管理团队发现一处DDoS攻击,监测工具显示攻击包大小在 99971 ~ 99985 bytes 左右(正常包大小是 1500 bytes,通常都在 500 ~ 600 bytes),于是将其规则加入 Juniper 的 Junos 防火墙设置中,不过预期大小的包并没有被拦截,因为实际上并不存在这么大的数据包,取而代之的是匹配规则的数据包冲刷到内存中,直到内存耗尽,系统崩溃。

通 常系统崩溃会自动重启而恢复工作,但这次例外了。由于系统没有正常启动,管理端口没有响应控制,于是 CloufFlare的管理中心只能电话通知全球 14 个国家的 23 个数据中心的管理员硬启动机器,这个过程大概花费了 30 分钟。最早恢复的数据中心由于负荷了最多了访问流量,仍然导致了 CloudFlare 服务的不稳定性,加上等待 DNS 缓存更新等,服务恢复时已经影响已持续超过 1 小时。

我们学到了什么?

网络技术工程师 IKE123在微博上评论:

1、主因:flowspec的bug引起的加载filter的时候导致的内存泄露。
2、Crash以后未能自动重启,所有收到该flowspec路由的边缘设备全玩完。
3、非架构问题,所以SDN/Openflow不会更好。
4、软件都有bug,这只是flowspec用的少,才有低级错误,不过换SDN估计更差(使用案例更少)。
5、ISP玩PCEP(路径计算单元通信协议)。

他特意向CSDN澄清:SDN和这次事故无关,只是有人提出来说SDN能有帮助。他认为:ISP骨干应该用PCEP,而不是Openflow。 PCEP是集中计算RSVP TE(基于流量工程扩展的资源预留协议),下发到设备上。Google是大驱动因素。 

蓝盾股份是国内提供类CloudFlare服务的公司之一,该公司负责应用安全产品线研发总监 余志刚告诉CSDN: 

我最近研发的产品是 云防线,技术架构与CloudFlare类似。

CloudFlare 这种技术架构中DNS服务集群充当的是全局负载均衡、智能路由的角色,而其他的分数据中心的运作都将依赖全局的DNS智能集群,如果这个中心集群宕机,将导致整个系统瘫痪,哪怕分中心无任何问题,数据流量也将路由不到。

通过分析官方blog的内容,我猜测CloudFlare 的DNS应该是有热备的,但可能这两套系统都在这个核心路由器后面。路由器出问题后导致两套系统都无法访问。

余志刚认为,这次事故反映出这种基于SaaS概念的安全系统需要完善一下几个方面:

1、加强全局负载均衡,也就是DNS智能集群的安全防护及运营水平。
2、在财力允许的情况下,尽量建立DNS智能集群的备份系统,两套系统做到热备。
3、将用户管理系统也就是www.cloudflare.com这个网站管理系统和核心系统分开,当DNS智能集群宕机,无法为用户网站提供加速、防护服务后,保证管理系统能正常使用,然后给用户提供快速切换到原有DNS解析服务器的选项。

陈利人认为:

CloudFlare CDN加速的原理:当用户访问已经启用CloudFlare CDN加速网站时,首先通过DNS重定向技术确定最接近用户的最佳CDN节点,同时将用户的请求指向该节点。当用户的请求到达指定节点 时,CloudFlare的服务器(节点上的高速缓存)负责将用户请求的内容提供给用户。说白了,就是基于DNS的负载均衡。

在Hacker News上对此次事故有着疯狂的 讨论:

“如果你将Juniper和Cisco的设备放在一起,那么就会产生很多奇怪的问题。”

“最好不用只使用一家供应商。”

“Junos的更新速度显然慢了。”

“任何设备都不能保证网络万无一失。”

敏捷开发者、趴猫网 创始人 王龙:

自己运营的主打产品不要用任何第三方的产品,金窝银窝不如自己的草窝,所有东西自己来搭建,框架用自己开发的,平台用自己运维的,服务器用自己的,插件自己来写,CDN自己搭建,云架构自己部署,就不会出现这种由于第三方问题出现的问题,起码问题是可控的。

行人23:

电话14个国家23个数据中心管理员只需要30分钟,放到国内厂商需要多久呢? 

wanght1979:

作为刚刚从机房出来的苦逼,深刻理解其困扰。

如果你有任何观点,不妨在评论中告诉我们。

国内的类CloudFlare市场

在国内, 安全宝、 知道创宇和云防线都提供类CloudFlare的服务。国内两大CDN 服务商网宿和蓝汛这块业务跃跃欲试,电信运营商已经参与这个市场。尽管市场竞争非常激烈,但和所有其它云计算服务一样,用户的 接受程度还很低,“目前来说用户对这种SaaS概念的安全服务接受程度还比较有限。随着发展,SaaS服务慢慢被大家接受,这肯定是未 来安全行业发展的方向”,余志刚表示。(文/ 包研  责编/仲浩)

参考信息: Techcrunch  CloudFlare  36kr

关注 @CSDN云计算微博参与讨论,了解更多云信息。

iOS走向开放:苹果新推iAd Workbench广告服务 腾讯薛伟:快速模型更新在精准广告推荐中的应用 微软Build2014第一天要点精华汇总(组图) Windows 8.1 Update 1五大改变:任务栏回归,增强鼠标支持(图) 【十大院士】怀进鹏:全球的计算模式可能重新形成 微软Build2014第一天应了解的15件事 TypeScript1.0发布,完美支持Visual Studio系列产品 欲与Android展开价格战,微软宣布在移动设备上免费开放Windows 2014深圳英特尔信息技术峰会次日要点汇总 4月4日:微软39周岁,生日快乐! 正式进军硬件市场 Atlassian发布可穿戴设备Bitband 云计算时代IT专业人员需具备的10项技能 【走近院士】李德毅:大数据是连接虚拟和现实世界的桥梁 微软Build2014大会第二天干货总结 Microsoft Azure拥抱Puppet、Chef、MongoDB... 唏嘘不已!Brendan Eich上任Mozilla CEO仅十天即因歧视同性恋被迫辞职 最火HTML5 JavaScript游戏引擎:国外篇(一) Facebook发布PlanOut 开源部分A/B测试源码 一周消息树:6款Java转C#的最佳工具、Web开发者必备的9个软技能 对话“宙斯杯”获奖代表:依托京东云平台,打造精品电商CRM 关于微软开源WinJS,开发者必须知道的5件事 告别丑陋banner条,InMobi联合开发者尝试原生广告 免费游戏开发经验谈:第一印象很重要 《近匠》小旭音乐:游戏音乐金牌匠人的练级之路 日600亿消息,月4.65亿用户——WhatsApp的Erlang世界 一周热点:Cloudera新一轮融资总额已达9亿美元 【走近院士】李未:实现云服务的有效方法是群体软件工程 大神云集 大型创客聚会2014深圳Maker Faire盛大开幕 直击Maker Faire,将精彩“一网打尽”! 电池革命:超级充电器来袭,30秒为手机充满电 风雨13载,Windows XP今起正式退役 向Facebook看齐,Twitter收购Android屏幕待机应用开发商Cover 如何用ASP判断客户文件是否存在,之后转到不同的页面 【狂人】进来领分 NO.2 【狂人】进来领分 NO.3 高手帮助:请帮助看看这个ADO处理的问题是如果造成的? 【狂人】进来领分 NO.4 【狂人】进来领分 NO.5 RH8不能识别VIA芯片组主板的板载声卡 [高分求助] 关于win2000软件路由的问题 高分(答者有分,不够另开贴)-GSM抄表系统的短消息网关和数据库连接问题 不管ie窗口大小如何,隐藏层显示后总是居于窗口正中,谁有这样的脚本?? GetWindowThreadProcessId? 为什么找不到程序入口点??? 如何去掉字串右边(或者中间)的空格? 哪位能全面的解释一下“数据驱动”。 高分寻找php 上传 文件脚本 totodo大哥进来一下! 100分求解:ActiveX控件在网页中用,如何使弹出的第二个form一直居于网页上层?--在线等 一个w2k server网页显示的问题 关于日期的处理,请教!! 急!水晶报表8.5的字符串类型仅仅支持255位,要显示长字串如何解决? 祈祷sars早点被消灭! 怎么使一个弹出窗口使中在前面!!?? 制作网页时遇到的字体问题 能否把sybase的tempdb数据库中的分配的日志空间删除或者转为数据? 急!水晶报表8.5的字符串类型仅仅支持255位,要显示长字串如何解决? 新建asp应用程序必须联在网上么? 祈祷sars早点被消灭! JAVA做硬件可以吗? 偶然发现的一个网址,有兴趣大家可以看看 Memo控件的自动存盘问题? 那里有vba sdk 下载啊? 寻书!!! 在DELPHI7.0中,为什么找不到QReport组件页。 推荐一本详细讲述"进程"、"线程"的书,最好是MFC的。 基于XML的SVG应用问题,十万火急!!! 我的软件超过3000个人下载,开心放分. 请详细介绍公共语言运行时(CLR) 已经获得视图的句柄,如何通过该句柄进一步得到视图的指针? 求教(急):对Excel或word操作时总是报同一个异常?? 急,安装Red Hat Linux 9后,却无法进入系统 惨了惨了,不小心改了boot.ini现在进不去了,救救我吧! 怎样将一个文件写成XML 有水用过ucd-snmp开发包,高分要多少都给 exchange2000做workflow的细节问题,急 各位大哥帮帮忙 谁能帮我把这些sql语句转换为OleDb,在线等,很急!谢谢 为什么装了windowsxp 后,在windows 98 里的很多东西都看不到呢? 又一菜鸟小问题!呵呵 网关的问题,请教: 关于StatusBar的AutoHint问题 pb8编译为机器码时,为何其他的库未编译为dll文件 食人鱼是什么样子?现在还存在吗?存在的话,生活在哪一带? 把你观察过的小虫写下来 50字 、例:蜜蜂,它的甘甜是蜜蜂辛勤劳动的结晶,也是蜜蜂的骄傲.流星,它的( ),也是( ).金子,它的( ),也是( ). 地球上真有食人鱼吗? 苏州蒲公英作文大赛的获奖名单苏州蒲公英作文大赛第五届的获奖名单,谁知道啊, 体育馆入场卷3元一张,降价后观众增加了1/2,收入却增加了1/4,求每张入场卷降价多少元?(用一元一次 真的有食人鱼吗a? 蟋蟀盖房子,大多是在十月,这句话用了什麽修辞手法 体育馆入场卷3元一张,降价后观众增加了1/2,收入却增加了1/4,求每张入场卷降价多少元?用方程,每个方程一个x 四年级下册语文园地四口语交际写什么? 谁可以提供"人为刀俎,我为鱼肉"的出处原文和解释?我急需这句话的原文和原文的解释这句话的出处,出处的具体内容,也就是原文,和原文的全部翻译,特别是翻译! 儿童诗《我的风筝》赏析 拜托个位大哥大姐我的风筝把我带去吧,我的风筝,快把我带上蓝天!我要在天上飞行,我要在天上盘旋,我要像鸟儿那样飞呀飞,飞过大海呦,飞过大洋.把我带去吧,我的风 人教版四年级下册语文园地四口语交际是新闻发布会要吸引人的重大新闻 红的龙虾长1米、黑的龙虾长0.5米哪个跑的快 体育馆入场卷30元一张,若降价后观众增加一倍,收入增加三分之一,那么每张入场卷降价多少元?(方程解答)阿里嘎多, 蟋蟀弹琴是什么季节 采用远场光斑法测量多模光纤数值孔径的基本原理是什么 What do you often do on weekends?I like ____________ lions come from A are B DO C DOES D Be选什么求解释 人为刀俎,我为鱼肉请说出意思及出处 地球的直径是如何测量出来的? 体育馆入场券30元一张,若降价后观众增加一半,收入增加4/1,那么每张入场券降价多少元? 如何打到苍蝇 ()蟋蟀()选则住址 扩句 张上星期日买进某公司股票1000股,每股16元,下表为本周内每日该股票较前一天的涨跌情况(单位:元).星期一每股涨跌+3、星期二每股涨跌-2.5、星期三每股涨跌+3.5、星期四每股涨跌-1.5、星 两首哲理诗,好一点点古代的,短一点要整首诗的 蟋蟀钻进土底下扩句 小张上星期日买进某公司股票1000股,每股26元,下表为本周内每日该股票的涨跌情况( 激光器相关物理过程中哪些需要考虑偏振态的影响? 写自己观察过的小虫 300~400字 小张上星期日买进某公司股票1000股,每股16元,下表为本周内每日该股票的跌涨情况(单位:元)星期 一 二 三 四 五 每股涨跌 +3 -2.5 +3.5 -1.5 -4根据你所学的数学知识,解答下列各题:(1)星期四收盘每 太阳爬上山岗 扩句急要 400字作文:写一写观察过的小虫,注意展开想象,融入自己的感受 不要网上抄的,写蚂蚁的最好, 世界上最大的蛇、巨蜥、鳄鱼相比之下谁比较厉害? 人教版四年级下册的语文园地五的口语交际热爱生命怎样写 怎样欣赏儿童诗 蛇吃鳄鱼,还是鳄鱼吃蛇? 电线粗点还是细点的电阻小 蟋蟀是个出色的工程师.(改成带!的句子) 做凸透镜成像实验时,无论怎样移动光屏,在光屏中心只能看到一个大小变化的圆形光斑 虎鲨VS白鲨单挑最大的白鲨,不是巨齿鲨哦,我记得20世纪90年代有条18.3米的虎鲨,就按这个来算,谁更厉害?详细分析下, 为什么导线越粗电阻越小呢 越细电阻越大呢 动物园的狗熊吃什么的? 虎鲨VS大白鲨那个是鲨中之王 为什么电线粗了电阻反而减小在其他条件都完全一样的情况下从微观的角度说明,例如电子之类的 是不是一个原子中,移动的电子数有一定的极限所以才... 数学题 新竹小学的跑道如下算一算跑道内圈一周有多长?外圈有多长?外圈一周比内圈长多少米?、、、、、、一个运动场,两头是半圆形,中间是长方形,长70米,半圆半径36米,外圈和内圈相差1.2米 大白鲨和虎鲨哪个厉害 对油桃树用什么药能让它不得根瘤病? 遥控飞机红外线接收器如何让它遥控范围增大 蟋蟀盖房子大多是在十月.是用了什么修辞方法? 请高手帮鉴定一种虫子.香樟树上面有一种鳞翅目幼虫危害,头黑,尾部没有足,样子像蛴螬,绿色的,请问谁知道是什么虫子?我查了一下百度,不是青凤蝶,该幼虫比青凤蝶幼虫小得做,最高龄幼虫体 蜡烛火光的红外线频率的范围是多少? 四年级语文上册语文园地八的口语交际怎么写 求鉴定,一种虫子这是什么虫?最近很多, 儿童诗《日落》读后感想太阳公公要下班了它从山顶上慢慢的往下爬可爬到半山腰时忽然想起自己的外套——白云还落在天上就伸手往天上打了一个长长的招呼白云就随着太阳公公悠悠地回 四年级上册语文园地5的口语交际我们能对保护长城做些什么? 老鼠一年繁殖多少 日落 儿童诗 四年级下册语文园地一的口语交际怎么写 老鼠的繁殖周期是多久前段时间发现了一只老鼠,现在好像多起来了,是不是开始繁殖了,有什么好办法可以消灭或者是驱赶. 一列快车和一列慢车同时从甲、乙两地相开出,在距离中点25千米相遇.两车速度差是 美国全球监控地图曝光:中国5大城市成美卫生部长为医改网站故障道歉美曾要日修宪 日30多年前本可制核武奥巴马再提名支持者当大使日韩拟下月再谈情报协定乔布斯儿时故居成历史遗迹“安倍经济学”谁喜谁忧?韩国议员访问朝鲜开城工业园 关系回暖智利前女总统有望“二进宫”调查总结女性二十“怕”湖南官员为儿办酒宴被免 仍作为普通公美国政府保证“目前及以后”不监控联合四川盘江大桥垮塌事故存违规问题 7名成都环保局:重污染天气限行 公车无特四川盘江大桥垮塌事故:已有13名责任美国福特号航母电磁弹射器真容【高清组英皇室全家福照片惨遭恶搞 小乔治露坏美情报高官供出欧洲“队友”美元对主要货币汇率30日上涨中国网事:中欧深化经贸合作助力全球经温州5岁男孩遭持刀砍伤 鼻子被削去1体验夫妻放松式缓压按摩 享受轻松孕期飞鹤于2015妇儿博览会斩获“优秀产爱上宜昌 清凉一夏好友发来“免费送名品”邀请 假的当心月相大师 复兴荣耀:Blancpai暑运过半 乌鲁木齐火车南站发送旅客1世锦赛-男子200自预赛孙杨轻松获头舞钢联社钢城信用社荣获“2014年度港股周一走低 恒生指数下跌0.9%挫韩星元斌将当爸 经纪公司证实李娜英已好屋中国:互联网+房地产+创客模式打扬州邗江区千余名大学生报名应征入伍东海虾蟹开捕 浙江舟山渔民满载而归迎大漠人家的幸福生活浙江:争创“最美行业”让核心价值观生工商大户缘何钟情贫困之地? 甘肃临洮贵州解放村:走特色之路 绘水乡美景原标题:美媒:美国总统候选人多易发胖解放军特战连长绝技:5发子弹命中同一邢台南和白公素:舍身取义 掩护战友内蒙古鄂尔多斯市东胜区委原书记张平被
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘