说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

由CloudFlare宕机引发的思考

HTML文档下载 WORD文档下载 PDF文档下载
高速发展的网站安全服务商CloudFlare刚刚经历了一次重大的事故,DDoS新策略导致DNS服务集群失效,影响持续了一个多小时。虽然事故的原因很简单,但如何避免类似事件发生,国内的相关企业和用户可以从中得到哪些启示,CSDN搜集了多方观点。

【CSDN综合编译】3月3日, CloudFlare经历了过去四年间第三次严重的事故。UTC时间9:47(北京时间3月3日17:47),CloudFlare的边缘路由器发生故障,这导致使用CDN和安全服务的785000多个网站受到影响。约30分钟后故障被排除,事故持续影响了一个多小时。

CloudFlare的联合创始人及CEO Matthew Prince在事故当天就通过 blog对事故进行了分析,并向用户道歉。从广泛的评论来看,主流舆论对于此次事故还是报以宽容和理解,对CloudFlare的勇于认错的态度和快速的行动进行了肯定。


图:CloudFlare的实现原理

据TechCrunch 报道,中国是除美国本土外CloudFlare的最大市场,尽管此次事故在国内也引起了大量讨论,但还没有商业用户的抱怨声音(企业用户每月需支付3000美元)。

去年四月,CloudFlare的月PV达到400亿,目前这个数据已经达到1000亿。CloudFlare帮助网站节省带宽、提高访问速度,并过滤恶意攻击。

什么引起了事故?

Matthew Prince在blog上表示(编译来自 36kr):

CloudFlare 的管理团队发现一处DDoS攻击,监测工具显示攻击包大小在 99971 ~ 99985 bytes 左右(正常包大小是 1500 bytes,通常都在 500 ~ 600 bytes),于是将其规则加入 Juniper 的 Junos 防火墙设置中,不过预期大小的包并没有被拦截,因为实际上并不存在这么大的数据包,取而代之的是匹配规则的数据包冲刷到内存中,直到内存耗尽,系统崩溃。

通 常系统崩溃会自动重启而恢复工作,但这次例外了。由于系统没有正常启动,管理端口没有响应控制,于是 CloufFlare的管理中心只能电话通知全球 14 个国家的 23 个数据中心的管理员硬启动机器,这个过程大概花费了 30 分钟。最早恢复的数据中心由于负荷了最多了访问流量,仍然导致了 CloudFlare 服务的不稳定性,加上等待 DNS 缓存更新等,服务恢复时已经影响已持续超过 1 小时。

我们学到了什么?

网络技术工程师 IKE123在微博上评论:

1、主因:flowspec的bug引起的加载filter的时候导致的内存泄露。
2、Crash以后未能自动重启,所有收到该flowspec路由的边缘设备全玩完。
3、非架构问题,所以SDN/Openflow不会更好。
4、软件都有bug,这只是flowspec用的少,才有低级错误,不过换SDN估计更差(使用案例更少)。
5、ISP玩PCEP(路径计算单元通信协议)。

他特意向CSDN澄清:SDN和这次事故无关,只是有人提出来说SDN能有帮助。他认为:ISP骨干应该用PCEP,而不是Openflow。 PCEP是集中计算RSVP TE(基于流量工程扩展的资源预留协议),下发到设备上。Google是大驱动因素。 

蓝盾股份是国内提供类CloudFlare服务的公司之一,该公司负责应用安全产品线研发总监 余志刚告诉CSDN: 

我最近研发的产品是 云防线,技术架构与CloudFlare类似。

CloudFlare 这种技术架构中DNS服务集群充当的是全局负载均衡、智能路由的角色,而其他的分数据中心的运作都将依赖全局的DNS智能集群,如果这个中心集群宕机,将导致整个系统瘫痪,哪怕分中心无任何问题,数据流量也将路由不到。

通过分析官方blog的内容,我猜测CloudFlare 的DNS应该是有热备的,但可能这两套系统都在这个核心路由器后面。路由器出问题后导致两套系统都无法访问。

余志刚认为,这次事故反映出这种基于SaaS概念的安全系统需要完善一下几个方面:

1、加强全局负载均衡,也就是DNS智能集群的安全防护及运营水平。
2、在财力允许的情况下,尽量建立DNS智能集群的备份系统,两套系统做到热备。
3、将用户管理系统也就是www.cloudflare.com这个网站管理系统和核心系统分开,当DNS智能集群宕机,无法为用户网站提供加速、防护服务后,保证管理系统能正常使用,然后给用户提供快速切换到原有DNS解析服务器的选项。

陈利人认为:

CloudFlare CDN加速的原理:当用户访问已经启用CloudFlare CDN加速网站时,首先通过DNS重定向技术确定最接近用户的最佳CDN节点,同时将用户的请求指向该节点。当用户的请求到达指定节点 时,CloudFlare的服务器(节点上的高速缓存)负责将用户请求的内容提供给用户。说白了,就是基于DNS的负载均衡。

在Hacker News上对此次事故有着疯狂的 讨论:

“如果你将Juniper和Cisco的设备放在一起,那么就会产生很多奇怪的问题。”

“最好不用只使用一家供应商。”

“Junos的更新速度显然慢了。”

“任何设备都不能保证网络万无一失。”

敏捷开发者、趴猫网 创始人 王龙:

自己运营的主打产品不要用任何第三方的产品,金窝银窝不如自己的草窝,所有东西自己来搭建,框架用自己开发的,平台用自己运维的,服务器用自己的,插件自己来写,CDN自己搭建,云架构自己部署,就不会出现这种由于第三方问题出现的问题,起码问题是可控的。

行人23:

电话14个国家23个数据中心管理员只需要30分钟,放到国内厂商需要多久呢? 

wanght1979:

作为刚刚从机房出来的苦逼,深刻理解其困扰。

如果你有任何观点,不妨在评论中告诉我们。

国内的类CloudFlare市场

在国内, 安全宝、 知道创宇和云防线都提供类CloudFlare的服务。国内两大CDN 服务商网宿和蓝汛这块业务跃跃欲试,电信运营商已经参与这个市场。尽管市场竞争非常激烈,但和所有其它云计算服务一样,用户的 接受程度还很低,“目前来说用户对这种SaaS概念的安全服务接受程度还比较有限。随着发展,SaaS服务慢慢被大家接受,这肯定是未 来安全行业发展的方向”,余志刚表示。(文/ 包研  责编/仲浩)

参考信息: Techcrunch  CloudFlare  36kr

关注 @CSDN云计算微博参与讨论,了解更多云信息。

聚合数据资产,推动产业创新——2014中关村大数据日看大数据变现 拥抱开源:微软Windows 10宣布全面支持AllJoyn技术 改变App领域发展!友盟推“数据工场”战略,两款新品亮相 Cloudera正式登陆中国市场:与英特尔携手共助本土企业淘金大数据 Go 1.4正式发布 支持Android开发 【特别提醒】2014中国大数据技术大会门票全面告罄 不接受现场购票 累计4000万美元 Qualcomm在华投资5家公司 支持Android、WatchKit开发,全新RubyMotion 3面世! 快速开发移动医疗App!开源框架mHealhDroid 2014CVW﹒产业互联网大会解密未来20年 Nimble VR的收购与一封来自友商的感言 Google Earth API将在2015年12月彻底关闭 AR、美颜、机器人:计算机视觉库几乎无所不在 不激增,无爆收,年度最佳手游为80 Days带来了什么? 《近匠》机智云CEO黄灼:跨越智能硬件的“鸿沟” 智能手机≠智能家居!我们要的究竟是什么? 亚信大数据事业部总经理张灏:打通各行业数据壁垒 让大数据变现畅通无阻 Web App和Native App不是生死之争,而是可以和平共处! 微信之父张小龙说微信坚持“去中心化”,这样真的好吗? 亚信CFO武军谈进军海外市场成功经验 前瞻性思维是开路先峰 Swift,任重而道远! DevOps系统的变迁 玩转Docker镜像 “扫描建模”速建AR应用 Vuforia 4.0 SDK更新 硅谷里的外星人:纵观Reddit十年风雨路 不见不散 Cloud Foundry Meetup活动将首次走进杭州 独立开发者:新手做2D手游该用哪些工具? 求安全化危机!Uber研发生物识别技术、聘请前亚马逊运营 JavaScript社区开发者调查:服务端JS盛行 AngularJS使用者最多 去中心化、去中介化,微信商业化路径清晰了吗? 微信企业号认证简化了,你造吗? 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 再问,关于中文字符.急!!!! OleDbDataReader这个东西是不是不可以同时打开两个? 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 日期的计算问题 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 用jsp编打印图片的问题(很急) 谁第一个来,谁得分 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 今天生日,除了MM没人祝我生日快乐,只好自已祝福自已了(散分) 如何将表单提交到数据库中? 在线等!!!!!!!!!!!! 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 如何在屏幕任意位置显示移动的文字 收到了数字情书,我嫩是解不开。。帮帮我吧,不好回了。 如何让winamp慢速播放mp3? 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! 在服务器端的DLL文件中如果获取网站在服务器的磁盘上的路径? 在水晶报表中如何控制所显示记录的条数! 一个超级奇怪的iis问题??????? 一路同行?我开始学习C#, 我是一从为接触过单板的人,学的是软件。现在我想提一个问题。 如何解决UNIX通讯问题? 关于读出文件里的字符串与录入的字符串比较问题 哪位高手帮忙编写一个程序,使局域网各用户之间能传送文件!谢谢! help!有关SESSIONBEAN! 无法联接ORACLE数据库,错误信息:ORA-01034:ORACLE not available 其它信息 sos 用vb怎么实现打印功能啊,不是vb附带的那小功能啊,把家帮帮忙啊,。。。sos 请教高手:视频传输编程技术!!! 请教!.net的程序一定要 各位大侠:小女请教一问题 求救!美编的工作站显示器只能显示黑白了! Excel控件使用之怪现象,请DX们诊断诊断 ACCESS转为SQLSERVER后的问题~~ 这是什么错误? asp中怎么读取xml中的元素值呀? 请问,DATAGIRD能否在编辑时,在表格里使用下拉框控件,如何使用??谢谢 哪里有delphi中文帮助 为什末不能向项目Test中添加一个新文件abc.aspx ? 谢谢!! 各位大虾请指教:线程如何获得消息并进行处理 小弟打算开家小店,众位兄弟姐妹出出点子开个什么样的店,及注意事项! 感谢let5flying,,请进!~ 关于pb中调用oracle数据库下的存储过程(在线等待) 求www.richtextbox.com的控件(得到将很感激) changchang请进~~ asp 为何无法打开Access 备份到磁带机的文题 选择Tcl的十大理由-----转载自Tcl/Tk中文网 BCB6中调用lib中的函数出错,急。 javascript导出xml的内容至Excel的问题! 什么花什么蜜 什么花的蜂蜜比较好? 有限责任公司和股份有限公司的股东大会职权是否相同 中国古代药铺里那种金色小秤叫什么?不是现代那些电子秤或大秤. 在古代英国人怎么到中国来的 藏北可否建运河藏北拥有诸多河流可否将他们连在一起建成大运河 水晶以及它的颜色是怎么形成的? 各种水晶为什么会形成不同的颜色? 抛体运动可以是直线运动么?有个选项说是抛体运动可以是直线运动 ,而且是对的,为什么? 什么是枇杷花蜂蜜,这种蜂蜜有什么作用? 什么花的蜂蜜最好?如何介绍好蜂蜜 日本发现“盔甲男尸” 或在火山爆发时德前国防部长:窃听危机或导致美欧严重泰国芭堤雅游船沉没致7人死 一中国游德国西部城市疏散两万居民拆除二战炸弹斯诺登抨击美国国家安全局为“最坏犯罪罗姆尼指责奥巴马对医改法案描述“不诚哈瓦那国际博览会着重推介古巴首个经济英一小猫电话\"报警\"致警方破门而哈佛教授质疑美国饮食指南推出新版本饮罕见日食现象横扫非洲 遇恶劣天气仍壮日本约32万人观看自卫队航空节 特技最高法拟建虚假诉讼失信人名单交通部要求逐车逐线排查隐患人大专题询问避免“问了白问”破除“官本位”拓宽智力支持渠道安监总局派员赴湘处置大巴事故英财政大臣:望与中国建立强大联系发改委要求加强政府定价成本监审聚集改革资源激发创新活力更加富有成效提高科技人员职务科技成果转化收益比例( 2016 06 28 ) 稿件来快递员骗卖家财物如何定性引争议
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘