说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

奇虎360Web平台部基础架构团队访谈:开源线上数据库中间件Atlas

HTML文档下载 WORD文档下载 PDF文档下载
日前,CSDN记者联系到奇虎360Web平台部基础架构团队,就Atlas、MySQL集群架构以及开源等一系列问题作了采访。

近日,奇虎360Web平台部基础架构团队发布了最新开源项目——Atlas(代码托管地址),一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性。目前该项目在360公司内部得到了广泛应用,很多MySQL业务已经接入了Atlas平台,每天承载的读写请求数达几十亿条。日前,CSDN记者联系到奇虎360Web平台部基础架构团队的王超,就Atlas、MySQL集群架构以及开源等一系列问题作了采访,以下是采访内容:

CSDN:请您介绍一下自己及奇虎360线上数据库中间件开发团队。

奇虎360王超:大家好,我是王超。我于2011年加入奇虎360,当前在Web平台部负责基础架构团队,我们团队的主要职责是给Web后端业务提供高可靠、高性能的基础服务支持。

我们团队开发、维护着许多系统,除了分布式数据库、消息队列这些居家必备的基础服务之外,我们还做了一些好玩的东西。这次开源的MySQL中间件Atlas就是其中一项,它能真正让业务实现访问MySQL集群的高可靠和高可用,并且将业务开发工程师和MySQL运维工程师的工作完全隔离,做到互相透明,互不影响。当前主要由两位工程师在做持续开发和维护。

CSDN:360为什么要单独设计这样一款线上数据库中间件?它具有哪些功能点?

奇虎360王超:MySQL集群化应用一直都很普遍,为了提高应用系统的性能,开发工程师往往使出浑身解数在应用代码层做读写分离、负载均衡、分库分表,需要对后端MySQL集群架构有清晰的掌握,一旦某台MySQL Server宕机,不仅运维工程师需要感知,开发工程师也需要及时作出响应。为了提高业务团队的开发效率、减少人力成本,并且让运维工程师更灵活的施展手脚,这样一款中间件的重要性是我们可以预见的。

除了上述提到的特点,Atlas还支持黑白名单,它可以让我们自定义危险语句,比如delete忘了加where这样的SQL,从而提高安全性。

同时,它能让MySQL集群应用更加可靠和便捷,大家在实际使用中自然能感受到。

CSDN:为何选择把奇虎360线上数据库中间件开源?

奇虎360王超:第一、Atlas的广泛应用,为我们的业务开发效率、运维灵活性、集群可靠性带来了质的改变,所以我们希望它的开源同时能帮助到大家 

第二、取之开源,回馈开源,这是应该的。希望大家一起参与进来。

CSDN:与同类数据库中间件相比,它具有哪些特性?解决了哪些技术难点?

奇虎360王超:当前能够供大家用的数据库中间件很少,更不用说开源的了。相比同类开源软件,Atlas有以下特点:

a. 轻量级,只有三万多行C代码

b. 配置、管理简单

c. 使用原生MySQL协议,客户端无需作出额外的代码变动

5.该数据库中间件使用了哪些开源技术?其架构是怎样的?

基于开源软件MySQL-Proxy进行开发,其使用了MySQL原生协议,也就是说使用Atlas无需对原有的应用代码逻辑进行变更。

架构同样延用了Proxy方式,运行在Client与Server之间,负责请求的调度。

CSDN:在设计过程中遇到了哪些难点?是如何解决的?

奇虎360王超:设计和开发过程是痛并快乐的,因为MySQL-Proxy一直是Alpha版本,我们在最初调研、选型阶段就意识到基于此版本开发,过程会非常曲折,事实证明确实如此,不支持多字符集、多线程崩溃、epoll惊群、Lua全局锁、伪连接池等,这仅仅是功能性问题,性能方面也不给力,比如几百的QPS、并发高时latency会恶化到十秒级。

基于开源软件做,优势是一些功能不用重头开发,比如MySQL协议解析模块,但也有局限,由于内部架构已经成型,有些功能想优化成本也很高。期间也跟MySQL官方提交过一些BUG,但基本都石沉大海,即使有回复确认也没有相应patch。当时国内有一家大型互联网公司也有类似的项目,一开始同样基于MySQL-Proxy去做,但中间因为一些原因换用Erlang重写了。

我们当时有点犹豫,也想放弃重头写,但后来还是坚持了。现在想想还是值得的,因为从MySQL-Proxy中我们也学到了很多。

对于问题的解决,除了要清晰掌握代码、软件内部结构之外,还要善用工具,及时变换思路

CSDN:该数据库中间件是什么时候开始投入使用的,现已应用到公司内部哪些产品中? 

奇虎360王超:Atlas项目是11年启动的,两个月后完成了第一版,并小范围上线。之后完成了三个比较大的改版,在12年年底前覆盖了公司大多数MySQL应用。

CSDN:对该款数据库中间件,未来有什么规划吗?

奇虎360王超:我们发布的版本在内部已经是稳定版本,开源出来之后,由于大家运行环境各不相同,可能会产生编译或其他一些问题。我们收到反馈后,会及时解决。

另外,我们考虑是否给Atlas加入跨服务器的auto sharding功能,由于当前不乏一些分布式架构成熟的数据库,是否有必要做最终取决于需求。

CSDN:360公司内部对开源是怎样的态度?未来有什么计划?

奇虎360王超:拥抱开源!开源有助于我们提高代码质量,同时让我们受益,我们有责任、有义务回馈开源社区。未来将会有更多的项目加入进来。

CSDN:多谢王超和奇虎360Web平台部基础架构团队!希望未来有更多的好的产品实现开源!(付江、陈秋歌/文)

Oculus公司同意收购Xbox 360手柄设计团队 公有云VS私有云 哪个数据更安全? 调查:开发者越老越吃香吗? Facebook在线支付:取代虚拟货币的终极边界 Google I/O前析:关于新一代设计框架Quantum Paper的猜想 Google I/O 2014前瞻:“令人发指”的Android产品线 福昕熊雨前:PDFium开源项目的背后 Dropbox无法登陆,国内企业网盘横向评测! 如果编程语言是超级英雄…… 谷歌发布Material Design设计语言 系统、功能与设计,Android L究竟新在哪儿? 《近匠》游道易副总裁孙可:发行商眼中的手游市场 布道师徐立:Docker是标准化IT结构的新方式 解读全新Google Play Games:多屏游戏时代终于来了! 设计神器PaintCode 2.1发布,完全支持Swift 一周消息树:天河二号以每秒3.3亿亿次的速度再居世界超算榜首 传闻微软计划用Lumia品牌取代Surface 【CTO俱乐部读书会】杨立东:技术团队留人“三板斧” 蓝港在线王世颖:浅谈手机游戏发行的成功基因 美国高通公司执行董事长Paul E. Jacobs:移动科技——精彩现在,辉煌未来 告别公用云,Instagram已将服务迁至Facebook数据中心 华为助力凤凰实现全媒体战略 跨平台2D/3D游戏开发框架libGDX发布1.2.0更新 Docker CEO Ben Golub:Docker借助开源、天时走向成功 社交网络先驱、服役十年的Orkut被谷歌关闭 支付宝风控系统对外输出 联合机构建支付安全生态圈 不同设备不同界面:Windows 9正在逼近! 福特联手英特尔 为汽车打造智慧感应系统 《近匠》环信:标准化即时通讯与未来社交构想 支持Swift!全新“四步测”BDD框架Quick诞生 中国式移动办公 纷享销客完成B轮融资千万美元 关于金山网镖的一点问题?/ 急: seseion 和httpsession有什么区别啊.?jsp内部对象和javax.servlet.http.*下面的类似对象有什么区别和相同点? 高分急救:急,急,急 数据定义问题 急:关于rich text小应用程序的问题,请高手指点!谢了! 女大学生的一天(转载) 200分问一个小问题, 在线等: JBuilder自带的ESite for weblogic部署出错... 请问 vb 怎么样让函数返回一个二维数组?能给你例子吗? 有人知道上海通方信息系统有限公司吗?我要去面式了?大家帮帮忙,做ejb程序员。 域问题 转分 介绍制作DLL专业书籍 有关image的函数问题 请教? TObject和integer之间的转换问题 数据库简单问题 文本文件的最后一行怎末去掉换行符,用程序实现。 善良的程序员,当心QQ骗子啊! 谁有Qamonitor,小弟急用! 不要笑偶 转分 有会打印对象编程的吗?printer对象怎样打印横线??怎样打印带风格的报表?? 表分区的数量有上限吗 ASP 0178 (0x80070005) 各位高人,请一定帮个忙吧 !! SetCellImage 利用C# 读取系统当前进程的出现问题,帮忙!! 请教高手:怎样在一个窗口里能够输入文本文件(按回车键) 另一个窗口显示出同样的文本 高手在何方 (大力请进)sql字符串处理的问题 上哪能下到exchange 2000,下到马上给分! ado问题? 数据迁移问题??? 怎么把列名选出来? [在线求助]:有什么好的方法可以使得鼠标放上有链接的地方状态栏不显示真实地址? 高手在哪!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 各位大哥﹐何為微创软件开发管理﹖﹖﹖﹖ 3com switch 3300 xm 有网管的功能吗? 关于窗口大小的问题,快来捡分~~~ 为什么2001年前的提问的问题、得分的问题、信誉分变化纪录都不见了。 无法在人才频道上提交简历。。。 请问:wsad4支持滚轮鼠标的插件哪里有下载??? 自动锁定计算机? 请问如何终止一个正在运行的应用程序 无法在人才频道上提交简历。。。 后面数据库为ms sql server2000的时间问题? DoEvents 怎么用?(不好意思,只有这么多分了!) CSDN真让我失望,大家都喜欢回答无聊的问题(不要回复) jdbc中LIKE条件如何使用prepareStatement? 请问,如果想报考系分的话,需要先过高程吗? 请问怎么把Excel形式的表结构导入到Oracle … 洛比达法则的应用 家里蝴蝶灯管坏了原是2针的管,错买了4针管回来,请问两者通用吗?不敢乱安, 求问皇帝的新装中骇人听闻的潜台词是什么 人们不允许在公众场合吸烟 people ---- -----to smoke in public. 一次演讲比赛设一、二、三等奖.一等奖的获奖人数是二、三等奖获奖人数的4分之1,二等奖的获奖人数是一、三等奖获奖人数的3分之2.一、二、三等奖的获奖人数各占获奖总人数的几分之几? 止战之殇是什么意思? 把曾参杀猪的故事缩写成100字 一道有意思的推算题目!有兴趣速度来哈````58 26 16 14 ( ) 空格里的数字应该是多少啊`? 《皇帝的新装》“这可骇人听闻了”,此句中的“这”字指代什么? 有2个容积分别是5升和7升的水桶 如何量出1升的水来 一道很有意思的经济计量题,请多多指教题目是这样的(翻译过来的,语言也许有不通顺的地方,见谅)你想推广一种产品,这种产品要么很受欢迎要么没有市场.你估计这种产品很受欢迎(获得 在《皇帝的新装》中“这可骇人听闻了”的“这”是什么意思?初一上册26课! 六年级数学题目哈有一个上细下粗的圆柱形酒瓶,底面积是10平方厘米,高是7厘米,里面装有一些酒,正放酒的高度是4厘米,倒着放酒的高度是5厘米,这个酒瓶的容积是多少?可能画的不是很标准 大 大兴安岭上主要分布着什么样的林带?这种林带的代表树种是什么? 谁能解释一下止战之殇这首歌 如何计算一平方厘米内尘埃粒子的含量通过五点取样法测的某地空气中每平方厘米中尘埃粒子含量分别为6.3.9.7.5,为什么一平方米的含量是60000而不是600呢 有没有苏教版六年级数学总复习题哈? 猜为什么是反犬旁 蛇的最长寿命是多少 农场牛羊共160只,卖出羊的10%,再买30头牛,现在牛羊只数相等,问:原有牛羊个几只? 3Only____of them are interested in the exhibition.Afew B a few Ca little D little 那种会吃鱼的蝙蝠叫什么?习性和分布?3Q 曾子杀猪的故事,改编剧本,700字 世界上谁的垂直起跳高度最高垂直起跳高度是多少 数学新课标指出有效的教学活动是什么? 这是题算式怎列 反犬旁加贪是什么字, 仿写通往广场的路不止一条 一次比赛有50人参赛其中有26人获奖已知二等奖的人数比一等奖的人数比为4:1一等奖是三等奖的1/8一等奖几人 世界上垂直起跳最高是谁谢谢 通往广场的路不止一条仿写 都来帮小女子算算哈!有一间储藏室长8米,宽6米,高4.5米.如果每立方米空间可以放大米5袋,每袋大米重50千克,这间储藏室一共可以存放大米多少吨? 世界上垂直起跳高度最高是多少?拜托各位了 3Q 哪里能买到车前草籽啊? 有一次演讲比赛,有50名选手参加,其中有4/5获奖.已知或二等奖人数与或一等奖的人数之比是5:1,或%有一次演讲比赛,有50名选手参加,其中有4/5获奖.已知或二等奖人数与获一等奖的人数之比是5:1, 世界上垂直起跳最高距离是多少?人们再不断创造新的高度 适合在沙漠中种植的树种和草种有哪些?除了仙人掌. 在一次才艺表演中,有50名选手参赛,结果26人获奖,获二等奖与获一等奖的人数比是4:1,获一等奖人数是获奖人数的1\8,有几人获得一等奖?搞错了,是:在一次才艺表演中,有50名选手参赛,结果26 请你举一例,说说某一化学产品的利与弊.越快越好、亲们 根系最发达的草种是什么?我是专门搞种植的 急切想知道,请问:冯友兰的《中国哲学简史》好的版本都有哪几个?请问新世界出版的怎么样? 太阳直射南纬20度,昼长达到一年中的最大值的范围是多少? 最基本的物质粒子是怎么形成的?空间里的能量和场是怎么来的? 中国哲学简史 冯友兰的 买哪个出版社的最好? 当太阳直射20N时,20N地区昼长达一年最大值? There are so many cars in front of the supermarket.He doesn't know___his carA Where can he park B Where to parkC How to park D Where does he park顺便问下,breath可数吗? 冯友兰的《中国哲学简史》哪个出版社的好:我只剩下这一个问题了,急切想知道,拿不定主意,感激不禁注意:是冯友兰的“简史”哪个版本的最好?哪个版本的最好?麻烦给个封面图片 太阳直射南半球,南半球各地昼长于夜,其中什么日夜长达到一年中的最大值太阳直射北半球,北半球各地昼长于夜,其中什么日夜长达到一年中的最大值,一共两个问. 求大神写点形容距离越来越远的词段,不要太短 在冯友兰先生《中国哲学简史》中,杨朱杨朱被称为先秦道家第一阶段的代表人.在其它的胡适啊、任继愈等学者的《中国哲学史》中有议论杨朱吗?杨朱又是什么地位呢? 修一条路甲修了全长的4分之1,正好修120米,乙修了百分之35圆形花坛的半径是8米,如果延花坛的边沿修2米的小路,小路面积是多少 洛比达法则具体是什么内容?能否举例说明一下. 中国哲学简史~冯友兰,有这样一句话不懂,哲学简史》有一句话:在我们对人生开始思想之前,我们必须首先“思想我们的思想”.这两个思想啥意思后边还有“思想思想的思想是反思的思想. 历史上跟祁黄羊一样大公无私的有哪些人 什么是洛比达法则 星体为什么会自转 有什么规律? 历史上大公无私的人被称为什么 ∞/∞型和0/0型在洛比达法则里是什么意思?在求极限的式子里怎么才能看出来是∞/∞型还是0/0型呢? 冯友兰人生经历? 大公无私的人有哪些? “神医”胡万林出狱重操旧业 学生听信贫困县村民建好羊圈没钱买羊 银行称羊俄罗斯暴力事件频发 普京抨击外国势力美民调:58%民众支持大麻合法化 比日媒:赴韩中国游客首超日本凸显三国关阿根廷与欧盟生物柴油贸易纠纷致阿损失非法行医为何屡禁不止? 彻底根治需要美称在叙利亚西方记者有遭绑架危险 应西安“3干部被羁押工资照发” 官方称摩根大通面临又一笔潜在巨额索赔 显银多项民调显示美国人质疑政客能力 看淡澳大利亚总督布赖斯访问成都 与大熊猫美国10位最高薪CEO年收入首次全部澳女子高速公路慢跑途中遭遇歹徒险些被巨型牡蛎长约35.5厘米 或为世界最巨型牡蛎长约35.5厘米 或为世界上2047年:全球高温临界点?巴西油田竞标引发抗议 示威者与军警冲法国媒体再曝美国监听法国驻美和联合国吉林省雾霾渐退影响仍持续 学校停课面中国代表在联合国呼吁支持最不发达国家草鱼、桂花鱼检出孔雀石绿 食安局开展台风停课=关门?近8成家长认为学校应第22届中国金鸡百花电影节武汉简朴开《失恋33天》金牌组合再联手 推《等中航工业预计2032年中国民用飞机将空军2014年招飞工作启动 停招地方英国人研究中国铁路二十载 著书佐证中国内外专家共商农业物联网对中国智慧农浙江食品安全集中行动 警方称地沟油案“货仓大王”李学海:华商在中国发展的办好发好用好党刊 提升党刊宣传工作水四川科技馆迎来“新宠”,4D体验馆受浙江嵊州:2层楼房建在桥上 专家称可亚洲塑料论坛聚焦可持续发展 秘书长盼支付宝韩国首开海外退税服务 欧盟等将新一届政府已经取消和下放221项行政巴基斯坦强震已致327人遇难 新现小新华网:为政府给企业更多投资“拍板权U16亚预赛-国少14-0屠北马里亚国民党中常委力挺第19次党代会延期易业内人士:礼品回收是无本万利的买卖
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘