说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

奇虎360Web平台部基础架构团队访谈:开源线上数据库中间件Atlas

HTML文档下载 WORD文档下载 PDF文档下载
日前,CSDN记者联系到奇虎360Web平台部基础架构团队,就Atlas、MySQL集群架构以及开源等一系列问题作了采访。

近日,奇虎360Web平台部基础架构团队发布了最新开源项目——Atlas(代码托管地址),一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性。目前该项目在360公司内部得到了广泛应用,很多MySQL业务已经接入了Atlas平台,每天承载的读写请求数达几十亿条。日前,CSDN记者联系到奇虎360Web平台部基础架构团队的王超,就Atlas、MySQL集群架构以及开源等一系列问题作了采访,以下是采访内容:

CSDN:请您介绍一下自己及奇虎360线上数据库中间件开发团队。

奇虎360王超:大家好,我是王超。我于2011年加入奇虎360,当前在Web平台部负责基础架构团队,我们团队的主要职责是给Web后端业务提供高可靠、高性能的基础服务支持。

我们团队开发、维护着许多系统,除了分布式数据库、消息队列这些居家必备的基础服务之外,我们还做了一些好玩的东西。这次开源的MySQL中间件Atlas就是其中一项,它能真正让业务实现访问MySQL集群的高可靠和高可用,并且将业务开发工程师和MySQL运维工程师的工作完全隔离,做到互相透明,互不影响。当前主要由两位工程师在做持续开发和维护。

CSDN:360为什么要单独设计这样一款线上数据库中间件?它具有哪些功能点?

奇虎360王超:MySQL集群化应用一直都很普遍,为了提高应用系统的性能,开发工程师往往使出浑身解数在应用代码层做读写分离、负载均衡、分库分表,需要对后端MySQL集群架构有清晰的掌握,一旦某台MySQL Server宕机,不仅运维工程师需要感知,开发工程师也需要及时作出响应。为了提高业务团队的开发效率、减少人力成本,并且让运维工程师更灵活的施展手脚,这样一款中间件的重要性是我们可以预见的。

除了上述提到的特点,Atlas还支持黑白名单,它可以让我们自定义危险语句,比如delete忘了加where这样的SQL,从而提高安全性。

同时,它能让MySQL集群应用更加可靠和便捷,大家在实际使用中自然能感受到。

CSDN:为何选择把奇虎360线上数据库中间件开源?

奇虎360王超:第一、Atlas的广泛应用,为我们的业务开发效率、运维灵活性、集群可靠性带来了质的改变,所以我们希望它的开源同时能帮助到大家 

第二、取之开源,回馈开源,这是应该的。希望大家一起参与进来。

CSDN:与同类数据库中间件相比,它具有哪些特性?解决了哪些技术难点?

奇虎360王超:当前能够供大家用的数据库中间件很少,更不用说开源的了。相比同类开源软件,Atlas有以下特点:

a. 轻量级,只有三万多行C代码

b. 配置、管理简单

c. 使用原生MySQL协议,客户端无需作出额外的代码变动

5.该数据库中间件使用了哪些开源技术?其架构是怎样的?

基于开源软件MySQL-Proxy进行开发,其使用了MySQL原生协议,也就是说使用Atlas无需对原有的应用代码逻辑进行变更。

架构同样延用了Proxy方式,运行在Client与Server之间,负责请求的调度。

CSDN:在设计过程中遇到了哪些难点?是如何解决的?

奇虎360王超:设计和开发过程是痛并快乐的,因为MySQL-Proxy一直是Alpha版本,我们在最初调研、选型阶段就意识到基于此版本开发,过程会非常曲折,事实证明确实如此,不支持多字符集、多线程崩溃、epoll惊群、Lua全局锁、伪连接池等,这仅仅是功能性问题,性能方面也不给力,比如几百的QPS、并发高时latency会恶化到十秒级。

基于开源软件做,优势是一些功能不用重头开发,比如MySQL协议解析模块,但也有局限,由于内部架构已经成型,有些功能想优化成本也很高。期间也跟MySQL官方提交过一些BUG,但基本都石沉大海,即使有回复确认也没有相应patch。当时国内有一家大型互联网公司也有类似的项目,一开始同样基于MySQL-Proxy去做,但中间因为一些原因换用Erlang重写了。

我们当时有点犹豫,也想放弃重头写,但后来还是坚持了。现在想想还是值得的,因为从MySQL-Proxy中我们也学到了很多。

对于问题的解决,除了要清晰掌握代码、软件内部结构之外,还要善用工具,及时变换思路

CSDN:该数据库中间件是什么时候开始投入使用的,现已应用到公司内部哪些产品中? 

奇虎360王超:Atlas项目是11年启动的,两个月后完成了第一版,并小范围上线。之后完成了三个比较大的改版,在12年年底前覆盖了公司大多数MySQL应用。

CSDN:对该款数据库中间件,未来有什么规划吗?

奇虎360王超:我们发布的版本在内部已经是稳定版本,开源出来之后,由于大家运行环境各不相同,可能会产生编译或其他一些问题。我们收到反馈后,会及时解决。

另外,我们考虑是否给Atlas加入跨服务器的auto sharding功能,由于当前不乏一些分布式架构成熟的数据库,是否有必要做最终取决于需求。

CSDN:360公司内部对开源是怎样的态度?未来有什么计划?

奇虎360王超:拥抱开源!开源有助于我们提高代码质量,同时让我们受益,我们有责任、有义务回馈开源社区。未来将会有更多的项目加入进来。

CSDN:多谢王超和奇虎360Web平台部基础架构团队!希望未来有更多的好的产品实现开源!(付江、陈秋歌/文)

为什么苹果的应用审核是个笑话? 程序员性格怪癖是才华横溢的表现,还是危险分子的征兆? JavaScript Source Map详解 8条学习编程的可靠建议 一周消息树:亲爱的GitHub,我们怎么访问不了你? [回顾] 2012年几大编程语言就业趋势分析 研发周报:微软无视W3C 拒绝遵循WebRTC标准 移动周报:夫妻档闯江湖 事业爱情双丰收 当服务器遇见锤子:第六届AWS全球创业大赛落幕 C# DataTable 和List之间相互转换的方法 iPad如何在三年内改变世界 划时代的成果:新DNA存储技术 轻而易举装下世界 谷歌产品设计:Larry Page的魅力革命 开源移动统计工具Countly更新 支持Unity 3D DailyCost传奇设计师访谈,彰显HTML5移动应用优势 如何成为一名架构师? Apache Hadoop集群的安全性架构 Wood Camera开发者访谈:我们如何冲到榜首的 代码审查:程序员内炼之道 Twitter Q1推广告API 收入剑指10亿 Dell:在OpenStack成熟后才会推出服务 一个开源工作者对开源与赚钱的一些想法 宏碁:Windows8仍不成功 Chrome表现令人意外 雅虎发布Q4财报 净利润同比下滑8% 游戏机禁售令起风波,索尼任天堂股价大涨 国外开发者吐槽Facebook Android设计一例 Rovio转向发行业务 将发布新作Tiny Thief 上山下海 “硬汉”服务器无所不能 访金山云CTO杨刚:开源改进PK自主研发,技术驱动前行 苹果涉及色情问题,且进一步恶化 开源产品系列:面向组件的Web框架tapestry 自制控件问题 静态链接库中的资源 Xml的查询定位问题? 小高求助! 关于JAVA文件执行时出现的错误 如何在Datagrid中取得当前记录的某字段值? 如何取得下拉菜单项? 目录树记忆属性实现的讨论 我想去中国网通申请域名,他们是不是很吊,有没人用过啊 Help 删除一条记录?? 在研究软件加密 “咱们把最好的粮食给城里人吃,又进城帮助他们盖起了高楼大厦,他们为什么还瞧不起我们呢?” 老板今天叫我签合同 有关于TImage的图像显示速度 怎样让 Title 的显示时间延长????????? !!!!!!!!!格式化数据列 怎么这么慢啊 请问:如何在打印之前设定该次打印纸张的大小(很急,老板催货了,帮忙顶一下,谢谢)? 有什么办法可以把class文件反编译回java文件? 如何写到文件? 自己写一个函数,把2,3,4加到1,2,3中去,不重复 Netscape打印中文网页为什么不成功? 英文XP中装了东亚语言包,能显示中文了,如何输入汉字呢。。。。 接到一个电话 哪位大哥大姐教教我啊? Dll如何同控制台程序通信 RedHat Linux7.2下如何挂上RealTek8139网卡驱动????高分相送哦!在线等待!!! TreeView问题 求register_globals = On和register_globals = Off的不同用法(原代码) 斑竹,我是因为升级才散分的,有个穿红裤衩的支持俺了…… 一个新手的加急求救!谁先回答,就先给谁份,希望大家说的详细点! 写xml文件的不完整的问题 关于esqlc的unload 的问题。 关于方法覆盖,在线等候 一个实际开发中经常令人头痛的问题 在线,急,谁有3D MAX的下载地址?高分! 推荐IT公司调查 监测表记录字段变化情况 如何能够得知table中的字段是什么类形?(如字符,数字,浮点等) SUN认证是不是“纯”English的? 在windows 2000下,如何在perl脚本中,执行另外一个perl脚本文件?? JPEG图片压缩 新工程收尾,请提宝贵意见!!! 钱是什么??钱是王八蛋,没了在去赚!!!!!!! 我用Jet把java编译成本地可执行的程序了,可是换一台机子又不可以运行了,说是需要有jet的运行坏环境,那还不如安装JVM呢。求高手教我怎 这个数据窗体怎么做!!? 静态链接库中的资源 请教,十万火急,请各位大虾救我 字符串问题 怎么样导出 计算机拔掉插头后计算机卡住了,强制关机没用,我直接拔的插头,现在按开机键没反应,插头插上会有接通电源的声音.我回家后,电脑恢复正常了,感谢各位亲们的解答! 人体心肌的核呈现什么形状?1.柱状;2.菱状;3.卵圆形 酶对人体有哪些作用 无线路由器平时应该拔掉插头吗?我们晚上睡觉拔掉,白天又插上(每次拔都是拔路由器那边接口,不是墙上插座那),2个月以后发现路由器不怎么好使了,.我不知道是不是我们经常拔插头的原因 人体在什么情况下卵细胞会分裂成两个或三个? 交流发电机旋转的问题.旋转线圈式发电机和旋转磁极式发电机,同样是旋转,为什么后者能发出比前者高得多的电压?如果线圈和磁极都旋转,只是方向不同,这样会不会更有效率呢? 怎么办 精卵刚结合身体有什么症状吗? 旋转电枢式交流发电机来看看这张图是不是有问题 各位初二上物理难吗 把一个磁铁做成球型,它还有没有磁性?如果有,那N-S极怎么确定? 交流发电机是什么让线圈转动的? 初二的物理难吗.我马上初二了 网络工程师分类多少种? 如何让交流发电机产生正旋交流电 请问初二的物理难吗?应该怎样学呢?应该用什么辅导书呢? 语言不丰富用什么词来形容 SOS!求哀怨如泣的意思?! 初二的物理难吗? 什么样的酶对人体血管细胞有好处? 哀怨什么意思? 我现在初二了,那又如何去学物理呢?有什么好方法呢? 青年人当如何践行中国梦 什么是哀怨? 边长是200米得正方形的面积是()公顷 青年人的梦与中国梦有何关系? 打雷时要拔掉冰箱等电器的插头吗 一道化学题目(关于离子)某无色溶液中能最大共存的离子组是A.Na+ H+ Cl- Cu2+ B.OH- K+ SO4 2-C.NO3- Mg2+ Cl- K+ D.Na+ OH- NO3- H+要理由啊, 你的梦,他的梦,青年人的梦,与中国梦有什么关系? 怎样理解极尽哀怨能事这句话能字是怎么解释呢`` 创星过滤桶at与cf有什么区别创星过滤桶有不少系列!ef cf at df都有什么区别呢! 郡县和郡县制的区别郡县和郡县制有什么区别 打雷时要把电器的插头拔了吗 火线与大地之间为什么没有电压搞错了,是火线与大地之间有没有有电压 工程师怎么分级 打雷插头不拔掉会不会是的电器损坏? 读新单词时,要不要把中文意思读出来?说说清楚一点为什么 豆在釜中泣中的釜是什么意思,泣是什么意思 打雷时候要把电源的插头拔掉吗? 有没有什么好的英语学习软件,能先读英文然后读英文单词的中文意思 《七步诗》萁在釜下然,豆在釜中泣. 人体的最佳温度是32度么?如果是 为什么是32度?是因为有一种酶适应32度?它在人体中有什么作用?尽量说清楚点 谢谢 在家庭电路中,因为是并联,所以电压相等,那么根据P=U^2/R,电阻越小…………在家庭电路中,因为是并联,所以电压相等,那么根据P=U^2/R,电阻越小,P越大,P越大,热量就越大,为什么电炉要用电阻小的 “萁在釜下然,豆在釜中泣” 其中“然”是什么意思,“泣”是什么意思;这句话是什么意思?详细 每个人体细胞中含多少个基因人体含3到3.5万个基因 每个细胞也含那么多吗还是平均多少个 有表扬意思的四字词语 “萁在釜中然,豆在釜中泣”中的“然”和“泣”分别是什么意思? 人体细胞中的DNA主要分布在? 关于设定行政许可,下列说法正确的是a.较大市政府规章可以设定行政许可b.省政府规章设定行政许可最长期限为2年c.国务院部门规章不可以设定行政许可d.省政府规章不可以设定行政许可答案 家用电器长期使插头插在插座上不拔会有什么不好的影响吗?火灾?电器线路损坏? 人体细胞内有几对DNA 关于规章设定行政许可,下列说法正确的是()A、有规章制定权的机关就有权设定行政许可B、规章可以增设前置性行政许可C、上海市人民政府可以设定临时性行政许可D、国家部委可以设定 电器不拔插头费电吗用电器不工作,插头还插着, 一国两制中保持资本主义制度长期不变是永远么 形容龙的词语,不要四字词语. 家用电器关闭后如果不拔插头,对电器有没有影响,会不会有危险 资本主义维新派和资本主义革命派是指他们本身是资本主义还是指他们向往资本主义 百科、复制看不懂.焦距是镜头长度的意思、还是镜头到成像孔的距离、还是能把被摄物体放大多少距离的意思?(或者是什么)还有通常我们说的什么120相机 35mm相机又是指什么?是指镜头到 哪种拔罐器好 磁铁磁性最弱的地方磁铁磁性最强的地方 电视购物广告不允许\"叫卖式\"宣传中国成功连任联合国经社理事会成员法国巴黎CAC40股指下跌成品油调价窗口今日开启 机构预测每升国内成品油价今迎调价窗口 “两连跌”美国私营部门新增就业岗位创6个月新低陕西“房姐”案今日二审宣判 一审未提李某某强奸案二审延期 张起淮承认担任杨澜提问朗朗\"工作有何意义\"惹争俄达吉斯坦共和国首府发生爆炸袭击俄罗斯将提高远东石油管道输油能力巴基斯坦奎达发生爆炸4人死亡土耳其总理要求国际社会帮助解决叙利亚津巴布韦灵车与油罐车相撞20人死亡许其亮与俄罗斯国防部长举行会谈卫计委:非诊治需要不得对儿童开展微量普京被评为全球最有影响力人物 奥巴马马凯会见爱尔兰总理肯尼中国公司赞助安哥拉发展乒乓球运动浙江武义江遭企业偷排 PH值、化学需俄驳日媒报道 称不会与日讨论中国“潜湖北打掉一跨省电信诈骗团伙文洁若:我还能工作到100岁纪念抗战胜利70周年国瓷首发路演现场 投资人追着好项目跑全球首款能听会说洗衣机诞生中国泳军此去喀山能否夺6金?中国泳军此去喀山能否夺6金?中国人的教训责编:刘 菲邮箱:haiwaiban乔治对太极拳产生兴趣 感慨中国传统文赣南资讯GLUTs:潜在的肿瘤治疗靶点东厂胡同里的黑地锁谁来管海南广东福建等地将有大暴雨在疆生活工作经商很安心商务部:今年吸引外资有望同比增4%何谓“政治法学”互联网金融告别“三无时代”(热点聚焦如家酒店违法占道作停车场黄金储备大增 人民币“底气”更足(市卢旺达中学生秀汉语
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘