开源奇虎360Web平台部基础架构团队访谈：开源线上数据库中间件Atlas

奇虎360Web平台部基础架构团队访谈开源线上数据库中间件At l a s

发表于2013-07-0522:40| 5408次阅读|来源CSDN| 23条评论|作者付江/陈秋歌

数据库开源中间件MySQL360基础架构Atlas

摘要 日前 CSDN记者联系到奇虎360Web平台部基础架构团队就Atlas、 MySQL集群架构以及开源等一系列问题作了采访。

近日奇虎360Web平台部基础架构团队发布了最新开源项目——Atlas(代码托管地址)一个基于M ySQ L协议的数据中间层项目。它在M ySQ L官方推出的M ySQ L-P roxy 0.8.2版本的基础上修改了大量bug添加了很多功能特性。 目前该项目在360公司内部得到了广泛应用很多MySQL业务已经接入了Atlas平台每天承载的读写请求数达几十亿条。日前 CSDN记者联系到奇虎360Web平台部基础架构团队的王超就Atlas、 MySQL集群架构以及开源等一系列问题作了采访 以下是采访内容

CSDN请您介绍一下自己及奇虎360线上数据库中间件开发团队。

奇虎360王超大家好我是王超。我于201 1年加入奇虎360 当前在Web平台部负责基础架构团队我们团队的主要职责是给Web后端业务提供高可靠、高性能的基础服务支持。

我们团队开发、维护着许多系统除了分布式数据库、消息队列这些居家必备的基础服务之外我们还做了一些好玩的东西。这次开源的MySQL中间件Atlas就是其中一项它能真正让业务实现访问MySQ L集群的高可靠和高可用并且将业务开发工程师和M ySQ L运维工程师的工作完全隔离做到互相透明互不影响。当前主要由两位工程师在做持续开发和维护。

CSDN 360为什么要单独设计这样一款线上数据库中间件它具有哪些功能点?奇虎360王超 MySQ L集群化应用一直都很普遍为了提高应用系统的性能开发工程师往往使出浑身解数在应用代码层做读写分离、负载均衡、分库分表需要对后端MySQ L集群架构有清晰的掌握一旦某台MySQL Server宕机不仅运维工程师需要感知开发工程师也需要及时作出响应。为了提高业务团队的开发效率、减少人力成本并且让运维工程师更灵活的施展手脚这样一款中间件的重要性是我们可以预见的。

除了上述提到的特点 Atlas还支持黑白名单它可以让我们自定义危险语句 比如delete 忘了加where这样的SQL从而提高安全性。

同时它能让MySQ L集群应用更加可靠和便捷大家在实际使用中自然能感受到。CSDN为何选择把奇虎360线上数据库中间件开源

奇虎360王超第一、At l a s的广泛应用为我们的业务开发效率、运维灵活性、集群可靠性带来了质的改变所以我们希望它的开源同时能帮助到大家

第二、取之开源 回馈开源这是应该的。希望大家一起参与进来。

CSDN与同类数据库中间件相比它具有哪些特性解决了哪些技术难点

奇虎360王超 当前能够供大家用的数据库中间件很少更不用说开源的了。相比同类开源软件 Atlas有以下特点a.轻量级只有三万多行C代码b.配置、管理简单c.使用原生M yS Q L协议客户端无需作出额外的代码变动

CSDN该数据库中间件使用了哪些开源技术其架构是怎样的

奇虎360王超基于开源软件MySQ L-P roxy进行开发其使用了M ySQ L原生协议也就是说使用Atlas无需对原有的应用代码逻辑进行变更。

架构同样延用了Proxy方式运行在Cl ient与Server之间负责请求的调度。

CSDN在设计过程中遇到了哪些难点是如何解决的

奇虎360王超设计和开发过程是痛并快乐的因为MySQL-Proxy一直是Al p ha版本我们在最初调研、选型阶段就意识到基于此版本开发过程会非常曲折事实证明确实如此不支持多字符集、多线程崩溃、 epol l惊群、 Lua全局锁、伪连接池等这仅仅是功能性问题性能方面也不给力 比如几百的QPS、并发高时latency会恶化到十秒级。

基于开源软件做优势是一些功能不用重头开发比如M yS Q L协议解析模块但也有局限由于内部架构已经成型有些功能想优化成本也很高。期间也跟M yS Q L官方提交过一些BUG但基本都石沉大海即使有回复确认也没有相应patch。当时国内有一家大型互联网公司也有类似的项目一开始同样基于MySQL-Proxy去做但中间因为一些原因换用E rlang 重写了。

我们当时有点犹豫也想放弃重头写但后来还是坚持了。现在想想还是值得的 因为从MySQ L-P roxy中我们也学到了很多。

对于问题的解决除了要清晰掌握代码、软件内部结构之外还要善用工具及时变换思路CSDN该数据库中间件是什么时候开始投入使用的现已应用到公司内部哪些产品中奇虎360王超 Atlas项目是201 1年启动的两个月后完成了第一版并小范围上线。之后完成了三个比较大的改版在2012年年底前覆盖了公司大多数MySQ L应用。CSDN对该款数据库中间件未来有什么规划吗

奇虎360王超我们发布的版本在内部已经是稳定版本开源出来之后 由于大家运行环境各不相同可能会产生编译或其他一些问题。我们收到反馈后会及时解决。

另外我们考虑是否给Atlas加入跨服务器的auto sharding功能 由于当前不乏一些分布式架构成熟的数据库是否有必要做最终取决于需求。

CSDN 360公司内部对开源是怎样的态度未来有什么计划

奇虎360王超拥抱开源开源有助于我们提高代码质量同时让我们受益我们有责任、有义务回馈开源社区。未来将会有更多的项目加入进来。

CSDN多谢王超和奇虎360Web平台部基础架构团队希望未来有更多的好的产品实现开源 付江、陈秋歌/文