去哪儿网应用运维自动化的三个关键点

郑松宽去哪儿网高级运维开发工程师自我介绍2013年加入去哪儿网,运维开发主机管理、应用管理和监控报警平台开发团队介绍服务器&网络日常运维运维平台内网平台应用CI/CD主机存储计算中间件监控报警日志应急运维sshlinux命令脚本运维批量未编排分立的系统界面上操作数据未共享运维平台一站式数据互通101001K10K监控报警数据互通主机管理主机管理系统脚本文档工具权限DB运维人员openstackDNSDB创建&销毁主机信息查看监控报警作用问题找负责人困难部门统计困难业务线参与少应用树BUTeam1App1App2Team2App3节点主机负责人审批人业务线参与管理主机负责人定位迅速部门主机统计方便作用问题主机扩容仍由OPS负责通过邮件沟通报警通知给负责人记录不易查询账号添加仍由OPS负责主机管理应用树审批中心开发人员主机申请账号申请主机管理主机申请账号申请应用树应用树节点qunar.
ops.
dev.
portalqunar.
ops.
portalqunar.
ops.
portal_web树节点改变各系统同步分布式困难解决方案方案一节点自增ID或UUID方案二Appcode(ops_portal_web)能保证唯一且不改变无意义,沟通不方便能保证唯一且不改变有意义,沟通方便监控报警数据互通主机管理监控报警是保证!
原来的报警监控部门1部门2部门3CactiCactiCactiNagiosNagiosNagios存在的问题各部门维护一套甚至多套,运维成本高Cacti部署在单机上,不能横向扩展,性能差,非高可用报警配置有专人负责,不能由开发人员定制,效率低解决方案Watcher公司级统一监控报警平台Watcher简介基于开源项目Graphite深度开发报警监控可由开发人员在统一界面上查看和配置支持主机基础监控报警和业务监控报警指标数2千万+规模应用1.
5K+报警40万+Graphite-webCarbonwhisperRelayMetrics指标DBGraphite-apiDashboard报警打数一致性哈希一致性哈希Mirror原有组件架构主机Collectd硬件管理平台同步CollectdWatcherMetrics主机名区分Dashboard报警主机Graphite-apiGraphite-api业务应用QmonitorclientWatcherMetrics以Appcode区分Dashboard报警Qmonitorserver以Appcode为单位拉取数据Graphite-api用Appcode标识Graphite-api监控报警数据互通主机管理Appcode是什么唯一标识一个抽象的应用(广义)Web服务GPU云实例Mysql实例一组交换机.
.
.
为什么要抽象化不用考虑服务和资源的具体细节定义共同的属性(负责人、权限、账单等)易于扩展,便于在多个系统共享Appcode的作用共同语言连接系统数据互通数据互通的好处Appcode监控报警日志收集中间件CI/CD主机存储计算数据存在于多个节点数据互通的好处数据更准确良性生态数据更有用Portal一站式的应用管理平台数据互通的好处Appcode应用注册应用配置应用中间件Portal监控报警故障管理实时日志主机账号GPU云ES云环境配置测试发布代码仓库开发人员应用主机自动同步数据互通的好处应用主机扩容账号白名单CI/CD监控报警日志收集应用账单数据互通的好处账单的作用成本意识慎重选型优化实现合理分配资源扩容-提高性能回收-节约成本主机网络监控报警日志收集计算资源存储…多种资源的应用账单大规模应用的运维需要运维平台化应用的可用性需要监控报警系统的保证良性的运维生态需要数据互通总结