监控宕机
宕机 时间:2021-02-20 阅读:()
CAT(CentralApplicationTracking)美团点评基础架构中心尤勇1自我介绍尤勇南京大学资深技术专家2010年加入美团点评基础架构组主要负责CAT统一监控监控移动长连接接入层shark全链路压测平台2大纲CAT介绍CAT设计最佳实践3CAT介绍CAT(CentralApplicationTracking)是基于Java开发的实时监控平台,主要包括移动端监控、应用侧监控等.
CAT是一个给提供实时监控告警,移动以及后端应用性能分析诊断的工具.
4CAT基础设施监控(网络,交换机)(网络流量,丢包,错包,连接数等)系统层监控(物理机,虚拟机)(cpumemorynetworkdisk等)应用层监控(url、service、sql、cache可用率、响应时间、qps等)业务监控(业务核心指标监控,支付、验券)移动端监控(返回码、城市、地区、运营商、版本、系统等多维度)前端监控监控分层zabbixfalcon等实时系统1、客户端日志不落地2、服务端实时处理3、客户端全量数据采集整个系统从客户端产生消息到服务端产生实时报表延迟在毫秒级别6CAT的Logview消息头版本号,消息ID,所属业务,IP,所在线程,根消息ID消息体7可视化Logview8分布式Logview9应用监控报表(APM)报表说明Transaction一段代码运行时间、次数Event一行代码的执行次数Problem系统可能出现的异常,包括访问较慢的程序等Business多维度业务指标报表HearbeatJVM内部一些状态信息,Memory,Thread等API一个请求调用链路统计RPCSOA系统用关于RPC调用的报表Dependency项目依赖关系视图……10Transaction报表支持项目、IP、TYPE、NAME四层统计框架层面统一接入了URL、RPC、SQL、Cache、Message等Problem报表exceptionlong-urllong-sqllong-servicelong-cachelong-callTransactionfailBusiness报表秒级监控告警,10SHeartbeat报表大纲CAT历程CAT设计最佳实践15CAT设计整体设计客户端设计服务端设计16监控系统指标对应用无影响(服务端上线、宕机等)实时性(消息尽快到达服务端)吞吐量(服务端高的吞吐量)开销低(客户端尽可能开销低)(开销2%以内)可靠性(消息100%到达服务端)服务端处理100%的到达消息17整体设计1.
0应用A应用B应用CTCP消费机消费机控制台控制台LogviewReport实时数据查询历史数据查询ConsumersConsoles18整体设计2.
019客户端设计开始HttpThread结束CallSQLCach.
.
.
.
.
.
创建消息树ThreadContext创建Call节点加入SQL节点加入Cache节点.
.
.
.
.
消息构建结束Senderthreads优先级队列SenderSenderServerServerServer20全链路压测隔离采样聚合自定义二进制协议异步线程聚合客户端重点内存开销由于埋点问题,消息足够大CPU开销构建消息足够轻量,开销减低在2%客户端没有做压缩自定义协议序列化基于netty实现消息传输21服务端重点监控建模报表建模CPU优化数据存储22建模监控领域数据模型数据报表模型23监控建模一段代码执行时间一段代码执行次数定期执行某些代码一个指标的变化值url/sql响应时间Exception出现次数分钟粒度Cpu,IO监控销售额TransactionEventHeartbeatMetric24KeyValue的方式后续扩展性较好后续配置成本很高后续计算成本很高25报表TransactionEventProblemHeartbeat……26报表建模目标模型定义访问、转换和合并模型持久化XML,JSON,Binary.
.
.
代码生成27模型遍历28模型合并29cpu优化30数据存储顺序写、随机读批量压缩提高压缩率31数据存储消息ID:ShopWeb-0a010680-375030-2消息可能的存储路径/2012/10/13/14/ShopSerivce-ShopWeb-10.
1.
6.
1/2012/10/13/14/ShopService-ShopWeb-10.
1.
6.
2375030=>2012-10-1314:00:00ShopService=>消息被记录的domain10.
1.
6.
1/2=>消息被处理的机器IP0a010680=>10.
1.
6.
128用于保证消息ID唯一性32大纲CAT介绍CAT设计最佳实践33MVP版本Demo1个月MVP3个月重点解决最急迫的一个问题34一些不和谐的声音客户端业务的挑战(可靠,性能)领导的挑战(当***时候,加一个动态开关)35数据质量数据质量sql框架、cache框架、rpc框架、web框架数据质量决定了监控质量36单机开发环境jettyserverhdfs依赖mysql依赖37最难的事情项目上线推动如何推动整个项目上线(2-3人)部门之间沟通问题后续的支持和培训38开放生态产品的scope各种需求系统开放生态39CAT历程2011-11月份启动2012-3月份MVP模型2012-6月份正式上线2012-12月份150+应用500+服务器2013-12月份400+应用1500+服务器2014-12月份800+应用3000+服务器2015-9月份1500+应用7000+服务器2016-6月份2600+应用12000+服务器2017-6月份6000+应用50000+服务器40CAT总结近5年时间,2-3个人先做小做精,再做大做全持续集成,持续发布,不断监控单机开发和调试EverythingFails关注客户,快速响应站在巨人的肩膀上41CAT总结.
2017年12月.
ApacheLicense,国内超过百家公司在使用和评估.
早期用户http://github.
com/dianping/cat.
每天200TB日志,5000应用,50000+机器.
每天60TB日志,3000应用,8000+机器QAthankyou43
CAT是一个给提供实时监控告警,移动以及后端应用性能分析诊断的工具.
4CAT基础设施监控(网络,交换机)(网络流量,丢包,错包,连接数等)系统层监控(物理机,虚拟机)(cpumemorynetworkdisk等)应用层监控(url、service、sql、cache可用率、响应时间、qps等)业务监控(业务核心指标监控,支付、验券)移动端监控(返回码、城市、地区、运营商、版本、系统等多维度)前端监控监控分层zabbixfalcon等实时系统1、客户端日志不落地2、服务端实时处理3、客户端全量数据采集整个系统从客户端产生消息到服务端产生实时报表延迟在毫秒级别6CAT的Logview消息头版本号,消息ID,所属业务,IP,所在线程,根消息ID消息体7可视化Logview8分布式Logview9应用监控报表(APM)报表说明Transaction一段代码运行时间、次数Event一行代码的执行次数Problem系统可能出现的异常,包括访问较慢的程序等Business多维度业务指标报表HearbeatJVM内部一些状态信息,Memory,Thread等API一个请求调用链路统计RPCSOA系统用关于RPC调用的报表Dependency项目依赖关系视图……10Transaction报表支持项目、IP、TYPE、NAME四层统计框架层面统一接入了URL、RPC、SQL、Cache、Message等Problem报表exceptionlong-urllong-sqllong-servicelong-cachelong-callTransactionfailBusiness报表秒级监控告警,10SHeartbeat报表大纲CAT历程CAT设计最佳实践15CAT设计整体设计客户端设计服务端设计16监控系统指标对应用无影响(服务端上线、宕机等)实时性(消息尽快到达服务端)吞吐量(服务端高的吞吐量)开销低(客户端尽可能开销低)(开销2%以内)可靠性(消息100%到达服务端)服务端处理100%的到达消息17整体设计1.
0应用A应用B应用CTCP消费机消费机控制台控制台LogviewReport实时数据查询历史数据查询ConsumersConsoles18整体设计2.
019客户端设计开始HttpThread结束CallSQLCach.
.
.
.
.
.
创建消息树ThreadContext创建Call节点加入SQL节点加入Cache节点.
.
.
.
.
消息构建结束Senderthreads优先级队列SenderSenderServerServerServer20全链路压测隔离采样聚合自定义二进制协议异步线程聚合客户端重点内存开销由于埋点问题,消息足够大CPU开销构建消息足够轻量,开销减低在2%客户端没有做压缩自定义协议序列化基于netty实现消息传输21服务端重点监控建模报表建模CPU优化数据存储22建模监控领域数据模型数据报表模型23监控建模一段代码执行时间一段代码执行次数定期执行某些代码一个指标的变化值url/sql响应时间Exception出现次数分钟粒度Cpu,IO监控销售额TransactionEventHeartbeatMetric24KeyValue的方式后续扩展性较好后续配置成本很高后续计算成本很高25报表TransactionEventProblemHeartbeat……26报表建模目标模型定义访问、转换和合并模型持久化XML,JSON,Binary.
.
.
代码生成27模型遍历28模型合并29cpu优化30数据存储顺序写、随机读批量压缩提高压缩率31数据存储消息ID:ShopWeb-0a010680-375030-2消息可能的存储路径/2012/10/13/14/ShopSerivce-ShopWeb-10.
1.
6.
1/2012/10/13/14/ShopService-ShopWeb-10.
1.
6.
2375030=>2012-10-1314:00:00ShopService=>消息被记录的domain10.
1.
6.
1/2=>消息被处理的机器IP0a010680=>10.
1.
6.
128用于保证消息ID唯一性32大纲CAT介绍CAT设计最佳实践33MVP版本Demo1个月MVP3个月重点解决最急迫的一个问题34一些不和谐的声音客户端业务的挑战(可靠,性能)领导的挑战(当***时候,加一个动态开关)35数据质量数据质量sql框架、cache框架、rpc框架、web框架数据质量决定了监控质量36单机开发环境jettyserverhdfs依赖mysql依赖37最难的事情项目上线推动如何推动整个项目上线(2-3人)部门之间沟通问题后续的支持和培训38开放生态产品的scope各种需求系统开放生态39CAT历程2011-11月份启动2012-3月份MVP模型2012-6月份正式上线2012-12月份150+应用500+服务器2013-12月份400+应用1500+服务器2014-12月份800+应用3000+服务器2015-9月份1500+应用7000+服务器2016-6月份2600+应用12000+服务器2017-6月份6000+应用50000+服务器40CAT总结近5年时间,2-3个人先做小做精,再做大做全持续集成,持续发布,不断监控单机开发和调试EverythingFails关注客户,快速响应站在巨人的肩膀上41CAT总结.
2017年12月.
ApacheLicense,国内超过百家公司在使用和评估.
早期用户http://github.
com/dianping/cat.
每天200TB日志,5000应用,50000+机器.
每天60TB日志,3000应用,8000+机器QAthankyou43
wordpress外贸企业主题 wordpress经典外贸企业建站主题
WordPress经典外贸企业建站主题，经典配色扁平化简约设计+跨屏自适应移动端设备，特色外贸企业建站功能模块+在线Inquiry询单功能，更有利于Google等英文搜索优化和站点收录。采用标准的HTML5+CSS3语言开发，兼容当下的各种主流浏览器： IE 6+(以及类似360、遨游等基于IE内核的)、Firefox、Google Chrome、Safari、Opera等;同时支持移动终端的常用...
水墨云历史黑名单IDC，斟酌选购
水墨云怎么样?本站黑名单idc，有被删除账号风险，建议转出及数据备份!水墨云ink cloud Service是成立于2017年的商家，自2020起开始从事香港、日本、韩国、美国等地区CN2 GIA线路的虚拟服务器租赁，同时还有台湾、国内nat vps相关业务，也有iplc专线产品，相对来说主打的是大带宽服务器产品。注意：本站黑名单IDC，有被删除账号风险，请尽量避免，如果已经购买建议转出及数据备...
Raksmart：香港高防服务器/20Mbps带宽(cn2+bgp)/40G-100Gbps防御
RAKsmart怎么样?RAKsmart香港机房新增了付费的DDoS高防保护服务，香港服务器默认接入20Mbps的大陆优化带宽(电信走CN2、联通和移动走BGP)。高防服务器需要在下单页面的IP Addresses Option里面选择购买，分：40Gbps大陆优化高防IP-$461/月、100Gbps国际BGP高防IP-$692/月，有兴趣的可以根据自己的需求来选择!点击进入：RAKsmart官...
宕机为你推荐
-
外网和内网什么是内网，和外网有什么区别暴风影音怎么截图如何在暴风影音中截图？人人时光机现在世界上有时光机吗拂晓雅阁我对电脑操作不熟悉，想买一本自学的电脑书籍，是电脑入门那一类的，最好还有办公软件应用那一类的怎么在qq空间里添加背景音乐怎样在qq空间里免费添加背景音乐?彩信中心短信中心号码是多少数据库损坏数据库坏了,怎么修复?免费免费建站最好的免费建站linux虚拟机怎么样在Linux下安装虚拟机网页打开很慢如何解决网速正常 网页打开很慢问题