监控宕机

宕机  时间:2021-02-20  阅读:()
CAT(CentralApplicationTracking)美团点评基础架构中心尤勇1自我介绍尤勇南京大学资深技术专家2010年加入美团点评基础架构组主要负责CAT统一监控监控移动长连接接入层shark全链路压测平台2大纲CAT介绍CAT设计最佳实践3CAT介绍CAT(CentralApplicationTracking)是基于Java开发的实时监控平台,主要包括移动端监控、应用侧监控等.
CAT是一个给提供实时监控告警,移动以及后端应用性能分析诊断的工具.
4CAT基础设施监控(网络,交换机)(网络流量,丢包,错包,连接数等)系统层监控(物理机,虚拟机)(cpumemorynetworkdisk等)应用层监控(url、service、sql、cache可用率、响应时间、qps等)业务监控(业务核心指标监控,支付、验券)移动端监控(返回码、城市、地区、运营商、版本、系统等多维度)前端监控监控分层zabbixfalcon等实时系统1、客户端日志不落地2、服务端实时处理3、客户端全量数据采集整个系统从客户端产生消息到服务端产生实时报表延迟在毫秒级别6CAT的Logview消息头版本号,消息ID,所属业务,IP,所在线程,根消息ID消息体7可视化Logview8分布式Logview9应用监控报表(APM)报表说明Transaction一段代码运行时间、次数Event一行代码的执行次数Problem系统可能出现的异常,包括访问较慢的程序等Business多维度业务指标报表HearbeatJVM内部一些状态信息,Memory,Thread等API一个请求调用链路统计RPCSOA系统用关于RPC调用的报表Dependency项目依赖关系视图……10Transaction报表支持项目、IP、TYPE、NAME四层统计框架层面统一接入了URL、RPC、SQL、Cache、Message等Problem报表exceptionlong-urllong-sqllong-servicelong-cachelong-callTransactionfailBusiness报表秒级监控告警,10SHeartbeat报表大纲CAT历程CAT设计最佳实践15CAT设计整体设计客户端设计服务端设计16监控系统指标对应用无影响(服务端上线、宕机等)实时性(消息尽快到达服务端)吞吐量(服务端高的吞吐量)开销低(客户端尽可能开销低)(开销2%以内)可靠性(消息100%到达服务端)服务端处理100%的到达消息17整体设计1.
0应用A应用B应用CTCP消费机消费机控制台控制台LogviewReport实时数据查询历史数据查询ConsumersConsoles18整体设计2.
019客户端设计开始HttpThread结束CallSQLCach.
.
.
.
.
.
创建消息树ThreadContext创建Call节点加入SQL节点加入Cache节点.
.
.
.
.
消息构建结束Senderthreads优先级队列SenderSenderServerServerServer20全链路压测隔离采样聚合自定义二进制协议异步线程聚合客户端重点内存开销由于埋点问题,消息足够大CPU开销构建消息足够轻量,开销减低在2%客户端没有做压缩自定义协议序列化基于netty实现消息传输21服务端重点监控建模报表建模CPU优化数据存储22建模监控领域数据模型数据报表模型23监控建模一段代码执行时间一段代码执行次数定期执行某些代码一个指标的变化值url/sql响应时间Exception出现次数分钟粒度Cpu,IO监控销售额TransactionEventHeartbeatMetric24KeyValue的方式后续扩展性较好后续配置成本很高后续计算成本很高25报表TransactionEventProblemHeartbeat……26报表建模目标模型定义访问、转换和合并模型持久化XML,JSON,Binary.
.
.
代码生成27模型遍历28模型合并29cpu优化30数据存储顺序写、随机读批量压缩提高压缩率31数据存储消息ID:ShopWeb-0a010680-375030-2消息可能的存储路径/2012/10/13/14/ShopSerivce-ShopWeb-10.
1.
6.
1/2012/10/13/14/ShopService-ShopWeb-10.
1.
6.
2375030=>2012-10-1314:00:00ShopService=>消息被记录的domain10.
1.
6.
1/2=>消息被处理的机器IP0a010680=>10.
1.
6.
128用于保证消息ID唯一性32大纲CAT介绍CAT设计最佳实践33MVP版本Demo1个月MVP3个月重点解决最急迫的一个问题34一些不和谐的声音客户端业务的挑战(可靠,性能)领导的挑战(当***时候,加一个动态开关)35数据质量数据质量sql框架、cache框架、rpc框架、web框架数据质量决定了监控质量36单机开发环境jettyserverhdfs依赖mysql依赖37最难的事情项目上线推动如何推动整个项目上线(2-3人)部门之间沟通问题后续的支持和培训38开放生态产品的scope各种需求系统开放生态39CAT历程2011-11月份启动2012-3月份MVP模型2012-6月份正式上线2012-12月份150+应用500+服务器2013-12月份400+应用1500+服务器2014-12月份800+应用3000+服务器2015-9月份1500+应用7000+服务器2016-6月份2600+应用12000+服务器2017-6月份6000+应用50000+服务器40CAT总结近5年时间,2-3个人先做小做精,再做大做全持续集成,持续发布,不断监控单机开发和调试EverythingFails关注客户,快速响应站在巨人的肩膀上41CAT总结.
2017年12月.
ApacheLicense,国内超过百家公司在使用和评估.
早期用户http://github.
com/dianping/cat.
每天200TB日志,5000应用,50000+机器.
每天60TB日志,3000应用,8000+机器QAthankyou43

[6.18]IMIDC:香港/台湾服务器月付30美元起,日本/俄罗斯服务器月付49美元起

IMIDC发布了6.18大促销活动,针对香港、台湾、日本和莫斯科独立服务器提供特别优惠价格最低月付30美元起。IMIDC名为彩虹数据(Rainbow Cloud),是一家香港本土运营商,全线产品自营,自有IP网络资源等,提供的产品包括VPS主机、独立服务器、站群独立服务器等,数据中心区域包括香港、日本、台湾、美国和南非等地机房,CN2网络直连到中国大陆。香港服务器   $39/...

ZoeCloud:香港BGP云服务器,1GB内存/20GB SSD空间/2TB流量/500Mbps/KVM,32元/月

zoecloud怎么样?zoecloud是一家国人商家,5月成立,暂时主要提供香港BGP KVM VPS,线路为AS41378,并有首发永久8折优惠:HKBGP20OFF。目前,解锁香港区 Netflix、Youtube Premium ,但不保证一直解锁,谢绝以不是原生 IP 理由退款。不保证中国大陆连接速度,建议移动中转使用,配合广州移动食用效果更佳。点击进入:zoecloud官方网站地址zo...

BuyVM($5/月),1Gbps不限流量流媒体VPS主机

BuyVM针对中国客户推出了China Special - STREAM RYZEN VPS主机,带Streaming Optimized IP,帮你解锁多平台流媒体,适用于对于海外流媒体有需求的客户,主机开设在拉斯维加斯机房,AMD Ryzen+NVMe磁盘,支持Linux或者Windows操作系统,IPv4+IPv6,1Gbps不限流量,最低月付5加元起,比美元更低一些,现在汇率1加元=0.7...

宕机为你推荐
office2016激活密钥office2016怎么激活啊?求秘钥如何免费开通黄钻怎样才能免费开通黄钻如何免费开通黄钻怎么免费开黄钻?在线漏洞检测如何查看网站的漏洞?百度手写百度手写怎么不见了arm开发板开发板是什么?如ARM开发板,DSP开发板等。。它和最终目标板有何区别?显卡温度多少正常显卡温度多少算正常?镜像文件是什么什么是镜像文件啊iphone越狱后怎么恢复iPhone越狱后怎么恢复?qq空间打扮QQ空间怎么打扮如何打扮
域名城 kvmla hostmonster l5520 realvnc parseerror 网站实时监控 云鼎网络 linux空间 免空 免费个人空间 135邮箱 国外ip加速器 支持外链的相册 ca187 东莞服务器托管 贵阳电信测速 双线空间 umax 电信主机托管 更多