数据双态it

擎创夏洛克AIOps智慧运营平台手册MakeDataThinkMakeDataThink智能运维行业的领跑者0102概述擎创夏洛克AIOps智慧运营平台02平台架构和价值04告警辨析中心08日志精析中心11运营决策中心12AI实验室15客户案例19关于擎创CONTENTS目录擎创夏洛克AIOps智慧运营平台从智能运维到智能运营·从数据监控到算法分析化被动排障为主动清障·从IT数据获取业务价值Gartner预测至2022年,大型企业中的40%将会部署AIOps平台,进行数字化转型.
许多企业将会利用AIOps进行业务运营和IT运维,取代如今的运维工具.
Monitoring(Observe)Automation(Act)ServiceDesk(Engage)MachineLearninAIOpsPlatformBigDataContinuousInsightsContinuousInsightsContinuousInsights概述企业数字化转型必备PART01MakeDataThink01概述擎创夏洛克AIOps智慧运营平台基础架构平台PART02MakeDataThink02基础架构夏洛克AIOps旨在通过机器深度学习提供的智能分析力,帮助用户迅速定位业务故障根源,发觉运维数据存在的业务价值,防范企业风险,成为企业数字化转型的守护神.
擎创夏洛克AIOps价值集中管理20多个委办局的数百个应用,有异常波动时可在1分钟内定位到所属主机和应用.
构建全行运维大数据平台,对日志、事件和配置等数据进行集中采集、处理和分析并构建运维大脑,落地智能运维场景,实现日增10+TB数据的处理.
落地基于深度学习的智能运维分析场景,实现日志文本异常检测、数据库系统性能及日志的汇聚.
实现Web访问日志的采集和分析,通过算法对数据中心资源容量进行预测,并自动优化数据中心的资源能耗.
提供智能日志采集和分析平台,采集千台以上服务器的系统日志和应用日志,并实现日志自动解析.
金融保险业银行业政府机关组织交通运输业制造业和物联网MakeDataThink03价值企业现状:工具越多,告警量也越大监控一个中等规模的城商行每日事件量在500-1000条,而真正有意义的内容往往只有几十条.
一个大型金融机构,如果采用阈值告警方式,每日事件量可能在百万条数量级.
擎创夏洛克AIOps告警辨析中心主机事件应用事件数据库事件网络事件变更事件日志事件MakeDataThink04告警辨析中心通过合并相同事件、压缩相似事件来聚合生成告警事件,进而关联告警生成场景,让用户聚焦于关键点.
·多源数据接入·实时过滤压缩·查看最需查看的数据·无处不在的算法·灵活可调的参数·定位最需定位的场景·从事件到告警·从告警到场景·关注最该关注的内容·方案多层次反馈结合·个性化用户行为库·积累最需积累的知识查看最需查看的数据、关注最该关注的内容、定位最需定位的场景、积累最需积累的知识.
第三方事件集成层层筛滤算法引擎场景驱动多维反馈降噪:事件→告警关联:告警→场景事件字段标准化监控工具集成相似事件压缩维护窗口告警抑制告警生成及评估相似场景参考告警根因推荐服务拓扑展示告警处理通知与报表场景反馈告警场景化梳理与应对MakeDataThink05告警辨析中心擎创夏洛克AIOps的告警辨析中心,可直接读入第三方数据.
通过智能算法进行告警聚合收敛算法参数可以灵活设置,适应各种应用场景MakeDataThink06告警辨析中心智能告警本质上是智能化显效的最佳切入点,但夏洛克有更多在切入点后深耕的内容MakeDataThink07告警辨析中心智慧运营平台智慧运营平台擎创夏洛克AIOps日志精析中心夏洛克AIOps的日志精析中心,是一款高效低耗的日志分析引擎,全面支持各种网络设备、安全设备、主机和应用系统,面向海量日志提供强大日志收集和存储能力.
同时支持海量日志即查即现,帮助用户深入分析系统和设备运行状况,全面了解业务发展情况及安全审计工作.
此外,平台具备强大的可视化告警分析能力,可根据用户策略进行多种模式的告警响应,帮助管理者第一时间全面各类异常事件.
系统提供扩展的日志收集接口,不断扩展收集分析能力,实现持续运维,保障客户投资,是基于日志视角的最佳运维管理解决方案.
目前夏洛克AIOps日志精析中心已经拥有广泛的成功部署事件经验,成为金融、保险、电信、制造业、企事业等组织机构海量日志分析系统的最佳选择.
MakeDataThink08日志精析中心智能日志聚类日志采集聚类、调优、统计日志入库第三方接口自采集接口异常告警模版异常分析变量分布统计相似日志占比参考变量提取日志聚类统计评估调优·流式日志聚类·无需考虑聚类规模·聚类敏感度调优及反馈·开箱即用的分析功能·提供异常检测过滤支持多种日志搜索过滤方式用点选的方式进行筛选,无需学习UQ语法MakeDataThink09日志精析中心日志串联解析MakeDataThink实时展示采集任务上报的数据,帮助用户对多数据源的日志数据进行实时监控,以从最新的日志数据中快速发现关键信息脱敏支持针对数据中敏感信息制定脱敏规则,并管理敏感数据的读取权限,防范生产数据、用户隐私数据泄露等安全隐患.
日志串联解析:利用关键词对同一笔交易经过的不同阶段产生的日志进行串联10日志精析中心擎创夏洛克AIOps运营决策中心擎创夏洛克AIOps将各系统的运维数据进行统计分析并生成各类实时报表,对各类运营数据(如应用日志,交易日志,系统日志,告警数据,事件数量等)进行多维度、多角度深入分析及可视化展现,以业务视角实时展示各种业务指标,并在此基础上进行关联分析.
擎创夏洛克AIOps提供强大的报表和大屏展示,将运营分析结果以各类清晰的图表进行呈现,更可弹性化地生成企业和机构管理层所需要的报告内容.
通过实时和直观的仪表板/报表,帮助企业达到运维可视化的目的.
可视化内容包括应用状态可视化、趋势可视化、故障可视化、异常可视化、影响可视化、业务KPI可视化等.
图为某大型银行夏洛克AIOps展示屏MakeDataThink11运营决策中心复杂日志解析·单指标异常检测·多指标异常检测·指标数据趋势分析·基线检测·容量预测·时间序列聚类擎创夏洛克AIOpsAI实验室用自己的数据,训练出适合自己的模型和场景可以上传本地数据,将数据加载到AI实验室的源数据集数据加载完成后,经由清洗、训练后可导出成算法场景模型MakeDataThink12AI实验室加载原始数据进行数据清洗训练算法场景数据导出仪表盘直观展示AI智能算法发现异常MakeDataThink13AI实验室MakeDataThink14AI实验室擎创科技与复旦大学智能运维实验室合作,近20人的博士研究团队与擎创的智能化研发团队共同研发新一代AIOps算法模型.
作为国内时间序列数据算法领先的复旦智能运维实验室,主要研究方向包括:大数据管理与挖掘、智能运维数据分析、物联网大数据管理等.
主要参与了科技部重点研发专项、国家青年973、自然科学重点基金、上海市科委、上海市经信委的多个项目,以及IBM、EMC、爱立信、华为等企业的资助项目.
·实验室已发表论文30多篇,其中CCFA类8篇,而目前时序数据相关的CCFA类的论文国内每年不超过5篇·实验室已拥有专利10+项复旦智能运维实验室主要研究成果案例客户案例全国性大型银行PART03MakeDataThink15客户案例基础架构采用BMC进行系统及组件监控.
管理的大系统20个,子系统超过200个.
平台涵盖Unix小型机、数据库、中间件、自开发应用等.
擎创夏洛克AIOps为该行构建了统一运维管理平台和日志集中管理平台.
目前项目已进行到第三期.
为服务该超大型的金融业用户,擎创在云环境开源监控工具的基础上建设了一个系统监控管理平台,实现对云计算平台的监控及数据分析.
项目除包含传统IT监控功能外,还包括端到端可视化的IT服务监控、满足规模化智能化的运维需求.
通过机器学习,做到故障智能化的定位和自动处理等功能.
影响性分析根据历史监控数据和告警信息,产生智能阈值模型、事件关联性模型,业务影响性模型、事件智能处理模型.
不断利用新生成的数据,对现有模型进行完善和优化调整.
高吞吐秒采能力根据历史事件的处理方法,总结规则,形成模型,当有新事件产生时,可以自动处理.
大型银行业务交易中心,日处理数据增量10TB的AIOps系统现状擎创解决方案使用场景统一管理的系统节点数超过1万台总数据量达到100TB,日增数据量为10-15TB数据处理及查询响应时间按秒级计算由智能算法进行异常检测和根因定位客户案例中小规模区域银行MakeDataThink16客户案例容量预测功能平台的容量预测功能,可以做到:1)根据历史监控数据,按照时间预测未来1个月-36个月系统资源的使用情况;2)按照业务负载情况,分析实时交易情况(TPS)与系统资源使用情况的相关性,得出两者之间的数学公式;3)按照每日业务量分析出每日交易量与系统文件系统、数据库表空间等的相关性,得出两者之无缝对接原有第三方工具,实时日志智能分析中等规模区域银行,日增数据量500-1000G.
超过20个业务系统.
涉及第三方监控、移动采集、互联网支撑、Oracle运维分析、Web访问日志分析等多个工具.
现状无缝对接第三方工具提供实时、稳定、多样的采集接口,可直接采集多种第三方工具的数据.
强劲自研数据采集系统除了专精于Linux和AIX系统运维数据的采集外,擎创夏洛克AIOps也有自研性能优越的Windows系统采集器.
无论哪个系统下的运维数据,均可归到统一平台集中管理和分析.
实时日志分析和输出数据采集频率和输出到其他系统,处理速度以秒级计智能算法检测异常擎创夏洛克AIOps的机器学习算法,从日志数据中发现异常的蛛丝马迹,并协助根因定位.
擎创解决方案客户案例证券保险MakeDataThink17客户案例不少国内证券企业的主数据中心除了设置在总部之外,也会在国内其他城市设置几处分中心.
虽然有利于各地数据中心的日志、性能、工单等数据的分开存储,但是各数据中心之间彼此处于"孤岛"状态,非常不利于数据的集中采集与分析.
擎创夏洛克AIOps系统特设的Agent集群管理功能,将分中心数据采集后直传主数据中心的kafka,分布在各处的数据就可以归类合并,再在一起进行智能分析.
横跨多地数据中心,解决证券行业多个运维痛点一.
分散多地的数据,集中分析在海外访问国内的证券系统买卖股票时,国内的系统自动解析IP地址会默认把海外IP以非中文模式解析,生成一团乱码.
擎创夏洛克AIOps对海外IP进行特殊判断,自动识别IP模式,并按照相应的模式进行解析,这样数据的分析就会按照正常的方式显现,再也不怕分析时出现火星文了.
二.
海外IP乱码数据,不再影响正常分析在用户的生产环境中,配置数据资源一直是一个问题.
采集器占用的系统资源(CPU、内存等)既不能太大,也不能太小.
太大可能影响到用户正常的数据处理工作,太小采集性能完全上不去,还怎么实时分析按照过去积累的实践经验,系统提供了默认配置.
但在实际部署时,现场的需求总有所不同.
但通过一次性批量设置,一分钟就可以搞定全部设置的修改.
三.
轻松调整参数,批量修改设置一分钟搞定客户案例政府云系统MakeDataThink18客户案例基于Docker实时采集在政府云系统中发挥大作用随着政府云应用的不断发展,系统数据量以指数级方式增长,尤其在部署Docker容器化管理后,更需要将IT运维工作智能化,以便应对业务压力.
但与传统的虚拟机Agent方式进行数据采集不同,Docker环境下的数据采集、归类、存储均面临着巨大的挑战:客户评价"我们这个平台,在之前安装了许多虚拟机,后来也部署了Docker进行数据管理,但是当前的容器环境下数据都是动态的,很难做到实时采集、归类、存储和分析.
在应用了擎创AIOps之后,数据管理工作轻松了很多,而数据管理效率却不断在提升.
下个阶段,我们将继续加强政府云系统的智能化建设工作,进一步提升服务能力.
"采集难点-Docker动态变化,性能及告警数据难以抓取存储难点-系统关联多个部门多个应用,复杂度非同寻常归档难点-Docker仅提供标准数据输出,日志数据不包含类别信息,归类困难现状给容器数据标签化对生成的Docker容器添加相应的标签,并归类到所属的类别中,便于文件的存储和精确定位.
多维数据全量采集不仅采集常见的日志数据,还会采集性能、告警等机器数据,以此监测数据运行状况,为之后的异常检测、根因定位进行综合分析.
动态数据实时分析对于机器性能数据,按照默认60秒时间进行采集,而对于实时性要求更高的日志和告警数据,则可以秒级采集擎创解决方案擎创关于擎创擎创客户PART04MakeDataThink19关于擎创擎创科技专注于将人工智能技术赋能运维管理,激活运维数据智慧,助力客户数字化转型.
夏洛克AIOps智慧运营平台(简称"夏洛克AIOps"),能够以全局运营视角解读IT运维,整合告警事件、性能指标、日志和容量等多维数据,在AI算法平台的支撑下实现包括精准告警异常检测根因定位容量分析等场景,助力企业数字化业务高效、稳定和顺畅运行,并能通过数据价值的提炼分析优化运营决策,彰显运维对业务的影响力.
擎创产品包括但不限于MakeDataThink20关于擎创发展历程擎创科技创始人团队均为多年的运维老兵,对国内外企业的运维痛点和场景有深刻的理解和前瞻性的思考.
技术团队则是来自于国际运维软件巨头和国内互联网领域的顶尖专家,算法工程化研发团队有超过50位工程师.
智能算法方面与复旦大学计算机系智能运维实验室合作,研究团队由近20位博士组成.
擎创团队业界荣誉MakeDataThink21关于擎创2019年9月,入选CSDN2019优秀人工智能案例Top30+2019年5月,第八届中国创新创业大赛上海赛区暨2019"创业在上海"国际创新创业大赛优胜企业奖2019年1月,"银联云监控项目"获得中国双态IT用户大会"2018年度IT用户最佳实践奖"2018年12月,《金融电子化》杂志"2018年度金融科技产品创新奖"2018年12月,擎创夏洛克AIOps入选ITSS分会《中国IT服务工具图谱》,公司获评"2018中国IT服务十大优秀企业"2018年12月,中国信息通信研究院GOLF金牌运维领导力论坛"2018年度明星产品奖"2018年11月,创业家&i黑马"2018创业黑马T0P100"2018年10月,第七届中国创新创业大赛上海赛区2018"创业在上海"国际创新创业大赛优胜企业奖2018年9月,中国信息协会"信息化影响中国·2018IT运维领域影响力企业"2018年9月,清科集团新芽榜2018年度"中国最具投资价值企业50强"2018年7月,中国财经峰会"2018杰出品牌形象奖"2018年5月,全球人工智能大会"2018人工智能创业50强"2017年11月,创业邦"中国企业服务领域创业50强"2017年10月,擎创夏洛克AIOps获评"智能运维领域最具影响力产品奖"中国计算机用户协会信息科技审计分会理事单位双态IT联盟成员单位上海大数据联盟理事单位IT运营新世界联盟成员开放运维联盟&高效运维社区"AIOps标准工作组成员单位"大数据与信息安全实验室"成员MakeDataThink擎创科技地址:上海市浦东新区申江路5005号星创科技广场2号楼603室电话:+862161637308邮箱:info@eoitek.
com