查询pagedefrag
pagedefrag 时间:2021-02-21 阅读:()
Druid和Kylin在美团点评的选型与实践高大月2017-08-05OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲OLAP引擎分类ROLAP(RelationalOLAP)基于RDBMS技术,通过并行化/内存加速计算代表:Presto/Impala/SparkSQL/DrillMOLAP(Multi-dimensionalOLAP)预先聚合明细数据,系统中只存储汇总数据代表:Kylin/DruidSearchEngines基于搜索引擎技术,通过索引加速计算代表:Elasticsearch/SolrROLAP(Presto/SparkSQL)优势支持任意的SQL表达无数据冗余和预处理不足大数据量、复杂查询下分钟级响应不支持实时数据适用场景对灵活性非常高的即席查询场景MOLAP(Kylin,Druid)优势支持超大原始数据集高性能、高并发不足不支持明细数据查询需要预先定义维度、指标适用场景对性能要求非常高的OLAP场景SearchEngine(ES)优势强大的明细检索功能同时支持实时与离线数据不足大数据量、复杂查询下分钟级响应不支持Join、子查询等适用场景中小数据规模的简单OLAP分析的场景选型建议1.
没有银弹2.
了解不同架构/技术的取舍3.
根据业务特点进行选择美团点评OLAP场景的特点亚秒级响应高并发百亿数据集大量去重指标SQL接口离线为主为什么选择Kylin和DruidPresto/SparkKylinDruidES亚秒级响应高并发百亿数据集精确去重计算SQL接口离线实时OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Druid使用概况定位:实时OLAP引擎支撑业务:广告、风控、算法等单集群40台物理机,100个Datasource,索引存储20TB每日从Kafka摄入百亿条消息每日查询量超150万次,TP99时延~1秒Druid硬件/JVM配置角色硬件配置JVM配置Coordinator/Overlord2x8gVMs6gHeapBroker8x8core16gVMs11gHeap,3gNon-HeapHistorical19x40core128g12disk物理机12gHeap,10gNon-HeapMiddleManager19x40core128g物理机8x6gHeapPeonsTranquilityClients2x40core128g物理机2~3gperJVMDruid监控需要监控哪些指标业务侧:DataSource粒度,例如QPS、Latency、IngestionRate等平台侧:集群/节点粒度,例如CPU,I/O,JVM等监控数据如何使用Dashboard、多维分析(OLAP)、慢查询分析(明细)方案KafkaESEmitterdruidSparkStreamingDruid监控(Dashboard)Druid监控(多维分析)FilterAggGrouping资源隔离广告TierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance广告业务查询_default_tierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance其他业务查询背景:不同业务的workload和稳定性要求不一样目标:实现业务线粒度的隔离可选方案多集群单集群分组隔离踩过的一些坑(1/2)现象:Historical节点syscpu飙高,集体掉线原因:NUMA架构启用了zonereclaimmode,造成directpagescan解决方法:echo0>/proc/sys/vm/zone_reclaim_mode踩过的一些坑(2/2)现象:查询性能不稳定,偶尔会出现尖刺原因:CentOS6.
5默认启用了"透明大页"功能,可能造成内存分配延迟解决方法:禁用"透明大页"echo"never">/sys/kernel/mm/transparent_hugepage/enabledecho"never">/sys/kernel/mm/transparent_hugepage/defrag面临的挑战功能挑战精确去重计数实时摄入的窗口限制SQL支持管理挑战任务接入效率索引服务的资源利用率OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Kylin简介Kylin是一个开源的、基于Hadoop的OLAP查询引擎,能够通过标准SQL接口对超大数据集实现秒级的多维分析查询.
Kylin属于MOLAP解决方案,其核心思想是预计算Cube预先定义维度和指标预先构建Cube,Cube包含了预计算的结果查询时自动从Cube中获取结果Kylin架构Kylin服务概况定位:离线OLAP引擎20+个Project,350个Cube,覆盖所有业务线数据总量8000亿行,Cube存储总量140TB每日查询量130万次,TP99时延~1秒Kylin平台架构负载均衡与服务治理RSRS…jobjobHA主集群提交作业机房Aqueryquery…机房Bqueryquery…查询入口监控报警HBase集群RS预上线环境RSRSRSCube迁移主要工作1.
精确去重计数2.
全局字典3.
构建服务分布式化4.
窗口函数、Union……新特性1.
大查询限制2.
支持HBase集群HA3.
构建性能优化4.
前端页面加载优化……功能改进1.
调度系统集成2.
计算队列拆分3.
权限控制与审计4.
JMX监控……平台化建设我们有3位KylinCommitter!
面临的挑战业务隔离降低Cube调优门槛明细查询支持低成本、高扩展的精确去重方案谢谢大家
没有银弹2.
了解不同架构/技术的取舍3.
根据业务特点进行选择美团点评OLAP场景的特点亚秒级响应高并发百亿数据集大量去重指标SQL接口离线为主为什么选择Kylin和DruidPresto/SparkKylinDruidES亚秒级响应高并发百亿数据集精确去重计算SQL接口离线实时OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Druid使用概况定位:实时OLAP引擎支撑业务:广告、风控、算法等单集群40台物理机,100个Datasource,索引存储20TB每日从Kafka摄入百亿条消息每日查询量超150万次,TP99时延~1秒Druid硬件/JVM配置角色硬件配置JVM配置Coordinator/Overlord2x8gVMs6gHeapBroker8x8core16gVMs11gHeap,3gNon-HeapHistorical19x40core128g12disk物理机12gHeap,10gNon-HeapMiddleManager19x40core128g物理机8x6gHeapPeonsTranquilityClients2x40core128g物理机2~3gperJVMDruid监控需要监控哪些指标业务侧:DataSource粒度,例如QPS、Latency、IngestionRate等平台侧:集群/节点粒度,例如CPU,I/O,JVM等监控数据如何使用Dashboard、多维分析(OLAP)、慢查询分析(明细)方案KafkaESEmitterdruidSparkStreamingDruid监控(Dashboard)Druid监控(多维分析)FilterAggGrouping资源隔离广告TierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance广告业务查询_default_tierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance其他业务查询背景:不同业务的workload和稳定性要求不一样目标:实现业务线粒度的隔离可选方案多集群单集群分组隔离踩过的一些坑(1/2)现象:Historical节点syscpu飙高,集体掉线原因:NUMA架构启用了zonereclaimmode,造成directpagescan解决方法:echo0>/proc/sys/vm/zone_reclaim_mode踩过的一些坑(2/2)现象:查询性能不稳定,偶尔会出现尖刺原因:CentOS6.
5默认启用了"透明大页"功能,可能造成内存分配延迟解决方法:禁用"透明大页"echo"never">/sys/kernel/mm/transparent_hugepage/enabledecho"never">/sys/kernel/mm/transparent_hugepage/defrag面临的挑战功能挑战精确去重计数实时摄入的窗口限制SQL支持管理挑战任务接入效率索引服务的资源利用率OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Kylin简介Kylin是一个开源的、基于Hadoop的OLAP查询引擎,能够通过标准SQL接口对超大数据集实现秒级的多维分析查询.
Kylin属于MOLAP解决方案,其核心思想是预计算Cube预先定义维度和指标预先构建Cube,Cube包含了预计算的结果查询时自动从Cube中获取结果Kylin架构Kylin服务概况定位:离线OLAP引擎20+个Project,350个Cube,覆盖所有业务线数据总量8000亿行,Cube存储总量140TB每日查询量130万次,TP99时延~1秒Kylin平台架构负载均衡与服务治理RSRS…jobjobHA主集群提交作业机房Aqueryquery…机房Bqueryquery…查询入口监控报警HBase集群RS预上线环境RSRSRSCube迁移主要工作1.
精确去重计数2.
全局字典3.
构建服务分布式化4.
窗口函数、Union……新特性1.
大查询限制2.
支持HBase集群HA3.
构建性能优化4.
前端页面加载优化……功能改进1.
调度系统集成2.
计算队列拆分3.
权限控制与审计4.
JMX监控……平台化建设我们有3位KylinCommitter!
面临的挑战业务隔离降低Cube调优门槛明细查询支持低成本、高扩展的精确去重方案谢谢大家
- 查询pagedefrag相关文档
- powerpagedefrag
- userpagedefrag
- hitpagedefrag
- 虚拟内存用PageDefrag快速清理虚拟内存碎片
- pagedefrag虚拟内存是什么东东？
- pagedefragPageDefrag 该如何使用！
RangCloud19.8元/月，香港cn2云主机，美国西雅图高防云主机28元/月起
rangcloud怎么样?rangcloud是去年年初开办的国人商家，RangCloud是一家以销售NAT起步，后续逐渐开始拓展到VPS及云主机业务，目前有中国香港、美国西雅图、韩国NAT、广州移动、江门移动、镇江BGP、山东联通、山东BGP等机房。目前，RangCloud提供香港CN2线路云服务器，电信走CN2、联通移动直连，云主机采用PCle固态硬盘，19.8元/月起，支持建站使用;美国高防云...
阿里云秋季促销活动 轻量云服务器2G5M配置新购年60元
已经有一段时间没有分享阿里云服务商的促销活动，主要原因在于他们以前的促销都仅限新用户，而且我们大部分人都已经有过账户基本上促销活动和我们无缘。即便老用户可选新产品购买，也是比较配置较高的，所以就懒得分享。这不看到有阿里云金秋活动，有不错的促销活动可以允许产品新购。即便我们是老用户，但是比如你没有购买过他们轻量服务器，也是可以享受优惠活动的。这次轻量服务器在金秋活动中力度折扣比较大，2G5M配置年付...
Vultr VPS新增第18个数据中心 瑞典斯德哥尔摩欧洲VPS主机机房
前几天还在和做外贸业务的网友聊着有哪些欧洲机房的云服务器、VPS商家值得选择的。其中介绍他选择的还是我们熟悉的Vultr VPS服务商，拥有比较多达到17个数据中心，这不今天在登录VULTR商家的时候看到消息又新增一个新的机房。这算是第18个数据中心，也是欧洲VPS主机，地区是瑞典斯德哥尔摩。如果我们有需要欧洲机房的朋友现在就可以看到开通的机房中有可以选择瑞典机房。目前欧洲已经有五个机房可以选择，...
pagedefrag为你推荐
-
google竞价排名哪些搜索引擎没有竞价排名？搜搜？谷歌？博客外链外链都要怎么做？博客外链有没有效果？公章制作word里如何制作公章？手机区号手机号码前怎样填写正确的国内区号?彩信中心短信中心号码是多少畅想中国20年后中国会变成什么样？--畅想一下未来的中国！！ejb开发EJB是什么?bt封杀BT下载可以封杀迅雷吗?什么原理?能破吗?2012年正月十五山西省太原市2012年正月十五活动的相关情况如何清理ie缓存怎么清除IE缓存.