查询pagedefrag
pagedefrag 时间:2021-02-21 阅读:()
Druid和Kylin在美团点评的选型与实践高大月2017-08-05OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲OLAP引擎分类ROLAP(RelationalOLAP)基于RDBMS技术,通过并行化/内存加速计算代表:Presto/Impala/SparkSQL/DrillMOLAP(Multi-dimensionalOLAP)预先聚合明细数据,系统中只存储汇总数据代表:Kylin/DruidSearchEngines基于搜索引擎技术,通过索引加速计算代表:Elasticsearch/SolrROLAP(Presto/SparkSQL)优势支持任意的SQL表达无数据冗余和预处理不足大数据量、复杂查询下分钟级响应不支持实时数据适用场景对灵活性非常高的即席查询场景MOLAP(Kylin,Druid)优势支持超大原始数据集高性能、高并发不足不支持明细数据查询需要预先定义维度、指标适用场景对性能要求非常高的OLAP场景SearchEngine(ES)优势强大的明细检索功能同时支持实时与离线数据不足大数据量、复杂查询下分钟级响应不支持Join、子查询等适用场景中小数据规模的简单OLAP分析的场景选型建议1.
没有银弹2.
了解不同架构/技术的取舍3.
根据业务特点进行选择美团点评OLAP场景的特点亚秒级响应高并发百亿数据集大量去重指标SQL接口离线为主为什么选择Kylin和DruidPresto/SparkKylinDruidES亚秒级响应高并发百亿数据集精确去重计算SQL接口离线实时OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Druid使用概况定位:实时OLAP引擎支撑业务:广告、风控、算法等单集群40台物理机,100个Datasource,索引存储20TB每日从Kafka摄入百亿条消息每日查询量超150万次,TP99时延~1秒Druid硬件/JVM配置角色硬件配置JVM配置Coordinator/Overlord2x8gVMs6gHeapBroker8x8core16gVMs11gHeap,3gNon-HeapHistorical19x40core128g12disk物理机12gHeap,10gNon-HeapMiddleManager19x40core128g物理机8x6gHeapPeonsTranquilityClients2x40core128g物理机2~3gperJVMDruid监控需要监控哪些指标业务侧:DataSource粒度,例如QPS、Latency、IngestionRate等平台侧:集群/节点粒度,例如CPU,I/O,JVM等监控数据如何使用Dashboard、多维分析(OLAP)、慢查询分析(明细)方案KafkaESEmitterdruidSparkStreamingDruid监控(Dashboard)Druid监控(多维分析)FilterAggGrouping资源隔离广告TierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance广告业务查询_default_tierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance其他业务查询背景:不同业务的workload和稳定性要求不一样目标:实现业务线粒度的隔离可选方案多集群单集群分组隔离踩过的一些坑(1/2)现象:Historical节点syscpu飙高,集体掉线原因:NUMA架构启用了zonereclaimmode,造成directpagescan解决方法:echo0>/proc/sys/vm/zone_reclaim_mode踩过的一些坑(2/2)现象:查询性能不稳定,偶尔会出现尖刺原因:CentOS6.
5默认启用了"透明大页"功能,可能造成内存分配延迟解决方法:禁用"透明大页"echo"never">/sys/kernel/mm/transparent_hugepage/enabledecho"never">/sys/kernel/mm/transparent_hugepage/defrag面临的挑战功能挑战精确去重计数实时摄入的窗口限制SQL支持管理挑战任务接入效率索引服务的资源利用率OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Kylin简介Kylin是一个开源的、基于Hadoop的OLAP查询引擎,能够通过标准SQL接口对超大数据集实现秒级的多维分析查询.
Kylin属于MOLAP解决方案,其核心思想是预计算Cube预先定义维度和指标预先构建Cube,Cube包含了预计算的结果查询时自动从Cube中获取结果Kylin架构Kylin服务概况定位:离线OLAP引擎20+个Project,350个Cube,覆盖所有业务线数据总量8000亿行,Cube存储总量140TB每日查询量130万次,TP99时延~1秒Kylin平台架构负载均衡与服务治理RSRS…jobjobHA主集群提交作业机房Aqueryquery…机房Bqueryquery…查询入口监控报警HBase集群RS预上线环境RSRSRSCube迁移主要工作1.
精确去重计数2.
全局字典3.
构建服务分布式化4.
窗口函数、Union……新特性1.
大查询限制2.
支持HBase集群HA3.
构建性能优化4.
前端页面加载优化……功能改进1.
调度系统集成2.
计算队列拆分3.
权限控制与审计4.
JMX监控……平台化建设我们有3位KylinCommitter!
面临的挑战业务隔离降低Cube调优门槛明细查询支持低成本、高扩展的精确去重方案谢谢大家
没有银弹2.
了解不同架构/技术的取舍3.
根据业务特点进行选择美团点评OLAP场景的特点亚秒级响应高并发百亿数据集大量去重指标SQL接口离线为主为什么选择Kylin和DruidPresto/SparkKylinDruidES亚秒级响应高并发百亿数据集精确去重计算SQL接口离线实时OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Druid使用概况定位:实时OLAP引擎支撑业务:广告、风控、算法等单集群40台物理机,100个Datasource,索引存储20TB每日从Kafka摄入百亿条消息每日查询量超150万次,TP99时延~1秒Druid硬件/JVM配置角色硬件配置JVM配置Coordinator/Overlord2x8gVMs6gHeapBroker8x8core16gVMs11gHeap,3gNon-HeapHistorical19x40core128g12disk物理机12gHeap,10gNon-HeapMiddleManager19x40core128g物理机8x6gHeapPeonsTranquilityClients2x40core128g物理机2~3gperJVMDruid监控需要监控哪些指标业务侧:DataSource粒度,例如QPS、Latency、IngestionRate等平台侧:集群/节点粒度,例如CPU,I/O,JVM等监控数据如何使用Dashboard、多维分析(OLAP)、慢查询分析(明细)方案KafkaESEmitterdruidSparkStreamingDruid监控(Dashboard)Druid监控(多维分析)FilterAggGrouping资源隔离广告TierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance广告业务查询_default_tierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance其他业务查询背景:不同业务的workload和稳定性要求不一样目标:实现业务线粒度的隔离可选方案多集群单集群分组隔离踩过的一些坑(1/2)现象:Historical节点syscpu飙高,集体掉线原因:NUMA架构启用了zonereclaimmode,造成directpagescan解决方法:echo0>/proc/sys/vm/zone_reclaim_mode踩过的一些坑(2/2)现象:查询性能不稳定,偶尔会出现尖刺原因:CentOS6.
5默认启用了"透明大页"功能,可能造成内存分配延迟解决方法:禁用"透明大页"echo"never">/sys/kernel/mm/transparent_hugepage/enabledecho"never">/sys/kernel/mm/transparent_hugepage/defrag面临的挑战功能挑战精确去重计数实时摄入的窗口限制SQL支持管理挑战任务接入效率索引服务的资源利用率OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Kylin简介Kylin是一个开源的、基于Hadoop的OLAP查询引擎,能够通过标准SQL接口对超大数据集实现秒级的多维分析查询.
Kylin属于MOLAP解决方案,其核心思想是预计算Cube预先定义维度和指标预先构建Cube,Cube包含了预计算的结果查询时自动从Cube中获取结果Kylin架构Kylin服务概况定位:离线OLAP引擎20+个Project,350个Cube,覆盖所有业务线数据总量8000亿行,Cube存储总量140TB每日查询量130万次,TP99时延~1秒Kylin平台架构负载均衡与服务治理RSRS…jobjobHA主集群提交作业机房Aqueryquery…机房Bqueryquery…查询入口监控报警HBase集群RS预上线环境RSRSRSCube迁移主要工作1.
精确去重计数2.
全局字典3.
构建服务分布式化4.
窗口函数、Union……新特性1.
大查询限制2.
支持HBase集群HA3.
构建性能优化4.
前端页面加载优化……功能改进1.
调度系统集成2.
计算队列拆分3.
权限控制与审计4.
JMX监控……平台化建设我们有3位KylinCommitter!
面临的挑战业务隔离降低Cube调优门槛明细查询支持低成本、高扩展的精确去重方案谢谢大家
- 查询pagedefrag相关文档
- powerpagedefrag
- userpagedefrag
- hitpagedefrag
- 虚拟内存用PageDefrag快速清理虚拟内存碎片
- pagedefrag虚拟内存是什么东东？
- pagedefragPageDefrag 该如何使用！
妮妮云(100元/月)阿里云香港BGP专线 2核 4G
妮妮云的来历妮妮云是 789 陈总 张总 三方共同投资建立的网站 本着“良心 便宜 稳定”的初衷 为小白用户避免被坑妮妮云的市场定位妮妮云主要代理市场稳定速度的云服务器产品，避免新手购买云服务器的时候众多商家不知道如何选择，妮妮云就帮你选择好了产品，无需承担购买风险，不用担心出现被跑路 被诈骗的情况。妮妮云的售后保证妮妮云退款 通过于合作商的友好协商，云服务器提供2天内全额退款，超过2天不退款 物...
Gcore(75折)迈阿密E5-2623v4 CPU独立服务器
部落分享过多次G-core(gcorelabs)的产品及评测信息，以VPS主机为主，距离上一次分享商家的独立服务器还在2年多前，本月初商家针对迈阿密机房限定E5-2623v4 CPU的独立服务器推出75折优惠码，活动将在9月30日到期，这里再分享下。G-core(gcorelabs)是一家总部位于卢森堡的国外主机商，主要提供基于KVM架构的VPS主机和独立服务器租用等，数据中心包括俄罗斯、美国、日...
RackNerd ：美国大硬盘服务器促销/洛杉矶multacom数据中心/双路e5-2640v2/64G内存/256G SSD+160T SAS/$389/月
大硬盘服务器、存储服务器、Chia矿机。RackNerd，2019年末成立的商家，主要提供各类KVM VPS主机、独立服务器和站群服务器等。当前RackNerd正在促销旗下几款美国大硬盘服务器，位于洛杉矶multacom数据中心，亚洲优化线路，非常适合存储、数据备份等应用场景，双路e5-2640v2，64G内存，56G SSD系统盘，160T SAS数据盘，流量是每月200T，1Gbps带宽，配5...
pagedefrag为你推荐
-
ps移花接木教程教教我PS的移花接木伪装微信地理位置伪装微信地理位置 朋友圈显示地理位置怎么改yy频道中心yy语音怎么进频道中心郭彩妮台灣有什麽新的電視劇？如何免费开通黄钻如何免费开通黄钻？？人人时光机五月天的专辑都有哪些？百度抢票浏览器百度浏览器怎么抢票？办公协同软件免费的多人协同办公软件哪些，我了解的有钉钉、企业微信，其他的还有么？qq空间装扮QQ空间装扮开机滚动条开机滚动条太多怎么办？