查询pagedefrag
pagedefrag 时间:2021-02-21 阅读:()
Druid和Kylin在美团点评的选型与实践高大月2017-08-05OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲OLAP引擎分类ROLAP(RelationalOLAP)基于RDBMS技术,通过并行化/内存加速计算代表:Presto/Impala/SparkSQL/DrillMOLAP(Multi-dimensionalOLAP)预先聚合明细数据,系统中只存储汇总数据代表:Kylin/DruidSearchEngines基于搜索引擎技术,通过索引加速计算代表:Elasticsearch/SolrROLAP(Presto/SparkSQL)优势支持任意的SQL表达无数据冗余和预处理不足大数据量、复杂查询下分钟级响应不支持实时数据适用场景对灵活性非常高的即席查询场景MOLAP(Kylin,Druid)优势支持超大原始数据集高性能、高并发不足不支持明细数据查询需要预先定义维度、指标适用场景对性能要求非常高的OLAP场景SearchEngine(ES)优势强大的明细检索功能同时支持实时与离线数据不足大数据量、复杂查询下分钟级响应不支持Join、子查询等适用场景中小数据规模的简单OLAP分析的场景选型建议1.
没有银弹2.
了解不同架构/技术的取舍3.
根据业务特点进行选择美团点评OLAP场景的特点亚秒级响应高并发百亿数据集大量去重指标SQL接口离线为主为什么选择Kylin和DruidPresto/SparkKylinDruidES亚秒级响应高并发百亿数据集精确去重计算SQL接口离线实时OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Druid使用概况定位:实时OLAP引擎支撑业务:广告、风控、算法等单集群40台物理机,100个Datasource,索引存储20TB每日从Kafka摄入百亿条消息每日查询量超150万次,TP99时延~1秒Druid硬件/JVM配置角色硬件配置JVM配置Coordinator/Overlord2x8gVMs6gHeapBroker8x8core16gVMs11gHeap,3gNon-HeapHistorical19x40core128g12disk物理机12gHeap,10gNon-HeapMiddleManager19x40core128g物理机8x6gHeapPeonsTranquilityClients2x40core128g物理机2~3gperJVMDruid监控需要监控哪些指标业务侧:DataSource粒度,例如QPS、Latency、IngestionRate等平台侧:集群/节点粒度,例如CPU,I/O,JVM等监控数据如何使用Dashboard、多维分析(OLAP)、慢查询分析(明细)方案KafkaESEmitterdruidSparkStreamingDruid监控(Dashboard)Druid监控(多维分析)FilterAggGrouping资源隔离广告TierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance广告业务查询_default_tierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance其他业务查询背景:不同业务的workload和稳定性要求不一样目标:实现业务线粒度的隔离可选方案多集群单集群分组隔离踩过的一些坑(1/2)现象:Historical节点syscpu飙高,集体掉线原因:NUMA架构启用了zonereclaimmode,造成directpagescan解决方法:echo0>/proc/sys/vm/zone_reclaim_mode踩过的一些坑(2/2)现象:查询性能不稳定,偶尔会出现尖刺原因:CentOS6.
5默认启用了"透明大页"功能,可能造成内存分配延迟解决方法:禁用"透明大页"echo"never">/sys/kernel/mm/transparent_hugepage/enabledecho"never">/sys/kernel/mm/transparent_hugepage/defrag面临的挑战功能挑战精确去重计数实时摄入的窗口限制SQL支持管理挑战任务接入效率索引服务的资源利用率OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Kylin简介Kylin是一个开源的、基于Hadoop的OLAP查询引擎,能够通过标准SQL接口对超大数据集实现秒级的多维分析查询.
Kylin属于MOLAP解决方案,其核心思想是预计算Cube预先定义维度和指标预先构建Cube,Cube包含了预计算的结果查询时自动从Cube中获取结果Kylin架构Kylin服务概况定位:离线OLAP引擎20+个Project,350个Cube,覆盖所有业务线数据总量8000亿行,Cube存储总量140TB每日查询量130万次,TP99时延~1秒Kylin平台架构负载均衡与服务治理RSRS…jobjobHA主集群提交作业机房Aqueryquery…机房Bqueryquery…查询入口监控报警HBase集群RS预上线环境RSRSRSCube迁移主要工作1.
精确去重计数2.
全局字典3.
构建服务分布式化4.
窗口函数、Union……新特性1.
大查询限制2.
支持HBase集群HA3.
构建性能优化4.
前端页面加载优化……功能改进1.
调度系统集成2.
计算队列拆分3.
权限控制与审计4.
JMX监控……平台化建设我们有3位KylinCommitter!
面临的挑战业务隔离降低Cube调优门槛明细查询支持低成本、高扩展的精确去重方案谢谢大家
没有银弹2.
了解不同架构/技术的取舍3.
根据业务特点进行选择美团点评OLAP场景的特点亚秒级响应高并发百亿数据集大量去重指标SQL接口离线为主为什么选择Kylin和DruidPresto/SparkKylinDruidES亚秒级响应高并发百亿数据集精确去重计算SQL接口离线实时OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Druid使用概况定位:实时OLAP引擎支撑业务:广告、风控、算法等单集群40台物理机,100个Datasource,索引存储20TB每日从Kafka摄入百亿条消息每日查询量超150万次,TP99时延~1秒Druid硬件/JVM配置角色硬件配置JVM配置Coordinator/Overlord2x8gVMs6gHeapBroker8x8core16gVMs11gHeap,3gNon-HeapHistorical19x40core128g12disk物理机12gHeap,10gNon-HeapMiddleManager19x40core128g物理机8x6gHeapPeonsTranquilityClients2x40core128g物理机2~3gperJVMDruid监控需要监控哪些指标业务侧:DataSource粒度,例如QPS、Latency、IngestionRate等平台侧:集群/节点粒度,例如CPU,I/O,JVM等监控数据如何使用Dashboard、多维分析(OLAP)、慢查询分析(明细)方案KafkaESEmitterdruidSparkStreamingDruid监控(Dashboard)Druid监控(多维分析)FilterAggGrouping资源隔离广告TierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance广告业务查询_default_tierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance其他业务查询背景:不同业务的workload和稳定性要求不一样目标:实现业务线粒度的隔离可选方案多集群单集群分组隔离踩过的一些坑(1/2)现象:Historical节点syscpu飙高,集体掉线原因:NUMA架构启用了zonereclaimmode,造成directpagescan解决方法:echo0>/proc/sys/vm/zone_reclaim_mode踩过的一些坑(2/2)现象:查询性能不稳定,偶尔会出现尖刺原因:CentOS6.
5默认启用了"透明大页"功能,可能造成内存分配延迟解决方法:禁用"透明大页"echo"never">/sys/kernel/mm/transparent_hugepage/enabledecho"never">/sys/kernel/mm/transparent_hugepage/defrag面临的挑战功能挑战精确去重计数实时摄入的窗口限制SQL支持管理挑战任务接入效率索引服务的资源利用率OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Kylin简介Kylin是一个开源的、基于Hadoop的OLAP查询引擎,能够通过标准SQL接口对超大数据集实现秒级的多维分析查询.
Kylin属于MOLAP解决方案,其核心思想是预计算Cube预先定义维度和指标预先构建Cube,Cube包含了预计算的结果查询时自动从Cube中获取结果Kylin架构Kylin服务概况定位:离线OLAP引擎20+个Project,350个Cube,覆盖所有业务线数据总量8000亿行,Cube存储总量140TB每日查询量130万次,TP99时延~1秒Kylin平台架构负载均衡与服务治理RSRS…jobjobHA主集群提交作业机房Aqueryquery…机房Bqueryquery…查询入口监控报警HBase集群RS预上线环境RSRSRSCube迁移主要工作1.
精确去重计数2.
全局字典3.
构建服务分布式化4.
窗口函数、Union……新特性1.
大查询限制2.
支持HBase集群HA3.
构建性能优化4.
前端页面加载优化……功能改进1.
调度系统集成2.
计算队列拆分3.
权限控制与审计4.
JMX监控……平台化建设我们有3位KylinCommitter!
面临的挑战业务隔离降低Cube调优门槛明细查询支持低成本、高扩展的精确去重方案谢谢大家
- 查询pagedefrag相关文档
- powerpagedefrag
- userpagedefrag
- hitpagedefrag
- 虚拟内存用PageDefrag快速清理虚拟内存碎片
- pagedefrag虚拟内存是什么东东？
- pagedefragPageDefrag 该如何使用！
Bluehost美国虚拟主机2.95美元/月，十八周年庆年付赠送顶级域名和SSL证书
Bluehost怎么样，Bluehost好不好，Bluehost成立十八周年全场虚拟主机优惠促销活动开始，购买12个月赠送主流域名和SSL证书，Bluehost是老牌虚拟主机商家了，有需要虚拟主机的朋友赶紧入手吧，活动时间：美国MST时间7月6日中午12：00到8月13日晚上11：59。Bluehost成立于2003年，主营WordPress托管、虚拟主机、VPS主机、专用服务器业务。Blueho...
Boomer.host：$4.95/年-512MB/5GB/500GB/德克萨斯州(休斯顿)
部落曾经在去年分享过一次Boomer.host的信息，商家自述始于2018年，提供基于OpenVZ架构的VPS主机，配置不高价格较低。最近，主机商又在LET发了几款特价年付主机促销，最低每年仅4.95美元起，有独立IPv4+IPv6，开设在德克萨斯州休斯顿机房。下面列出几款VPS主机配置信息。CPU：1core内存：512MB硬盘：5G SSD流量：500GB/500Mbps架构：KVMIP/面板...
日本CN2独立物理服务器 E3 1230 16G 20M 500元/月 提速啦
提速啦的来历提速啦是 网站 本着“良心 便宜 稳定”的初衷 为小白用户避免被坑 由赣州王成璟网络科技有限公司旗下赣州提速啦网络科技有限公司运营 投资1000万人民币 在美国Cera 香港CTG 香港Cera 国内 杭州 宿迁 浙江 赣州 南昌 大连 辽宁 扬州 等地区建立数据中心 正规持有IDC ISP CDN 云牌照 公司。公司购买产品支持3天内退款 超过3天步退款政策。提速啦的市场定位提速啦主...
pagedefrag为你推荐
-
网页解密如何查看网页中的密码博客外链博客外链怎么做好博客外链求博客外链方法51自学网站推荐一个好一点的自学网站，关于网站建设的。湖南商标注册湖南商标注册怎么办理吴晓波频道买粉《充电时间》的节目跟《吴晓波频道》哪个好听？百度手写百度为什么没有了在线手写输入法arm开发板arm开发板是干什么用的，是用在什么领域方面的今日热点怎么删除如何彻底删除今日热点唱吧电脑版官方下载唱吧有电脑版的么？ 在哪里下载啊？