kylin大数据分析界的“神兽”Apache Kylin有多牛

kylin张...

《盗墓笔记》里的小哥(张起灵、闷油瓶、张秃子)的英文名字，kylin 是麒麟的意思，小哥身上有一个麒麟纹身，小哥姓张，所以叫kylin zhang ，详见张起灵吧，很高兴为您解答，谢谢！

kylin是什么意思

Kylin操作系统是国家高技术研究发展计划（863计划）的重大成果之一，是以国防科技大学为主导，与中软、联想等单位联合设计和开发的具有完全自主版权，可支持多种微处理器和多种计算机体系结构，具有高性能、高可用性和高安全性，并与Linux应用二进制兼容的国产中文服务器操作系统。

具有自主知识产权和完全自主掌控的Kylin国产服务器操作系统的研制成功，将对打破外国对我国信息化基础设施的垄断和控制，形成国产服务器及相关软件产业的核心竞争力，提高国家信息化基础设施的总体安全水平具有非常现实的意义。

在功能方面，通过了OpenGroup组织的LSB标准测试（正在申请证书）；在性能方面，进行了Oracle、Kingbase、MySQL等典型数据库系统的TPC-C和TPC-W基准测试；在安全方面，通过了公安部安全功能测试和军队系统相关单位的安全攻击测试。

目前，Kylin操作系统经过全面而严格的测试，已经可以运行在多种型号的联想万全服务器（包括采用EM64T技术的新一代Intel至强处理器）和其它类型的服务器上，并全面支持64位应用。

同时，在军队机要服务器、可搬移服务器上，Kylin操作系统已经被小批量使用。

Kylin操作系统的特色： 采用国际主流标准，技术成熟。

Kylin操作系统基于UNIX国际主流标准，同时继承了“银河”系列操作系统的核心技术，采用层次式结构，由Mach风格的基本内核层、BSD风格的系统服务层、Windows风格桌面环境紧耦合构成。

基本内核层由基本任务管理、基本存储、中断管理、平台设备支撑环境以及处理器支撑等模块构成；系统服务层由POSIX、LSB、网络服务等接口以及安全、中文、IPC、高可用、高级存储管理和高级任务管理等模块组成；Windows风格的桌面环境由桌面环境、集群环境以及包括目录服务器、WEB服务器、J2EE应用服务器等服务器基础服务环境组成。

支持多种微处理器和计算机体系结构，实现跨平台。

Kylin操作系统支持NUMA等体系结构，支持x86、IA64、AMD、SPARC结构的处理器，支持Infiniband、PCI Express、Hyper Transport等I/O技术，支持主流的网卡、SCSI卡、RAID卡、磁盘阵列柜等接口卡和外围设备。

Kylin通过内核层不同的处理器支撑模块和平台设备支撑模块，可支持跨平台的系统服务层，从而实现对不同计算机和计算机体系结构的快速移植。

与Linux在应用层二进制兼容，充分利用基于Linux的丰富应用成果。

Kylin操作系统提供一个符合LSB（Linux Standard Base）标准的具有完整Linux运行环境的用户使用界面，包括同Linux系统调用兼容的应用二进制接口（ABI）、Linux基础库（C库、数学库等），以及基础的Linux命令和应用开发环境，从而支持大多数基于Linux的应用系统。

这样，Kylin可以充分利用Linux现有的中间件软件和丰富的应用软件和设备支持，大大扩展了Kylin操作系统的应用面。

具有特色安全机制，高安全性。

Kylin操作系统具有严格的安全机制，确保系统的高安全性要求：（1）遵照国家信息系统安全保护等级划分准则GB 17859-1999，实现结构化保护级的安全目标；（2）实现多策略与动态策略的安全框架，支持以模块化方式实现安全策略，提供访问控制策略的实现平台；（3）强化用户的安全标识与鉴别，实现用户身份可信鉴别的可信路径；（4）把传统的特权用户划分为系统管理员、安全管理员、审计管理员，以相互制约；（5）加密文件系统，实现特定分区透明加解密，防止因硬盘失窃导致信息泄露；（6）提供中文图形化的安全配置管理工具。

完全自主版权内核，灵活掌控。

Kylin操作系统具有自主知识产权，其内核代码完全由我国自主掌控，可以灵活实现国产服务器操作系统的开放性和可掌控性。

可以根据需要在一定范围内开源，而不受GPL规则约束。

全中文支持，桌面环境友好 。

Kylin操作系统的核心支持Unicode编码，支持GB18030-2000、BIG5中文编码规范，支持智能拼音、五笔等输入法，支持中文文件打印。

Kylin操作系统的桌面环境支持KDE、GNOME等主流的桌面管理器，实现了Windows风格的资源管理器和配置工具，从而可以使Windows用户更容易向Kylin操作系统过渡。

支持集群环境，支持多种应用服务和应用开发。

Kylin操作系统采用单系统映像技术，实现基于CIM的全局资源管理，对计算资源（CPU、内存、网络、磁盘、文件系统等）进行统一的监控，提供统一的用户管理、软件管理、进程管理。

支持单点登录，全局文件系统，实现了针对专用高速通信设备的高性能通信库，提供MPI、OpenMP、PVM等多种并行程序库以及支持多种并行程序模块的作业管理和调度系统。

支持Oracle、Kingbase、MySQL、Weblogic、TomCat、Jboss、Apache、sendmail、Postfix、StarBus等主流数据库和中间件软件。

提供C、C++、Fortran、Java、PHP、PERL的开发调试环境，支持JBuilder、QT Design、Kylix等IDE开发环境，支持gdb、DDD等主流调试工具。

“Kylin”和“Kirin”都是“麒麟”的意思吗？有什么区别？

Kylin麒麟 麒麟是kylin ，很早的中文音译，见诸于《不列颠百科全书》，对应的西方祥兽是unicorn，本义独角兽的意思，uni-表示单一，corn玉米，玉米不很象一只钝钝的牛羊角horn吗?Monoceros麒麟星座，注解为独角兽，独角兽中的犀牛是rhinoceros，和Monoceros词尾相同，而mono-表示单 Kirin 〈日〉 麒麟(常见于雕刻和瓷器上)

麒麟操作系统和Ubuntu Kylin是什么关系

都是定制界面的LINUX系统。

银河麒麟(Kylin)是由国防科技大学、中软公司、联想公司、浪潮集团和民族恒星公司合作研制的开源服务器操作系统。

此操作系统是863计划重大攻关科研项目，目标是打破国外操作系统的垄断，研发一套中国自主知识产权的服务器操作系统。

优麒麟 - Ubuntu Kylin 是由中国CCN联合实验室支持和主导的开源项目，其宗旨是采用平台国际化与应用本地化融合的设计理念，通过定制本地化的桌面用户环境以及开发满足广大中文用户特定需求的应用软件来提供细腻的中文用户体验，做更有中国特色的操作系统。

大数据分析界的“神兽”Apache Kylin有多牛

1.Apache Kylin是什么？ 在现在的大数据时代，越来越多的企业开始使用Hadoop管理数据，但是现有的业务分析工具（如Tableau，Microstrategy等） 往往存在很大的局限，如难以水平扩展、无法处理超大规模数据、缺少对Hadoop的支持；而利用Hadoop做数据分析依然存在诸多障碍，例如大多数分析 师只习惯使用SQL，Hadoop难以实现快速交互式查询等等。

神兽Apache Kylin就是为了解决这些问题而设计的。

Apache Kylin，中文名麒（shen）麟（shou） 是Hadoop动物园的重要成员。

Apache Kylin是一个开源的分布式分析引擎，最初由eBay开发贡献至开源社区。

它提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持大 规模数据，能够处理TB乃至PB级别的分析任务，能够在亚秒级查询巨大的Hive表，并支持高并发。

Apache Kylin于2014年10月在github开源，并很快在2014年11月加入Apache孵化器，于2015年11月正式毕业成为Apache顶级项 目，也成为首个完全由中国团队设计开发的Apache顶级项目。

于2016年3月，Apache Kylin核心开发成员创建了Kyligence公司，力求更好地推动项目和社区的快速发展。

Kyligence是一家专注于大数据分析领域创新的数据科技公司，提供基于Apache Kylin的企业级智能分析平台及产品，以及可靠、专业、源码级的商业化支持；并推出Apache Kylin开发者培训，颁发全球唯一的Apache Kylin开发者认证证书。

2.Kylin的基本原理和架构 下面开始聊一聊Kylin的基本原理和架构。

简单来说，Kylin的核心思想是预计算，即对多维分析可能用到的度量进行预计算，将计算好的结果保 存成Cube，供查询时直接访问。

把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询，这决定了Kylin能够拥有很好的快速查询和高并发能 力。

上图所示就是一个Cube的例子，假设我们有4个dimension，这个Cube中每个节点（称作Cuboid）都是这4个dimension 的不同组合，每个组合定义了一组分析的dimension（如group by），measure的聚合结果就保存在这每个Cuboid上。

查询时根据SQL找到对应的Cuboid，读取measure的值，即可返回。

为了更好的适应大数据环境，Kylin从数据仓库中最常用的Hive中读取源数据，使用 MapReduce作为Cube构建的引擎，并把预计算结果保存在HBase中，对外暴露Rest API/JDBC/ODBC的查询接口。

因为Kylin支持标准的ANSI SQL，所以可以和常用分析工具（如Tableau、Excel等）进行无缝对接。

下面是Kylin的架构图。

说到Cube的构建，Kylin提供了一个称作Layer Cubing的算法。

简单来说，就是按照dimension数量从大到小的顺序，从Base Cuboid开始，依次基于上一层Cuboid的结果进行再聚合。

每一层的计算都是一个单独的Map Reduce任务。

如下图所示。

MapReduce的计算结果最终保存到HBase中，HBase中每行记录的Rowkey由dimension组成，measure会保存在 column family中。

为了减小存储代价，这里会对dimension和measure进行编码。

查询阶段，利用HBase列存储的特性就可以保证Kylin有 良好的快速响应和高并发。

有了这些预计算的结果，当收到用户的SQL请求，Kylin会对SQL做查询计划，并把本该进行的Join、Sum、Count Distinct等操作改写成Cube的查询操作。

Kylin提供了一个原生的Web界面，在这里，用户可以方便的创建和设置Cube、管控Cube构建进度，并提供SQL查询和基本的结果可视化。

根据公开数据显示，Kylin的查询性能不只是针对个别SQL，而是对上万种SQL 的平均表现，生产环境下90%ile查询能够在在3s内返回。

在上个月举办的Apache Kylin Meetup中，来自美团、京东、百度等互联网公司分享了他们的使用情况。

例如，在京东云海的案例中，单个Cube最大有8个维度，最大数据条数4亿，最 大存储空间800G，30个Cube共占存储空间4T左右。

查询性能上，当QPS在50左右，所有查询平均在200ms以内，当QPS在200左右，平均 响应时间在1s以内。

北京移动也在meetup上展示了Kylin在电信运营商的应用案例，从数据上看，Kylin能够在比Hive/SparkSQL在更弱的硬件配置下获得更好的查询性能。

目前，有越来越多的国内外公司将Kylin作为大数据生产环境中的重要组件，如ebay、银联、百度、中国移动等。

大家如果想了解更多社区的案例和动态，可以登录Apache Kylin官网或Kyligence博客进行查看。

3.Kylin的最新特性 Kylin的最新版本1.5.x引入了不少让人期待的新功能，可扩展架构将Kylin的三大依赖（数据源、Cube引擎、存储引 擎）彻底解耦。

Kylin将不再直接依赖于Hadoop/HBase/Hive，而是把Kylin作为一个可扩展的平台暴露抽象接口，具体的实现以插件的 方式指定所用的数据源、引擎和存储。

开发者和用户可以通过定制开发，将Kylin接入除Hadoop/HBase/Hive以外的大数据系统，比如用Kafka代替Hive作数据源，用 Spark代替MapReduce做计算引擎，用Cassandra代替HBase做存储，都将变得更为简单。

这也保证了Kylin可以随平台技术一起演 进，紧跟技术潮流。

在Kylin 1.5.x中还对HBase存储结构进行了调整，将大的Cuboid分片存储，将线性扫描改良为并行扫描。

基于上万查询进行了测试对比结果显示，分片的存 储结构能够极大提速原本较慢的查询5-10倍，但对原本较快的查询提速不明显，综合起来平均提速为2倍左右。

除此之外，1.5.x还引入了Fast cubing算法，利用Mapper端计算先完成大部分聚合，再将聚合后的结果交给Reducer，从而降低对网络瓶颈的压力。

对500多个Cube任务 的实验显示，引入Fast cubing后，总体的Cube构建任务提速1.5倍。

目前，社区正在着手准备Apache Kylin 1.5.2版本的发布，目前正处于Apache Mailing list投票阶段，预计将会在本周在Kylin官网发布正式下载。

在本次的1.5.2版本中，Kylin带来了总计 36个缺陷修复、33个功能改进、6个新功能。

一些主要的功能改进包括对HyperLogLog计算效率的提升、在Cube构建时对Convert data to hfile步骤的提速、UI上对功能提示的体验优化、支持hive view作为lookup表等等。

另一个新消息是Kylin将支持MapR和CDH的Hadoop发行版，具体信息可见KYLIN-1515和KYLIN-1672。

相应的测试版本是MapR5.1和CDH5.7。

UI上提供了一个重要更新，即允许用户在Cube级别进行自定义配置，以覆盖kylin.properties中的全局配置。

如在cube中定义kylin.hbase.region.count.max 可以设置该cube在hbase中region切分的最大数量。

另 一个重要的功能是Diagnosis。

用户经常会遇到一些棘手的问题，例如Cube构建任务失败、SQL查询失败，或Cube构建时间过长、SQL查询时 间过长等。

但由于运维人员对Kylin系统了解不深，很难快速定位到root cause所在地。

我们在mailing list里也经常看到很多用户求助，由于不能提供足够充分的信息，社区也很难给出一针见血的建议。

当用户遇到查询、Cube/Model管理的问题，单击System页面的Diagnosis按钮，系统会自动抓取当前Project相关的信息并打包成 zip文件下载到用户本地。

这个包会包含相关的Metadata、日志、HBase配置等。

当用户需要在mailing list求助，也可以附上这个包。