Kylin基本介绍、特点、架构

news/2024/6/17 2:37:10 标签: kylin, MOLAP, kylin特点, kylin架构

目录

  • 1. Kylin的基本介绍
  • 2. Kylin的特点
  • 3. Kylin的架构

1. Kylin的基本介绍

Kylin是一种MOLAP(Multidimensional OLAP),基于多维数据集,需要预计算。另一种OLAP是ROLAP(Relational OLAP),基于关系型数据库,不需要预计算,例如Presto

一个多维数据集称为一个OLAP Cube,例如城市、品类、月份这三个维度,形成共七种组合的数据集。Cuboid是其中的一个组合数据集,例如城市、品类组合形成的数据集

2. Kylin的特点

  • 可伸缩性
  • 支持标准SQL接口
  • 支持标准数据库协议,可以集成各种BI工具。ODBC可以与Tableau、Excel、PowerBI 等工具集成。JDBC与Saiku、BIRT等Java工具集成。RestAPI可以与JavaScript、Web网页集成
  • 推出了MDX工具,可以以Kylin为数据源,对接多种数据分析工具,比如Excel、Tableau等。这样Excel就能通过MDX查询Kylin的数据了
  • Kylin还开发了Zepplin的插件,可以使用Zepplin来访问Kylin服务
  • 单节点Kylin可实现每秒70个查询,还可结合Zookeeper搭建Kylin集群

3. Kylin的架构

Kylin的架构

  1. REST Server
    是应用程序的入口点,为应用程序提供查询、获取结果、触发cube构建任务、获取元数据以及获取用户权限等

  2. 查询引擎(Query Engine)
    当cube准备就绪后,查询引擎就能够获取并解析用户查询。它随后与系统中的其它组件进行交互,从而向用户返回对应的结果

  3. 路由层(Routing)
    Routing路由层先从数据储存层的Cubes进行查询,如果查询不到,则从数据源层Hive(查询引擎是Spark)进行查询

  4. 数据储存(Cubes)

把所有的数据按照文件存储,每个Segment会存在一个对应的HDFS的目录,所有的构建、查询都是直接通过读写文件的方式。对于小查询的性能会有一定损失,但对于复杂查询带来的提升是更可观的的

  1. 元数据管理工具(Metadata)
    用于Kylin的所有元数据进行管理,包括cube元数据

  2. 任务构建引擎(Cube Build Engine)
    构建引擎最终得到的数据存放到Parquet文件当中。构建过程分为两大步,第一步进行资源探测,收集构建Cube所需要的元数据信息。第二步使用Spark引擎去计算和构建


http://www.niftyadmin.cn/n/30666.html

相关文章

Python进行因子分析

1 因子分析 1.1 定义 因子分析法(Factor Analysis)是一种利用降维的思想,从研究原始变量相关矩阵内部的依赖关系出发,把一些具有错综复杂关系的变量归结为少数几个综合因子的一种多变量统计分析方法。其优势在于不仅可以在减少大量指标分析的工作量的同…

JS生成UUID(GUID)

JS生成UUID(GUID)JS生成UUID(GUID)方法1:替换方式方法2:系统crypto.randomUUID()注意安装TS方法3:uuid模块安装使用JS生成UUID(GUID) 用处:我们可以使用这个…

零代码应用搭建规范建议

文/顿唯 况育军 贺书钿 编辑/杜逸敏 在明道云零代码开发平台里,一个完整的业务应用包含了工作表、视图、角色、自定义页面、工作流五大核心模块(统计和外部门户为可选模块功能),基于这些能力模块组件,我们能呈现给用…

C++11 并发指南三(Lock 详解)

C11 并发指南三(Lock 详解) 文章目录C11 并发指南三(Lock 详解) std::lock_guard 介绍std::lock_guard 构造函数 std::unique_lock 介绍std::unique_lock 构造函数 std::unique_lock 移动(move assign)赋值操作 std::unique_lock 主要成员函数**std::unique_lock::lock**请看…

办理ICP许可证可以从事什么业务?ICP许可证代办理

办理ICP许可证可以从事什么业务?ICP许可证怎么代办理?ICP证是通信管理局为公司企业颁布的经营性企业网站营业许可证,全名是《中华人民共和国增值电信业务经营许可证》,下面就和公司宝一起来看看ICP许可证办理的相关内容。 ICP备案…

关于微服务的一些总结和经验之谈,来看看你都了解吗

文章目录一 谈谈对微服务的理解1. 什么微服务?2. 微服务体系3. 微服务优点4. 微服务缺点5. 什么是gRPC?6. ProtoBuf协议好处?7. gPRC和ProtoBuf联系?二 本次微服务项目学习流程梳理三 微服务项目一般开发流程梳理四 从本次微服务项…

Facenet+Retinaface:人脸识别模型在Pytorch当中的实现 附完整代码

本项目自带主干为mobilenet的retinaface模型与facenet模型。可以直接运行,如果想要使用主干为resnet50的retinafa和主干为inception_resnetv1的facenet模型需要。 目录 注意事项 Attention所需环境 Environment<

Linux嵌入式开发——用户与用户组

文章目录Linux嵌入式开发——用户与用户组用户用户组创建用户和用户组1、图形化界面创建2、命令创建添加用户用户查询修改用户密码删除用户添加用户组显示组内用户名删除用户组Linux嵌入式开发——用户与用户组 用户 Linux是一个多用户操作系统&#xff0c;不同的用户拥有不同…