Apache Kyuubi是一个分布式多租户网关，为数据湖查询引擎（例如Spark、Flink或Trino）提供SQL查询服务。

功能特性

  • 多租户: Kyuubi通过统一的身份验证授权层，为资源获取、数据和元数据访问提供端到端的多租户支持。
  • 高可用: Kyuubi基于ZooKeeper提供负载均衡，实现了企业级高可用性和无限的客户端高并发。
  • 多工作负载: Kyuubi可以通过一个平台、一个数据副本和一个SQL接口轻松支持多个不同的工作负载。

使用场景

  • 交互式分析: 利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。 Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或BI工具访问Kyuubi并高效地运行查询。 Kyuubi可以在用户级别缓存后台引擎实例，以更好地实现计算资源共享和快速响应，并行处理大量数据的查询并快速返回结果。
  • 批数据处理: Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。 Kyuubi及其引擎都是存储独立的，支持众多的数据源，并且Kyuubi支持在连接级别隔离后台引擎实例。