Kudu

Kudu是Cloudera开源的列式存储系统，专为Hadoop生态系统设计。它支持常见的技术特性，并能在一般商用硬件上运行，实现了水平扩展和高可用性。

Kudu 采用了独特的存储架构，融合了行式存储和列式存储的优势。其核心组件包括： Tablet：数据存储的基本单元，类似于 Bigtable 中的 Tablet 或 HBase 中的 Region。每个 Tablet 包含多个 RowSet，并按主键范围进行分区。 RowSet：Tablet 中数据的组织单位，分为内存中的 MemRowSet 和磁盘上的 DiskRowSet。MemRowSet 负责处理写入操作，而 DiskRowSet 则负责存储历史数据。 Tablet Server：负责管理 Tablet，处理数据读写请求，并与 Master Server 进行通信。 Master Server：负责集群管理，包括元数据管理、负载均衡和故障恢复。 Kudu 的架构设计使其能够同时支持高效的随机读写和分析查询，适用于需要实时数据处理的场景。

Kudu入门：快速分析高速数据

Kudu-1.7.0+cdh5.15.1，大数据存储，支持Spark，可与Cloudera Hadoop Distribution 5.15.1配合使用。

Kudu Java 实战: 操控数据指南 这份指南将带您领略如何使用 Kudu Java 客户端进行数据库基础操作，包括： 连接 Kudu 集群: 建立与 Kudu 集群的安全连接，为数据操作打下基础。 创建 Kudu 表: 定义表结构，包含列名、数据类型和主键等信息，构建数据存储的框架。 插入数据: 将数据写入 Kudu 表中，支持单条插入和批量插入操作。 查询数据: 使用灵活的查询语句检索 Kudu 表中的数据，满足各种数据分析需求。 更新数据: 修改 Kudu 表中已有的数据，保持数据实时更新。 删除数据: 从 Kudu 表中移除不需要的数据，确保数据有效性和一致性。 通过学习这份指南，您将掌握 Kudu Java 客户端的基本用法，为构建高效可靠的大数据应用打下坚实基础。

在Hadoop生态系统中，现存的数据输入和分析解决方案有限且效率不高。Apache Kudu基于列的数据存储技术，提供了解决快速输入和快速分析之间平衡的方法。

Apache Kudu是Apache Hadoop生态系统中的一个开源列存储引擎，与Hadoop环境中的大多数数据处理框架兼容。它提供了完整的存储解决方案，支持快速数据分析和查询。Apache Kudu项目最初源自于Cloudera的内部开发，为大数据分析提供高效的数据存储和访问能力。

本项目基于真实案例，搭建了一套利用OGG实时同步Oracle数据到Kafka集群，并最终写入Kudu数据库的解决方案。文档重点阐述了OGG的安装步骤和进程配置方法，并附带完整的数据处理流程图。 通过OGG强大的数据复制功能，可以捕捉Oracle数据库的增量变化，并将其转化为可传输的格式。 Kafka集群作为中间件，负责接收OGG传输的数据，并提供高吞吐、低延迟的消息传递服务。最后，数据被写入Kudu数据库，以满足实时分析和查询需求。 该方案适用于需要将Oracle数据实时同步到大数据平台的场景，例如实时报表、实时监控、实时风险控制等。

使用ambari2.7.5集成HDP3，因为默认没有集成impala和kudu，需要通过cloudera的impala和kudu安装方式来完成集成。将解压后的文件放置在/var/lib/ambari-server/resources/stacks/HDP/3.1/services/目录下。