Hudi

Hudi作为数据湖解决方案之一，与Iceberg和Delta并称三大数据湖技术。主要内容包括：1. Hudi的数据存储格式和表结构。2. 读取操作流程及查询类型。3. 写入操作流程，包括UPSERT和INSERT等操作。4. 索引的详细介绍及其类型。5. 表服务的概念和具体实现，包括压缩、清理和索引。6. 聚类技术和空间填充曲线的应用。7. 并发控制机制，同时运行写入操作和表服务。8. 增量处理的实现，包括增量查询和变更数据捕获（CDC）。

hudi-spark3.2-bundle_2.12-0.12.2.jar 是一个与 Apache Spark 3.2 兼容的 Hudi bundle 包。其包含了 Hudi 核心功能以及 Spark 集成所需的依赖项。此 bundle 简化了 Hudi 在 Spark 环境中的使用，开发者可轻松将其添加到项目中以利用 Hudi 的数据湖功能。

在Apache Hudi数据湖中使用Spark进行数据摄取、处理和查询。

为方便在Flink中写入数据到Hudi，需要导入Hudi集成Flink的编译jar包。具体版本如下：Hadoop：3.1.3Flink：1.13.6Scala：2.12Hudi：0.12.0

包括common-config-5.3.4.jar、common-util-5.3.4.jar、kafka-avro-serializer-5.3.4.jar、kafka-schema-registry-client-5.3.4.jar等软件包，用于支持Apache Hudi的编译和运行。

Hudi：赋能数据湖的利器 Hudi (Hadoop Upserts Deletes and Incrementals) 为构建高效可靠的数据湖提供了强大的支持。它能够管理大型数据集，并确保数据的一致性和完整性。 核心特性: Upserts： Hudi 支持高效的更新和插入操作，确保数据始终保持最新状态。 Deletes： 可以精确删除数据，满足合规性和数据清理的需求。 Incrementals： 支持增量数据处理，仅处理自上次操作以来发生变化的数据，显著提升数据处理效率。 数据版本控制： 提供数据版本管理功能，允许用户回溯到历史版本的数据。 多种存储格式： 支持多种数据存储格式，如Parquet、Avro等，满足不同场景的需求。 Hudi 应用场景: 实时数据湖： 构建实时数据湖，为实时分析和机器学习提供支持。 数据仓库增强： 增强数据仓库的实时性，实现近实时的数据分析。 增量ETL： 高效处理增量数据，降低ETL过程的资源消耗。 拥抱Hudi，构建高效可靠的数据湖，释放数据价值！

Apache Hudi（Hadoop Upsert Delta Log for Incremental Processing）是一个开源的数据湖框架，专为大规模数据集提供实时更新、查询和分析功能。它由Uber贡献给了Apache软件基金会，现在是Apache顶级项目之一。在Hudi 1.10.0版本中，我们能够深入理解其核心机制和新特性。解压“hudi-master.tar.gz”可以详细研究Hudi的源码，进一步了解其内部运作机制。Hudi基于Hadoop生态系统，支持HDFS和S3等分布式存储。其核心组件包括Delta Log、MOR表、COW表、HoodieTimeline和HoodieTableMetaClient。Hudi的关键特性是支持Upsert操作，通过Delta Log实现对已存在记录的更新。它与Spark紧密集成，支持Spark SQL实时查询。Hudi提供多版本数据支持，通过时间戳和版本号来区分不同的数据快照。通过增量拉取和增量合并，Hudi实现了高效的数据处理。

在News Break的数据平台上，Hudi和Presto被整合，构建了现代化的数据架构，实现了快速摄入和统一模式下的查询。 News Break的数据架构从传统的CDH集群迁移到AWS，目标是减少数据处理延迟，使其在99.5th百分位下少于15分钟。Hudi在这个过程中起到了关键作用，支持多源写入和先连接后存储的策略，确保数据一致性。使用Hudi 0.1版本，相比之前的0.9和0.7版本，性能显著提升，默认的gzip压缩提高了30%的性能。DeltaStreamer工具减少了编码工作量，实现了Merge-on-Read模式。Hudi引入了protobuf schema的支持，允许自定义payload类和transformer类进行过滤和基本指标计算。使用FileBasedSchemaProvider和ProtoClassBasedSchemaProvider，可以更好地处理各种数据源。Hudi与HMS集成，并与Presto和Spark一起使用，提供了一体化的数据处理能力。Presto选择了版本0.275，基于Twilio的最佳实践，优化了Hudi支持。为了优化跨分区查询性能，Hudi 0.11.0作为编译时依赖项引入。自定义开发包括跳过全局动态分配，增加Alluxio本地缓存支持，以及开发Presto-event-stream插件，将所有查询事件以schema形式发送到Kafka。Presto在两个集群、1600个核心上运行，每月处理55万查询，读取6PB数据。

本课程帮助学员掌握在云环境中搭建和管理大规模数据湖系统的技能。通过学习，学员将深入了解大数据生态系统中的关键组件，如Flink、Spark、Hadoop等，并能够应用这些技术处理实际业务场景中的数据需求。课程涵盖Flink的API编写、窗口设置、状态管理，确保数据的准确性和一致性。Hudi作为数据湖存储层，支持实时查询和更新，学员将学习如何使用Hudi维护数据一致性，提升查询性能。课程还包括Spark在批处理和交互式查询中的应用，以及与Flink协同工作，实现混合处理模式。此外，学员将了解数据湖的分层架构、数据生命周期管理、数据安全和隐私保护，以及在AWS、Azure上的部署方法。